رقابت بر سر افزایش سرعت استنتاج هوش مصنوعی (AI Inference) به اوج خود رسیده است. در حالی که غول‌های تراشه‌سازی به دنبال ساخت سخت‌افزارهای اختصاصی جدید هستند، استارتاپ فرانسوی Kog مسیر متفاوتی در پیش گرفته است. این استارتاپ ثابت کرده که با بهینه‌سازی عمیق نرم‌افزاری می‌توان توان پردازشی فوق‌العاده‌ای را از کارت‌های گرافیکی موجود در دیتاسنترها مانند Nvidia H200 و AMD MI300X استخراج کرد.
بهینه‌سازی سطح پایین؛ راز دستیابی به سرعت ۳,۰۰۰ توکن در ثانیه
استارتاپ Kog با انتشار یک پیش‌نمایش فنی نشان داد که رمزگشایی تک‌درخواستی بسیار سریع روی پردازنده‌های گرافیکی استاندارد کاملاً امکان‌پذیر است. این شرکت با معرفی موتور استنتاج اختصاصی خود (KIE) و مدل اپن‌سورس Laneformer 2B، موفق شد به سرعت خیره‌کننده ۳,۰۰۰ توکن در ثانیه دست یابد.
بنیان‌گذار این استارتاپ، گائل دلالو (Gaël Delalleau)، پیشینه متفاوتی در حوزه هک اخلاقی و امنیت سایبری دارد. او معتقد است نگاه مهندسی معکوس و تحلیل کدهای باینری در سطح اسمبلی، کلید اصلی آزادسازی ظرفیت واقعی پردازنده‌های گرافیکی است.
- کاهش تاخیر در عامل‌های هوشمند: برنامه‌نویسان و کاربرانی که از ابزارهایی مانند Claude Code استفاده می‌کنند، می‌توانند زمان انتظار برای دریافت پاسخ را به حداقل برسانند.
- کاهش چشمگیر هزینه‌ها: سازمان‌ها بدون نیاز به سرمایه‌گذاری سنگین روی تراشه‌های جدید، از همان کارت‌های گرافیکی فعلی خود بهره‌وری چندبرابری می‌گیرند.
- توسعه برای مدل‌های بزرگتر: تمرکز اصلی Kog در حال حاضر انتقال این تکنیک‌های بهینه‌سازی به مدل‌های زبانی بزرگ (LLM) چند ده میلیاردی است.
چرا کارت‌های گرافیک همچنان پادشاه هوش مصنوعی هستند؟
برخلاف ادعای برخی تحلیل‌گران مبنی بر ناکارآمدی کارت‌های گرافیک (GPU) در پردازش‌های عاملی (Agentic Workflows)، پهنای باند حافظه در نسل‌های جدید پردازنده‌های گرافیکی ظرفیت دست‌نخورده فراوانی دارد. استارتاپ Kog قصد دارد با نفوذ به لایه‌های عمیق سخت‌افزار، این پتانسیل پنهان را فعال کند.
این شرکت برنامه‌ریزی کرده تا با ارائه اولین نسخه بهینه‌شده روی مدل‌های بزرگتر با سرعت ۱۰ برابری، مسیر را برای جذب سرمایه مرحله Series A و توسعه همکاری‌های تجاری هموار سازد.
سوالات متداول
موتور استنتاج Kog چگونه سرعت هوش مصنوعی را افزایش می‌دهد؟
این فناوری با بهینه‌سازی‌های نرم‌افزاری سطح پایین و مهندسی معکوس نحوه تعامل مدل با حافظه GPU، تاخیر رمزگشایی را کاهش داده و سرعت تولید توکن‌ها را تا چند برابر افزایش می‌دهد.
آیا این بهینه‌سازی روی کارت‌های گرافیک خانگی و لپ‌تاپ هم کار می‌کند؟
خیر، تمرکز فعلی این استارتاپ روی پردازنده‌های گرافیکی قدرتمند دیتاسنتری مانند Nvidia H200 و AMD MI300X است که زیرساخت اصلی ابرهای هوش مصنوعی را تشکیل می‌دهند.