استاندارد جدید برای کنترل ایجنت‌های هوش مصنوعی در سازمان‌ها
توسعه روزافزون هوش مصنوعی و ورود ایجنت‌های خودمختار به بدنه کسب‌وکارها، چالش‌های امنیتی پیچیده‌ای به همراه داشته است. استارت‌آپ جدید AIUC (مخفف Artificial Intelligence Underwriting Company) که توسط رون کوئیست (از کارمندان اولیه آنتروپیک) و راجیو داتانی (مدیر ارشد سابق موسسه پژوهشی METR) تأسیس شده، از جذب ۴۰ میلیون دلار سرمایه در دور Series A خبر داد. هدف این مجموعه ارائه لایه ارزیابی مستقل و صدور تاییدیه امنیتی برای ایجنت‌های هوش مصنوعی است.
امروزه سازمان‌های بزرگ نظیر بانک‌ها، بیمارستان‌ها و نهادهای دولتی به دلیل عدم توانایی در تضمین رفتار مدلهای زبانی، در پیاده‌سازی ایجنت‌های هوش مصنوعی تردید دارند. AIUC با الگوبرداری از استانداردهای شناخته‌شده امنیت سایبری مانند SOC ۲، چارچوبی اختصاصی به نام AIUC-1 طراحی کرده تا پیش از استقرار ایجنت‌ها، ایمنی و قابلیت اطمینان آن‌ها را ارزیابی کند.
ارزیابی هوشمند و سنجش خطرات ایجنت‌ها
فرآیند تست در این استارت‌آپ شامل اجرای نزدیک به ۵,۰۰۰ سناریوی مختلف برای سنجش رفتارهای مخرب و غیرمنتظره ابزارهای هوش مصنوعی است. جالب اینجاست که خود تست‌ها و تحلیل داده‌ها توسط ایجنت‌های هوش مصنوعی اجرا می‌شوند، اما تایید نهایی گزارش ۱۰۰ صفحه‌ای حاصل از ارزیابی، توسط کارشناسان انسانی انجام می‌گیرد.
مهم‌ترین محورهای ارزیابی در استاندارد AIUC-۱ شامل موارد زیر است:
- سنجش مقاومت در برابر جیل‌بریک: بررسی میزان پایداری مدل در برابر تلاش‌های نفوذ و دستورهای انحرافی.
- ارزیابی میزان توهم (Hallucination): حصول اطمینان از صحت خروجی‌ها و عدم تولید اطلاعات نادرست.
- پیشگیری از نشت اطلاعات: بررسی رفتارهای امنیتی مدل در مواجهه با داده‌های حساس و محرمانه سازمان.
دور جدید سرمایه‌گذاری این شرکت به رهبری Ribbit Capital و با مشارکت First Harmonic انجام شده و مجموع سرمایه جذب‌شده آن را به ۵۵ میلیون دلار رسانده است. شرکت‌هایی همچون Cursor، Lovable و ElevenLabs از نخستین مشتریان خدمات این استارت‌آپ به شمار می‌روند.
سوالات متداول
استارت‌آپ AIUC دقیقاً چه خدمتی ارائه می‌دهد؟
این شرکت خدمات ممیزی و صدور گواهینامه امنیتی برای ایجنت‌های هوش مصنوعی ارائه می‌دهد تا سازمان‌ها قبل از خرید و پیاده‌سازی این ابزارها، از مخاطرات احتمالی آگاه شوند.
سرمایه‌گذاران اصلی AIUC چه کسانی هستند؟
این استارت‌آپ تاکنون موفق به جذب ۵۵ میلیون دلار سرمایه از مجموعه‌هایی نظیر Ribbit Capital، First Harmonic و سرمایه‌گذاران فرشته مطرحی چون نت فریدمن و بن مان (هم‌بنیان‌گذار آنتروپیک) شده است.