مدیرعامل مایکروسافت، ساتیا نادلا، دیدگاه‌های مفصلی درباره نحوه ارتقای ایمنی سیستم‌های هوش مصنوعی ارائه کرده و خواستار ایجاد یک «ترمز اضطراری» برای مهار هوش فوق‌العاده شده است. به باور نادلا، وقت آن رسیده که صنعت فناوری یک گام به عقب بردارد و معماری اعتماد در فناوری‌های مبتنی بر هوش مصنوعی را به‌طور کامل بازارزیابی کند.
بازنگری در معماری اعتماد و مهار هوش فوق‌العاده
ساتیا نادلا در یادداشتی که در شبکه اجتماعی ایکس منتشر کرد، هشدار داد که نباید با هوش فوق‌العاده (Super Intelligence) مانند مجموعه‌ای از جعبه‌های سیاه پیچیده رفتار کرد و توصیه‌ها یا اقدامات آن را بدون نظارت دقیق پذیرفت. او تأکید دارد که کنترل مدل‌ها باید از ساختار اصلی آن‌ها تفکیک شود.
از نگاه مدیرعامل مایکروسافت، مهار و ایمن‌سازی نسل جدید ابزارهای هوش مصنوعی نیازمند اقدامات زیرساختی کلیدی است:
- جداسازی مدل از لایه اجرایی: تفکیک مدل زبانی از ابزارها و چارچوب‌هایی که اقدامات آن را مدیریت می‌کنند.
- برون‌سپاری کنترل‌ها و مکانیزم‌های حفاظتی: قرار دادن لایه‌های امنیتی خارج از ساختار داخلی مدل هوش مصنوعی.
- مستندسازی دست‌نخورده: ثبت تمامی تصمیمات و اقدامات مهم مدل با شواهد قابل خواندن توسط انسان و غیرقابل تغییر.
- ترمز اضطراری انسانی: ایجاد مکانیزمی که به افراد مجاز اجازه می‌دهد در صورت بروز خطای غیرمنتظره، مدل را در منتصف انجام کار متوقف یا خاموش کنند.
چرا کنترل هوش مصنوعی به یک ضرورت عاجل تبدیل شده است؟
اظهارات نادلا در زمانی مطرح می‌شود که گزارش‌های متعددی از خروج کنترل ابزارها و ایجنت‌های هوش مصنوعی در شرکت‌های پیشرو منتشر شده است. پیش از این نیز داریو آمودی، مدیرعامل آنتروپیک، طرحی را برای توسعه احتیاط‌آمیز مدل‌های پیشرفته پیشنهاد کرده بود.
ساتیا نادلا معتقد است پیش‌فرض اصلی توسعه‌دهندگان باید این باشد که مدل هوش مصنوعی ممکن است آسیب ببیند یا نفوذپذیر باشد؛ بنابراین باید از همان ابتدا خطوط مهار و محدودسازی مشخصی برای آن طراحی شود تا مانند ترمز اضطراری خودرو، جلوی خطرات احتمالی را بگیرد.
سوالات متداول
منظور ساتیا نادلا از ترمز اضطراری در هوش مصنوعی چیست؟
ترمز اضطراری مکانیزم کنترلی جامعی است که به اپراتورهای انسانی اجازه می‌دهد در صورت بروز رفتار نامطلوب یا خارج از کنترل مدل هوش مصنوعی، فعالیت آن را فوراً متوقف یا خاموش کنند.
چرا بررسی معماری اعتماد هوش مصنوعی اهمیت یافته است؟
با افزایش قدرت مدل‌های هوش فوق‌العاده و واگذاری وظایف خودکار به آن‌ها، ریسک رفتارهای غیرقابل‌پیش‌بینی افزایش یافته و عدم نظارت انسانی می‌تواند خسارات امنیتی و عملیاتی جبران‌ناپذیری بار آورد.