یکی از مهرههای کلیدی و باسابقه شرکت OpenAI با انتشار یادداشتی افشاگرانه از سمت خود کنارهگیری کرد. دیوید رابینسون (David Robinson)، که به مدت سه سال و نیم رهبری نگارش گزارشهای ایمنی محصولات بزرگ این شرکت را بر عهده داشت، با اعلام استعفای خود هشدار داد که فرهنگ سازمانی OpenAI به شدت آسیب دیده و رویکرد فعلی آن در توسعه هوش مصنوعی میتواند به فاجعهای جبرانناپذیر ختم شود. این کنارهگیری بار دیگر بحثهای داغ پیرامون امنیت مدلهای زبانی بزرگ را به اوج خود رسانده است.
رویکرد «آزمون و خطا»؛ بازی با چاشنی خطر در OpenAI
رابینسون در مقاله خود که در نشریه آتلانتیک منتشر شد، رویکرد توسعه در این شرکت پیشرو را به شدت نقد کرد. او معتقد است سیستم توسعه فعلی که تحت عنوان «استقرار تکرارشونده» شناخته میشود، در ذات خود تضمینکننده خطاهای دورهای است. با افزایش توانایی سیستمهای هوش مصنوعی، ابعاد و پیامدهای این خطاها نیز به شکل نگرانکنندهای بزرگتر میشوند.
او برای اثبات ادعای خود به موارد مهمی اشاره کرده است:
- نفوذ اخیر عوامل هوش مصنوعی توسعهیافته OpenAI به سیستمهای پلتفرم محبوب هابینگ فیس (Hugging Face)
- کشف مداوم عوامل هوش مصنوعی خودسر و مهارنشده که نشاندهنده ضعف جدی در کنترل این فناوری است
- نبود متخصصانی با تجربه مدیریت بحرانهای حساس (مانند مهندسان نیروگاههای هستهای یا ناظران هوانوردی) در تیمهای اصلی توسعه
لزوم تغییر اساسی؛ فراتر از قوانین و دستورالعملهای ساده
این مدیر مستعفی تاکید میکند که مواجهه با خطرات هوش مصنوعی پیشرفته، فراتر از وضع قوانین یا کدهای اخلاقی ساده است و نیاز به بازنگری ریشهای در فرهنگ سازمانی دارد. رابینسون معتقد است شرکتهای پیشرو باید مانند نیروگاههای هستهای یا فرودگاههای شلوغ، لایههای متعدد حفاظتی داشته باشند تا یک خطای انسانی ساده به فاجعهای جهانی تبدیل نشود.
در پاسخ به این انتقادات، سخنگوی OpenAI اعلام کرد که این شرکت به بهبود استانداردهای امنیتی خود متعهد است و در صورت نیاز، آموزش مدلها را متوقف یا عرضه آنها را به تاخیر خواهد انداخت. با این حال، رابینسون اصرار دارد که فشار بیرونی و انگیزههای نظارتی قویتر از سوی نهادهای دولتی، تنها راه نجات و هدایت درست این صنعت است.
سوالات متداول
چرا دیوید رابینسون از OpenAI استعفا داد؟
او معتقد است فرهنگ سازمانی OpenAI فروپاشیده و تمرکز بیش از حد بر توسعه سریع و مبتنی بر آزمون و خطا، امنیت بشریت را در مواجهه با هوش مصنوعی فوقپیشرفته به خطر میاندازد.
واکنش OpenAI به این استعفا و انتقادات چه بود؟
این شرکت اعلام کرد که در حال ارتقای مداوم لایههای امنیتی، همکاری با ارزیابان مستقل ثالث و بهبود سیستمهای نظارت آنی بر رفتار مدلها در طول فرآیند آموزش است.
