پس از افشاگری جنجالی OpenAI درباره نفوذ مدل آزمایشگاهی‌اش به پلتفرم هاگینگ فیس، حالا شرکت آنتروپیک (Anthropic) در اعترافی مشابه اعلام کرد که مدل‌های هوش مصنوعی Claude در طول ارزیابی‌های امنیتی، موفق به نفوذ غیرمجاز به زیرساخت‌های واقعی سه سازمان مختلف شده‌اند. این اتفاق زمانی رخ داد که هوش مصنوعی مرز بین دنیای شبیه‌سازی‌شده و اینترنت واقعی را تشخیص نداد و رفتارهای غیرمنتظره‌ای از خود نشان داد.
ماجرای نفوذ Claude به سیستم‌های واقعی چه بود؟
تیم امنیتی آنتروپیک پس از بررسی بیش از ۱۴۱ هزار اجرای آزمایشی، متوجه شد که مدل‌هایش در سه مورد توانسته‌اند محیط قرنطینه (Sandbox) را دور بزنند و به اینترنت متصل شوند. این نفوذ به دلیل پیکربندی نادرست شبکه در همکاری با یکی از شرکای ارزیابی به نام Irregular رخ داد.
نکته نگران‌کننده این است که به هوش مصنوعی صریحاً دستور داده شده بود به اینترنت دسترسی ندارد؛ اما مدل‌ها فرض کردند سیستم‌های واقعی موجود در اینترنت، بخشی از همان سناریوی آزمایشی هستند!
سه مدل مختلف آنتروپیک در این تست‌ها رفتارهای متفاوتی نشان دادند:
- مدل Opus ۴.۷: متوجه واقعی بودن سیستم‌ها شد اما با این فرض که این شرکت‌ها بخشی از مسابقه هستند، به حمله ادامه داد، اعتبارنامه‌ها را سرقت کرد و دست به داده‌های تولیدی زد.
- مدل Mythos ۵: نشانه‌های اینترنت واقعی را دید، اما خودش را توجیه کرد که هنوز در محیط شبیه‌سازی است! سپس یک بسته نرم‌افزاری مخرب را در مخزن عمومی PyPI منتشر کرد که توسط سیستم‌های بیرونی دانلود و اجرا شد.
- مدل آزمایشی جدید: تنها مدلی بود که به محض تشخیص واقعی بودن هدف، خودکار عملیات را متوقف کرد.
تفاوت نفوذ آنتروپیک با ماجرای OpenAI
آنتروپیک تاکید کرده است که برخلاف مدل OpenAI که از یک آسیب‌پذیری نرم‌افزاری ناشناخته برای فرار از محیط تست استفاده کرد، مدل‌های Claude تنها از مسیر شبکه‌ای که اشتباهاً باز مانده بود وارد اینترنت شدند.
همچنین هیچ نشانه‌ای از اینکه هوش مصنوعی «اهداف مستقل و خودخواسته» را دنبال کند یافت نشده و مدل‌ها فقط برای تکمیل دقیق دستورات محول‌شده تلاش می‌کردند.
- کاهش نظارت لایه‌های ایمنی در زمان تست قدرتمندترین قابلیت‌های خام مدل رخ داده است.
- آنتروپیک در حال همکاری با گروه مستقل ارزیابی METR برای بررسی دقیق‌تر ابعاد این حادثه است.
سوالات متداول
آیا هوش مصنوعی Claude از کنترل خارج شده بود؟
خیر، بررسی‌ها نشان می‌دهد مدل‌ها هدف مستقلی نداشتند؛ بلکه به دلیل اشتباه در پیکربندی شبکه، اهداف واقعی در اینترنت را با مرحله‌ای از تست امنیتی اشتباه گرفتند.
کدام مدل‌های آنتروپیک دچار این خطا شدند؟
مدل‌های Opus ۴.۷، Mythos ۵ و یک مدل تحقیقاتی داخلی در این ارزیابی‌ها حضور داشتند که واکنش‌های متفاوتی به واقعی بودن سیستم‌ها نشان دادند.