در حالی که بحث‌ها در مورد اینکه آیا بروز اخیر عوامل هوش مصنوعی سرکش به سمت AGI است یا یک مشکل مهندسی معمولی، انیدیا پاسخ خود را به این مشکل ارائه می‌دهد.
مدیرعامل انیدیا، جنسن هوانگ، روز دوشنبه یک جعبه ابزار شامل محصولات نرم‌افزاری و سخت‌افزاری را معرفی کرد که لایه‌های امنیتی مستقل را در اطراف عوامل هوش مصنوعی اضافه می‌کند تا اطمینان حاصل شود که آنها در محیط‌های آزمایشی خود باقی می‌مانند حتی اگر بخواهند از آن خارج شوند.
این انتشار پس از یک سری از حوادث هک که شامل مدل‌های هوش مصنوعی از انترپیک، گوگل، اوپن‌ای‌آی و متا است، که کنترل‌های امنیتی را دور زده و از محیط‌های آزمایشی خود خارج شده و به سیستم‌های دنیای واقعی دسترسی پیدا کرده‌اند، صورت می‌گیرد. اولین و بارزترین مثال در تابستان امسال، زمانی بود که عوامل اوپن‌ای‌آی در حین تلاش برای انجام یک وظیفه امنیت سایبری به حریم خصوصی هگینگ فیس نفوذ کردند. و ضربه‌ها ادامه دارد — اوپن‌ای‌آی یک سایت جدید اختصاصی برای گزارش‌های عوامل هوش مصنوعی سرکش خود منتشر کرد.
هوانگ روز دوشنبه در مصاحبه‌ای با CNBC گفت که پلتفورم جدید انیدیا Open Agent Safety Platform می‌توانست از این نفوذها جلوگیری کند.
انیدیا، که ده‌ها میلیارد دلار از فروش تراشه‌های GPU و CPU به آزمایشگاه‌های هوش مصنوعی درآمد داشته است، مخالف کند کردن توسعه یا اضافه کردن مقررات جدید به صنعت به منظور حل مشکل امنیتی است. این شرکت بر این باور است که پاسخ، انتقال برخی از کنترل‌های امنیتی به خارج از عامل به طور کلی است — ایجاد یک نگهبان امنیتی مستقل و دائمی که عوامل هوش مصنوعی را در کنترل نگه دارد.
هوانگ در یک بیانیه گفت: “پتانسیل فوق‌العاده هوش مصنوعی برای جامعه تنها زمانی محقق می‌شود که امنیت هوش مصنوعی را حل کنیم.” او ادامه داد: “همانطور که به کشف مرزهای قابلیت‌های هوش مصنوعی ادامه می‌دهیم، باید کشف در مرز ایمنی هوش مصنوعی را تسریع کنیم. ایمنی و امنیت نیاز به مهندسی کامل دارند.”
پلتفورم جدید انیدیا Open Agent Safety Platform شامل OpenShell، نرم‌افزار متن باز خود برای کنترل دسترسی عوامل در حین عملکرد، به همراه Sentry، یک سیستم پایش مستقل است که بر روی واحدهای پردازش داده BlueField-4 انیدیا اجرا می‌شود. انیدیا می‌گوید قرار دادن Sentry بر روی یک پردازنده جداگانه — به جای CPU یا GPU که عامل هوش مصنوعی در آن عمل می‌کند — نمای ایزوله‌ای از فعالیت عامل ارائه می‌دهد.
OpenShell جدید نیست؛ این شرکت نرم‌افزار را در ماه مارس معرفی کرد. اما این ترکیب است که انیدیا بر این باور است که لایه امنیتی لازم را برای حفاظت از صنعت فراهم می‌آورد. OpenShell مرز نرم‌افزاری را در اطراف عامل فراهم می‌کند، در حالی که Sentry یک خط دفاعی دیگر در سطح سخت‌افزار اضافه می‌کند که شرکت می‌گوید به طور مداوم رفتار را پایش کرده و “عوامل را که سعی در انتقال خارج از مرزهای خود دارند در عرض میلی‌ثانیه قرنطینه می‌کند.”
انیدیا ده‌ها شرکتی را که برای حمایت از این تلاش و استفاده از پلتفورم متن باز ثبت‌نام کرده‌اند، از جمله انترپیک، آرمی، مایکروسافت، اوراکل و اسپیس‌ایکس، فهرست کرد. اوپن‌ای‌آی به عنوان یک شرکت مشارکت‌کننده ثبت نشده است.
هوانگ در مصاحبه‌ای با CNBC گفت که کار بر روی این تلاش یک سال پیش پس از معرفی OpenClaw، یک سیستم عامل عوامل ایجاد شده توسط پیتر استینبرگر، شروع شد. در ماه مارس، انیدیا NemoClaw، یک پلتفورم عامل هوش مصنوعی در سطح سازمانی و نسخه خود از OpenClaw که امنیت را در بر می‌گرفت را منتشر کرد.
هوانگ در مصاحبه‌اش با CNBC گفت: “زمانی که یک عامل را مستقر می‌کنید، فرقی نمی‌کند چقدر هوشمند باشد، اولین کاری که انجام می‌دهید این است که تمام حقوق آن را از او می‌گیرید.” او در ادامه این تدابیر امنیتی را به مدیریت کارکنان انسانی و حتی مدیران در شرکت‌ها مقایسه کرد.
انتشار انیدیا به طور گسترده‌ای مورد حمایت قرار گرفت، به ویژه از کسانی که هشدار داده‌اند که کند کردن توسعه می‌تواند به چین این امکان را بدهد که در هوش مصنوعی از ایالات متحده پیشی بگیرد.
دیوید ساکس، موسس، سرمایه‌گذار ریسک‌پذیر، رئیس سابق AI در کاخ سفید و رئیس مشترک شورای مشاوران رئیس‌جمهوری درباره علم و فناوری، گفت که اعلام انیدیا یادآوری است که ایمنی عامل یک مشکل مهندسی است.
او در پستی در X نوشت: “شکست‌های اخیر هیچ دلیلی برای توقف توسعه نبودند. آنها نشان می‌دهند که محیط سندباکس خیلی ضعیف بود. محیط اجرایی به طور ضعیفی طراحی و پیکربندی شده بود.”
