روش استاندارد برای نگه داشتن یک عامل AI در خط، داشتن یک AI دوم برای نظارت بر او است. این رویکرد به‌عنوان روش پیش‌فرض در نظر گرفته می‌شود، اما می‌تواند به سرعت گران تمام شود زمانی که عوامل برای ساعت‌ها در حال کار هستند و معادل چند رمان متن را پردازش می‌کنند.
گودفایر، یک استارتاپ متمرکز بر تفسیرپذیری (درک نحوه کارکرد داخلی مدل‌های AI)، روز پنجشنبه گزینه‌ای ارزان‌تر معرفی کرد: مانیتورهایی که آنچه درون یک مدل AI در حین کار می‌گذرد را مشاهده می‌کنند، نه تنها آنچه را که می‌نویسد می‌خوانند. این مانیتورها برای مشتریان باسن در دسترس هستند، که مدل‌های AI را برای دیگر شرکت‌ها میزبانی و اجرا می‌کند.
آزمایشگاه‌های بیس باسن یک شراکت ایمنی با گودفایر و پلتفرم AI هاجینگ فیس در ماه گذشته اعلام کردند.
این راه‌اندازی پس از یک سری حوادث در سال جاری رخ می‌دهد که در آن عوامل AI از محیط‌های آزمایشی خود فرار کرده‌اند، از جمله عوامل OpenAI که به هاجینگ فیس نفوذ کردند. کیمی K3، مدلی باز که گودفایر اولین مانیتور خود را بر اساس آن ساخته است، از یک نشت در محیط آزمایش خود بهره‌برداری کرد تا به اینترنت و اطلاعات GitHub در تابستان دسترسی پیدا کند.
سیستم گودفایر کمی مانند امنیت فرودگاه عمل می‌کند. دستگاه‌های کوچکی به نام پروب‌ها، سیگنال‌های داخلی مدل را در هر مرحله از کار یک عامل می‌خوانند، همان‌طور که یک دستگاه اسکن برای چک کردن هر مسافر است. تنها زمانی که یک پروب چیزی را علامت‌گذاری می‌کند، یک مدل AI جداگانه، معادل یک جستجوی دستی، نزدیک‌تر بررسی می‌کند.
مشتریان باسن می‌توانند انتخاب کنند که کدام ریسک‌ها را مانیتور کنند، از جمله هک کردن تهاجمی، سوء استفاده از سلاح‌های شیمیایی و بیولوژیکی و هک کردن پاداش. آنها همچنین پاسخ خودکار را تعیین می‌کنند: ثبت رویداد، ارسال آن برای بررسی انسانی یا کاملاً رد درخواست.
گودفایر می‌گوید رویکرد آن همچنین ارزان‌تر از اجرا است. بیشتر مانیتورهای AI مدل‌های جداگانه‌ای هستند که باید همه چیزهایی را که مدل تحت نظارت انجام می‌دهد دوباره بخوانند، که زمان و هزینه را افزایش می‌دهد. پروب‌های گودفایر به جای آن به محاسباتی که مدل در حین کار انجام می‌دهد دسترسی پیدا می‌کنند.
“مانیتورهای فعال‌سازی داخلی واقعاً ارزان هستند زیرا محاسبات در حال گذر را دوباره استفاده می‌کنند،” اریک هو، مدیرعامل گودفایر، در پادکست MAD سرمایه‌گذار خطرپذیر مت تورک گفت. “بنابراین مدل در حال حاضر این توکن را محاسبه می‌کند. همه کاری که شما انجام می‌دهید این است که فعال‌سازی‌های عصبی میانی که در حال حاضر محاسبه شده‌اند را بگیرید و سپس یک طبقه‌بندی‌کننده را روی این محاسبات داخلی اجرا کنید.” به عبارت دیگر، مدل در حال حاضر در حال انجام محاسبات است و پروب‌ها فقط نتایج را می‌خوانند.
در آزمایش‌های گودفایر بر روی کیمی K3، نظارت بر حدود 1500 جلسه تقریباً 51 دلار هزینه داشت، در مقایسه با 233 دلار برای یک مدل AI ارزان‌تر که هر مرحله را بررسی می‌کند و حدود 10,000 دلار برای یک مدل از نوع برتر. پروب‌ها 94 درصد از جلسات هک مخرب را شناسایی کردند و 8.7 درصد از موارد بی‌ضرر را برای بررسی دوباره ارسال کردند.
اجرای چهار پروب به طور همزمان کمتر از 2 درصد به زمان لازم برای پاسخ دادن مدل اضافه کرد، به گفته شرکت.
“مزیت بزرگ این است که می‌توانید قبل از وقوع مسائل آنها را شناسایی کنید،” دان بالسام، CTO و یکی از بنیان‌گذاران گودفایر گفت. “ما می‌توانیم شناسایی کنیم که مدل هنگام ارزیابی یا آموزش ممکن است هک کند.”
این پیشنهاد به مدل‌های باز هدف‌گیری شده است. توسعه‌دهندگان می‌توانند آنها را دانلود کنند و ضوابط ایمنی آنها را حذف کنند و آنها با نوعی نظارت که آزمایشگاه‌های بسته بر روی سیستم‌های خود انجام می‌دهند همراه نیستند.
“آسیبی که یک فرد می‌تواند با یک مدل باز وارد کند، در مقایسه با آنچه که کسی می‌تواند با خوشه‌های محاسباتی انجام دهد، کوچک است، مانند ارائه دهندگان استنتاج – جایی که بیشتر مسئولیت وجود دارد،” بالسام گفت. “وقتی لحظه «میثوس» باز باشد، واضح خواهد بود که مدل‌ها نیاز به ضوابط در زمان استنتاج دارند.”
تحقیقات اخیر گودفایر نشان داد که مدل‌های باز پیشرفته، از جمله کیمی K3 و GLM 5.2، در 50٪ تا 96٪ از اجراها در آزمایش‌های عوامل AI هک پاداشی شده‌اند.
گودفایر نخستین شرکتی نیست که این رویکرد را امتحان می‌کند. گوگل دیپ مایند در ژانویه گفت که تحقیقات آن به استقرار پروب‌های شناسایی سوء استفاده در جمنای اطلاع داده است.
بالسام گفت که مانیتورها بخشی از هدف تحقیقات بلندمدت هستند: رمزگشایی از یک LLM به طوری که رفتار به جایی که در آموزش به وجود آمده، قابل پیگیری باشد. “امیدواریم بتوانیم جادوگری آموزش مدل‌ها را به مهندسی دقیق تبدیل کنیم،” او گفت.
