نوآوری جدید در ایمنی هوش مصنوعی
پس از استعفای محقق آنتروپیک، جیکوب ککسون به دلیل نگرانی‌هایش نسبت به خطرات هوش مصنوعی، با دو بنیان‌گذار و برادرشوهرش، رونه کویست و راجیو داتانی، دیدار کردم. آن‌ها معتقدند که راه‌حلی برای جلوگیری از خطرات هوش مصنوعی در سازمان‌ها دارند.
توسعه‌دهی سریع هوش مصنوعی
کویست، که یکی از کارکنان اولیه آنتروپیک بوده، گفت: “هوش مصنوعی با سرعت فزاینده‌ای در حال هوشمندتر شدن است. چالش اینجاست که کنترل هوش مصنوعی با هوشمندتر شدن آن سخت‌تر می‌شود.” داتانی، مدیرعامل سابق سازمان تحقیقاتی ایمنی هوش مصنوعی METR، به خوبی از این مسائل آگاه است.
ایجاد شرکت AIUC
این دو بنیان‌گذار، استارتاپی به نام Artificial Intelligence Underwriting Company (AIUC) راه‌اندازی کردند که هدفش ارائه ایمنی هوش مصنوعی برای سازمان‌ها و شرکت‌های توسعه‌دهنده مدل‌های هوش مصنوعی است. مشتریان این استارتاپ شامل Cursor، Lovable، Harvey و ElevenLabs هستند.
دریافت سرمایه‌گذاری
روز سه‌شنبه، AIUC اعلام کرد که یک دور تأمین مالی سری A به ارزش ۴۰ میلیون دلار به سرپرستی Ribbit Capital دریافت کرده است. این شرکت قبلاً یک دور تأمین مالی ۱۵ میلیون دلاری از Nat Friedman و دیگر سرمایه‌گذاران شناخته‌شده دریافت کرده بود.
مدل جدید ایمنی
آنچه توجه این گروه از سرمایه‌گذاران را جلب کرده، تلاشی است که AIUC برای اعمال یک مدل آزمون و صدور گواهی مشابه با مدل‌های امنیت سایبری به خطرات جدید هوش مصنوعی دارد. این شرکت یک لایه صدور گواهی و بازرسی سوم را برای عوامل هوش مصنوعی ایجاد کرده است.
استاندارد AIUC-1
AIUC استانداردی به نام AIUC-1 را توسعه داده و یک سرویس تست برای ارزیابی عوامل بر اساس این استاندارد فراهم کرده است. برای ایجاد این استاندارد، AIUC یک کنسرسیوم متشکل از ۲۵۰ رهبر امنیت و ریسک جمع‌آوری کرده است.
شرکت در تست‌ها
این استارتاپ عوامل هوش مصنوعی را از طریق مجموعه‌ای از ۵۰۰۰ تست بررسی می‌کند تا رفتار آن‌ها را در سناریوهای مختلف ارزیابی کند. نتایج این تست‌ها گزارشی حدوداً ۱۰۰ صفحه‌ای ارائه می‌دهد که نشان می‌دهد کجا عوامل به طور ایمن عمل می‌کنند و کجا مشکلاتی وجود دارد.
تحلیل با کمک هوش مصنوعی
جالب است که AIUC از عوامل هوش مصنوعی برای اجرای تست‌ها و تجزیه و تحلیل داده‌ها استفاده می‌کند، اما در نهایت تأیید نهایی توسط انسان انجام می‌شود.
تجربیات METR
داتانی اشاره کرد که METR نیز مشابه همین تست‌ها را برای آزمایشگاه‌های پیشرفته انجام می‌دهد، هرچند تمرکز آن بیشتر بر روی عملکرد عوامل بود. این شرکت یکی از سازمان‌های مستقل است که OpenAI برای تحقیق در مورد حوادث خود از آن استفاده کرده است.
تعهد به ایمنی
داتانی تاکید کرد که هدف AIUC ارائه یک ارزیابی مستقل از ایمنی عوامل هوش مصنوعی به سازمان‌ها است. این ارزیابی به تصمیم‌گیری بهتر در مورد خرید کمک خواهد کرد.
نتیجه‌گیری
با توجه به نگرانی‌های روزافزون درباره خطرات هوش مصنوعی، تلاش‌های AIUC می‌تواند نقش مهمی در اطمینان از ایمنی در این فناوری نوین ایفا کند و به سازمان‌ها در اتخاذ تصمیمات آگاه‌تر کمک کند.
