کارمند ایمنی OpenAI استعفا می‌دهد و ادعا می‌کند که فرهنگ شرکت «شکسته است»

به گفته خود دیوید رابینسون، او «چیزی از یک کلیشه» است: کارمندی در یک شرکت پیشرو در حوزه هوش مصنوعی که در حین استعفا یک هشدار جدی مطرح می‌کند.

در یک مقاله که در نشریه آتلانتیک منتشر شده است، رابینسون گفت که او رهبری نوشتن گزارش‌های ایمنی که همراه با راه‌اندازی محصولات اصلی OpenAI منتشر می‌شدند را بر عهده داشت. او همچنین گفت که با سه سال و نیم سابقه در OpenAI، او «در میان کارکنان با سابقه طولانی‌ترین در شرکت» قرار دارد. حالا او استعفا می‌دهد، زیرا به نظر او، فرهنگ شرکت «شکسته است».

به نوعی، نظرات رابینسون طنین‌انداز نظرات جیکوب کاکسون است که به عنوان پژوهشگر در OpenAI و آنتروپیک کار کرده بود، سپس استعفا داد و اعلام کرد که این شرکت‌ها «با زندگی ما قمار می‌کنند». نظرات کاکسون منجر به یک بحث وسیع‌تر درباره ایمنی هوش مصنوعی شد، در حالی که مدیرعامل آنتروپیک، داریو آمودئی یک برنامه برای توسعه محتاطانه‌تر هوش مصنوعی را معرفی کرد; مدیران هوش مصنوعی هفته گذشته با رئیس‌جمهور دونالد ترامپ ملاقات کردند و یک تعهد به نظر می‌رسد که به سرعت نوشته شده و غیرقابل اجباری برای اجرای کنترل‌های ایمنی بیشتر را امضا کردند.

اما از دیدگاه رابینسون، بحث باید فراتر از «قوانین خاص یا قوانین جدید» برود و به فرهنگ کلی این شرکت‌ها بپردازد. و در حالی که بخش زیادی از گزارش‌گری در مورد OpenAI بر نحوه از دست دادن اعتماد مدیرعامل سام آلتمن توسط همکاران سابقش متمرکز شده است، مقاله رابینسون نشان می‌دهد که مشکلات فرهنگی OpenAI همانند مشکلات سیلیکون ولی به طور کلی است.

“OpenAI با آزمون و خطا (که آن را «استقرار تدریجی» می‌نامد) شکوفا شده است و به دنبال مشکلات است و حفاظ‌هایش را در پاسخ به آن‌ها بهبود می‌بخشد”، او نوشت. “اما این رویکرد به خودی خود تضمین کننده شکست‌های دوره‌ای است — و مقیاس آن شکست‌ها در حالی که سیستم‌ها قابلیت بیشتری پیدا می‌کنند، در حال افزایش است.”

با اشاره به نقض اخیر سیستم‌های Hugging Face توسط عوامل OpenAI، و همچنین افشاگری‌های مداوم OpenAI در کشف عوامل منحرف بیشتر، رابینسون استدلال کرد: “یک محیطی که در آن چیزهایی مانند این می‌تواند اتفاق بیفتد، مکانی برای رشد ذهن‌های مصنوعی که ممکن است از ما باهوش‌تر باشند و ممکن است آنچه را که ما می‌خواهیم انجام ندهند، نیست.”

با توجه به خطرات بیشتر، رابینسون استدلال کرد که شرکت‌های پیشرفته هوش مصنوعی باید شروع به کار کردن «مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ» کنند، با لایه‌های اضافی و برنامه‌ریزی دقیق و زمان‌بر، تا خطای انسانی غیرقابل اجتناب و گاه و بیگاه درها را به سمت فاجعه باز نکند.” 

var playerInstance_jwplayer_6ac12d8c958bb = jwplayer( “jwplayer_6ac12d8c958bb” );
playerInstance_jwplayer_6ac12d8c958bb.setup({
playlist: “https://cdn.jwplayer.com/v2/media/j9jJ5spX”,
});

اما رابینسون گفت که در طول مدت حضورش در OpenAI، او «هرگز با همکارانی مواجه نشده که تجربه‌ای در امنیت پرواز هواپیماها یا مدیریت راکتورهای هسته‌ای بدون ذوب شدن داشته باشند، یا در کمک به رشد سیستم مالی بدون فروپاشی».

در پاسخ به مقاله رابینسون، سخنگوی OpenAI، درو پوزاتری گفت که این شرکت به بهبود اقدامات ایمنی خود ادامه می‌دهد.

“ما مطمئن می‌شویم که مدل‌های ما از لحاظ قابلیت، بیشتر از آنچه که می‌توانیم به طور ایمن مدیریت و تأمین کنیم، نشده است و زمانی که نیاز به کند کردن داریم، آموزش را متوقف می‌کنیم یا مدل‌ها را عقب می‌کشیم”، پوزاتری در بیانیه‌ای گفت. “ما تغییرات قابل توجهی برای تقویت امنیت در محیط‌های تحقیق و آزمایش خود انجام می‌دهیم، مدل‌ها را طوری آموزش می‌دهیم که نه تنها وظایف را به انجام برسانند، بلکه این کار را به طور مسئولانه انجام دهند، کار خود را با ارزیابان شخص ثالث گسترش دهیم و نظارت در زمان واقعی را بهبود بخشیم تا بتوانیم رفتارهای نگران‌کننده را زودتر در فرآیند آموزش شناسایی و پاسخ دهیم.”

فراتر از خواسته برای تغییر در فرهنگ OpenAI، رابینسون همچنین گفت که زمان آن فرارسیده تا سوالات بزرگ‌تری درباره هم‌راستایی مطرح شود — چیزی که او اعتراف کرد ممکن است «احساساتی» به نظر برسد، اما او گفت که این مسئله حیاتی است زیرا «معیارهای فعلی» شرکت‌ها از اینکه سیستم‌های هوش مصنوعی چقدر خوب «با ارزش‌های انسانی مطابقت دارند، زبر هستند.”

“هر چه صنعت به مدل‌ها اجازه دهد به طور هوشمندتر رشد کنند در حالی که این مشکلات حل نشده باقی بمانند، وضعیت ما خطرناک‌تر خواهد شد,” او گفت.

خروج رابینسون نخستین بار توسط Business Insider گزارش شد. در مقاله‌اش، او همچنین به این نکته اشاره کرد که او ظاهراً در حال پیروی از یک مرحله رایج در راهنمای افشاگران هوش مصنوعی است: او یک شرکت روابط عمومی استخدام کرده است. اما او تأکید کرد: “تصمیم به صحبت کردن تنها متعلق به من است.”

“شاید من باید می‌ماندم و برای تغییرات اساسی در استخدام و فرهنگ‌مان مبارزه می‌کردم، اما در عمل، همکاران و من آنقدر مشغول بودیم که به ندرت فرصتی برای در نظر گرفتن تغییرات بزرگ داشتیم، چه برسد به اینکه واقعاً آن‌ها را انجام دهیم”، رابینسون گفت. “به همین دلیل من به این نتیجه رسیدم که انگیزه‌های قوی‌تر برای ایمنی — که از خارج از شرکت ناشی می‌شود — بخشی بزرگ از درست انجام دادن این کار است.”