با تمام صحبت‌ها درباره اینکه هوش مصنوعی ممکن است روزی همگی ما را از بین ببرد، فراموش کردن این موضوع آسان است که هوش مصنوعی در حال حاضر به برخی از افراد تهدیدی برای زندگی شده است، نه از طریق سلاح‌های بیولوژیک، بلکه از لحاظ روانی.
به عنوان مثال، Character.AI چندین دادخواست مرگ غیرمجاز را اوایل امسال به دلیل شکایت خانواده‌های کاربران زیر سن قانونی که پس از تعامل با ربات‌هایش خودکشی کردند، حل و فصل کرد. چندین خانواده نیز از OpenAI شکایت کرده‌اند به دلیل نقش ادعایی ChatGPT در خودکشی‌ها و توهمات عزیزانشان.
ایمن‌تر کردن هوش مصنوعی در سراسر زبان‌ها و فرهنگ‌ها، مأموریت Circuit Breaker Labs است که یکی از برگزیدگان ۲۰۰ استارتاپ میدان نبرد TechCrunch ۲۰۲۶ به شمار می‌رود. (Circuit Breaker در حال حاضر در TechCrunch Disrupt که از ۱۳ تا ۱۵ اکتبر ۲۰۲۶ در Moscone West در سان فرانسیسکو برگزار می‌شود، ارائه خواهد کرد.)
بنیان‌گذاران شرایلی و آرول نیگام، که خواهر و برادر هستند، با الهام از سوئل ستزر، پسربچه ۱۴ ساله‌ای که به یک چت‌بات Character.ai وابستگی عاطفی پیدا کرده و پیش از خودکشی افکار آسیب به خود را با آن در میان گذاشته بود، انگیزه پیدا کردند. والدین در یک شکایت در سال ۲۰۲۴ ادعا کردند که این چت‌بات او را تشویق کرده است. آرول نیگام، CTO شرکت Circuit Breaker Labs، گفت: «این چت‌بات ممکن است متوجه نشده باشد که واژه‌هایی مانند “می‌خواهم با تو باشم” واقعاً چه معنایی دارند.
آرول نیگام گفت: «بسیاری از افراد، به ویژه جوانان، به این سیستم‌ها برای حمایت روی می‌آورند و معمولاً واقعاً کمکی که نیاز دارند، دریافت نمی‌کنند. اما در بسیاری از موارد، آنها به طور فعال آسیب می‌بینند و متأسفانه برخی از آنها جان خود را از دست داده‌اند. این نوع آسیب‌پذیری‌های ایمنی، جایی است که افراد لزوماً در حال تلاش برای شکستن سیستم نیستند – آنها به طور طبیعی در حال تعامل هستند – و سیستم ممکن است دچار آلودگی زمینه یا عدم درک ظرافت‌ها شود و سپس اقداماتی واقعاً خطرناک انجام دهد که ما سعی داریم از آن جلوگیری کنیم.»
شرکت Circuit Breaker Labs، عوامل هوش مصنوعی ایجاد کرده است که به یک ارتش ماکت‌های تست تصادف تشبیه می‌شوند. این عوامل از تمامی سنین، زمینه‌ها، زبان‌ها و فرهنگ‌ها تقلید می‌کنند و برای آزمایش مدل‌ها در توانایی آنها برای شناسایی تعاملات خطرناک و روانی آسیب‌رسان استفاده می‌شوند.
شرایلی نیگام، CEO شرکت Circuit Breaker Labs، گفت: «طرز برخورد یک دختر شش ساله در مقابل یک مرد ۴۵ ساله، یا کسی که انگلیسی را به عنوان زبان اول صحبت می‌کند در مقابل کسی که زبان دوم او است، یا … زبان عامیانه بازیکنان در مقابل کسی که از زبان عامیانه متفاوت‌تری استفاده می‌کند، همه اینها می‌تواند واقعاً یک مدل را گول بزند. مدل‌ها واقعاً در پردازش الگوهای گفتاری استاندارد خوب هستند، اما هیچ‌کس واقعاً به این شکل صحبت نمی‌کند و اگر مدل نتواند ظرافت یا زبان عامیانه را درک کند، ممکن است نتیجه‌اش واقعاً بد باشد.»
این استارتاپ با کارشناسان انسانی حوزه همکاری می‌کند تا شبیه‌سازی‌های کاربری فوق‌العاده واقعی را بسازد تا آزمایش‌های “گروه قرمز” را علیه مدل‌ها انجام دهد، که این آزمایش‌ها تست‌های خصمانه‌ای هستند که به منظور کشف نقاط ضعف طراحی شده‌اند. این تست‌ها به گونه‌ای طراحی شده‌اند که الگوهای گفتاری انسانی واقعی، زبان عامیانه، زبان کدگذاری شده و غلط‌های تایپی را بازتاب دهند. سپس شرکت Circuit Breaker Labs ده‌ها هزار تا صدها هزار تعامل شبیه‌سازی شده در روز انجام می‌دهد.
ایده این است که اطمینان حاصل شود که یک مدل می‌تواند به طور مناسب به تعاملات پرخطر که ممکن است در طول زمان و بسیاری از مکالمات به وجود آید، پاسخ دهد. شرکت Circuit Breaker Labs سپس از یک روش امتیازدهی اختصاصی برای ایجاد امتیازهای قابل حسابرسی و قابل توضیح استفاده می‌کند.
شرکت Circuit Breaker Labs در حال حاضر به عنوان یک آزمایشگاه تست ایمنی هوش مصنوعی برای برنامه‌های کاربردی هوش مصنوعی با ریسک بالا مانند مربی‌گری هوش مصنوعی، یادداشت‌برداری یا سایر برنامه‌های پشتیبانی از سلامت روان کار می‌کند، هرچند آرول نیگام تمایل به نام بردن از مشتریان معروف خود ندارد. اگرچه این استارتاپ محصولی کاربردی دارد، اما هنوز در مراحل اولیه است و تنها پنج کارمند شامل خواهر و برادرهای نیگام را دارد.
اما در نهایت، پلتفرم تست می‌تواند به هر برنامه‌ای که شخص ممکن است به “روان‌پریشی هوش مصنوعی” مبتلا شود، اعمال شود، جایی که انسان در خطر توسعه یک رابطه پارا اجتماعی با یک چت‌بات است. نمونه‌هایی شامل عوامل AI “همکار” وجود دارد، که پاسخ‌هایشان می‌تواند از یک تعامل به تعامل دیگر متفاوت باشد.
آرول نیگام گفت: «افراد نسبت به هوش مصنوعی بیشتر نگران یا بیشتر مقاوم به پذیرش آن در کلیت می‌شوند» و افزود که در حالی که شک و تردید سالم است، ممنوعیت یک ابزار بالقوه ارزشمند به دلیل نگرانی‌های ایمنی “عقب‌گرد” خواهد بود.
شرکت Circuit Breaker Labs معتقد است که پاسخ به این نگرانی‌ها، ایمن‌تر کردن هوش مصنوعی است. «ما می‌خواهیم به ساختن این اعتماد برای مردم کمک کنیم».
برای یادگیری اطلاعات بیشتر در مورد Circuit Breaker Labs و بسیاری از دیگر استارتاپ‌های نوآور که توسط TechCrunch مورد بررسی قرار گرفته‌اند، به مسابقه Startup Battlefield ما که در مرکز شهر سان فرانسیسکو از ۱۳ تا ۱۵ اکتبر برگزار می‌شود، بیایید.
