چالش‌های هوش مصنوعی در امنیت سایبری و تاثیر آن‌ها

چالش‌های استفاده از هوش مصنوعی در امنیت سایبری

مدت‌هاست که غول‌های هوش مصنوعی برنامه‌هایی را برای محدود کردن استفاده از مدل‌های خود توسط هکرهای بدخواه ایجاد کرده‌اند. اما این محدودیت‌ها اکنون به مشاغل قانونی و محققان امنیتی آسیب می‌زند.

محدودیت‌های صادرات و تاثیرات آن

در ژوئن، دولت ایالات متحده بر روی مدل‌های هوش مصنوعی Anthropic محدودیت‌های صادراتی اعمال کرد. این اقدام ناشی از گزارشی بود که ادعا می‌کرد امکان دور زدن guardrail های این مدل‌ها وجود دارد.

فقط این نیست که این محدودیت‌ها به مدل Mythos اختصاص دارد، بلکه هر دو کمپانی Anthropic و OpenAI برنامه‌هایی برای محققان امنیت سایبری ارائه می‌دهند که می‌توانند درخواست دسترسی به مدل‌های کمتر محدود شده کنند.

نقد محدودیت‌ها از سوی محققان

این guardrail ها از بسیاری جهات مورد انتقاد هستند. محققان امنیتی معتقدند که این کمپانی‌ها نمی‌توانند به سادگی تصمیم بگیرند که چه چیزی برای امنیت ایمن است.

مارک داود، محقق مشهور، گفت: “این برای من راحت نیست که این شرکت‌های بزرگ به‌طور تصادفی تصمیماتی درباره امنیت بگیرند.”

برخورد محققان با guardrail ها

کریس آنلی، دانشمند ارشد در NCC Group، ادعا می‌کند که دسترسی به یک مدل هوش مصنوعی برای آزمایش احتمالات در تأیید آسیب‌پذیری‌های واقعی ضروری است. اما guardrail ها می‌توانند این فرآیند را مختل کنند.

او گفت: “این ابزار همزمان هم یک ابزار دفاعی و هم یک سلاح است.” زمانی که این محققان با موانع برخورد می‌کنند، به مدل‌های هوش مصنوعی متن‌باز که هیچ guardrail ای ندارند بازمی‌گردند.

ایده‌های مختلف درباره کارایی AI

پاولو استاگنو، مدیر فناوری Crowdfense، بیان کرد که آنها از مدل‌های مرزی برای مهندسی معکوس استفاده می‌کنند. اما از آن برای پیدا کردن آسیب‌پذیری‌ها استفاده نمی‌کنند.

جوزپه کالی، محقق امنیتی، بر این باور است که guardrail ها کار او را مختل نمی‌کنند زیرا او به جای کارهای تهاجمی، از AI برای مهندسی معکوس استفاده می‌کند.

تجربیات متفاوت از استفاده از AI

یک محقق ناشناس در یک شرکت تولید کننده قطعات تلفن همراه بیان کرد که ابزارهای Anthropic برای او تقریباً غیرقابل استفاده هستند به دلیل strict بودن guardrail ها.

کریس تامپسون، مدیرعامل RemoteThreat، تجربه مشابهی دارد و معتقد است guardrail ها می‌توانند inconsistent باشند و محققان باید زمان زیادی را صرف مذاکره با مدل کنند.

نتیجه‌گیری و پیشنهادات

این چالش‌ها باعث شده است که محققان به سمت مدل‌های متن‌باز خارجی بروند. تامپسون به مدیران آزمایشگاه‌های هوش مصنوعی توصیه می‌کند که برنامه‌های خود را بازتر کنند و دسترسی مسئولانه فراهم آورند.

با این حال، آنها به شدت نگران هستند که اگر این روند ادامه یابد، امنیت سایبری وجود نخواهد داشت که بتواند با تهدیدات سریع و گسترده آینده مقابله کند.

منبع