حال که نثر تولیدشده توسط LLM در همه جا حضور دارد، انسان‌ها مشتاقانه در جستجوی شیوه‌هایی برای شناسایی آن هستند. در حالی که نشانه‌های اولیه مانند خط تیره و «کاوش» مدت‌هاست که به فراموشی سپرده شده‌اند، پژوهشگران می‌گویند هنوز هم عادت‌های شناسایی‌کننده زیادی وجود دارند که مدل‌های هوش مصنوعی هنگام نوشتن نثر به آن‌ها برمی‌گردند.
یک مطالعه جدید از شرکت بازاریابی گرافایت به بررسی عادات نوشتاری مدل‌های پیشرفته پرداخت و به شناسایی کلمات و عبارات دلخواه هر مدل پرداخت. در حالی که نشانه‌های قدیمی مانند استفاده از خط تیره منسوخ شده‌اند، مدل‌ها هنوز به ساختارهای سنگین بر تضاد تکیه می‌کنند و هر نسخه از مدل ویژگی‌های منحصر به فرد خود را نشان می‌دهد. بزرگ‌ترین شگفتی این است که دامنه نشانه‌ها به‌طور کلی بسیار گسترده است. گرافایت ۱۳,۰۰۰ عبارت پیدا کرد که حداقل دو برابر بیشتر از محتوای انسانی در محتواهای هوش مصنوعی رایج بود — این تعریف آن‌ها از «نشانه» است.
«به نظر می‌رسد که مدل‌های کلاود در طول زمان به توزیع کلمات انسانی نزدیک‌تر می‌شوند»، گرگ دراک، مدیر ارشد هوش مصنوعی گرافایت به تک‌کرانچ گفت. «و برای مدل‌های GPT، این فاصله در حال افزایش است.»
مطالعه‌ی نوشتار تولیدشده توسط هوش مصنوعی در مقیاس نیاز به طراحی دقیق مطالعه داشت. گرافایت با یک مجموعه داده ۱۰,۰۰۰ مقاله‌ای که قبل از انتشار چت‌جی‌پی‌تی منتشر شده بودند، به عنوان گروه کنترل انسانی شروع کرد. سپس پژوهشگران از مدل‌های هوش مصنوعی مختلف خواستند مقالات را از خلاصه‌ها بازنویسی کنند تا حداکثر سوگیری منبع ممکن را حذف کنند. با نمونه‌های تطبیق یافته از هر دو گروه انسانی و هر مدل، آن‌ها قادر به مقایسه فراوانی کلمات و عبارات خاص در نوشتار هوش مصنوعی و همچنین الگوهای گسترده‌تری در ساخت جملات بودند.
بر اساس نتایج گرافایت، بزرگ‌ترین نشانه اوپس ۵.۵ کلمه «قابل‌اعتماد» است که ۲۳ برابر بیشتر از نمونه‌های انسانی تکرار می‌شود. در حالی که اوپس ۵.۵ اکنون از ساختار جملاتی «این X نیست، این Y است» اجتناب می‌کند، اما هنوز تمایل دارد بگوید چیزی «بیشتر از یک X است، این یک Y است».
علاوه بر این، اوپس دوست دارد به شما بگوید چرا چیزها مهم هستند، و عبارت «این مهم است» را ۱۱۶ بار بیشتر از نوشتار انسانی استفاده می‌کند، در حالی که «چرا X مهم است» ۹۲ بار بیشتر رخ می‌دهد.
استانداردهای هوش مصنوعی OpenAI تمایزهای دیگری دارد. این مدل دوست دارد «بعد دیگری» از آنچه را که در موردش صحبت می‌کند توصیف کند و معمولاً با گفتن اینکه عملی «ممکن است» یا «می‌تواند» یک فایده خاص فراهم کند، احتیاط می‌کند. بزرگ‌ترین نشانه‌اش چیزی است که گرافایت «قالب‌بندی اصلاحی» می‌خواند، جایی که موضوع به عنوان «تنها X نیست» تعریف می‌شود یا به عنوان جایگزینی «به جای تکیه بر X» ارائه می‌شود. طبق تحقیق گرافایت، چنین ساختارهایی بیش از ۱۰۰ بار بیشتر در نثر تولیدشده توسط آسترا نسبت به نوشتار انسانی رایج بودند.
شایان توجه است که به نظر می‌رسد تمام آزمایشگاه‌های پیشرفته به این ایده پاسخ داده‌اند که مدل‌ها از خط تیره به صورت بیش از حد استفاده می‌کنند. در نمونه‌های گرافایت، اوپس ۵.۵ از علامت نگارشی ۹۹ درصد کمتر از اوپس ۵ استفاده کرده است. اکنون آسترا ۸۸ درصد کمتر از نمونه‌های انسانی از آن استفاده می‌کند، در حالی که جمنی ۳.۱ پرو تقریباً به‌طور کامل خط تیره را از نوشتارش حذف کرده است.
اما در حالی که نشانه‌های فردی تغییر می‌کنند، گرافایت می‌گوید که تعداد کلی عمدتاً ثابت است. «این‌طور نیست که نشانه‌ها در حال کاهش هستند»، دراک به تک‌کرانچ گفت. «آن‌ها توانسته‌اند معروف‌ترین نشانه‌ها را حذف کنند، اما نشانه‌های دیگر ظهور می‌کنند. و هر نسخه از مدل نشانه‌های خاص خود را دارد.»
تعجب‌آور است که نشانه‌ها این‌قدر پایدار هستند، با توجه به تمرکز آزمایشگاه‌ها بر روی سبک‌های نوشتاری مشابه انسان. در انتشار اوپس ۵.۵، آنتروپیک ادعا کرده بود که این مدل «طبیعی‌تر از مدل‌های قبلی ارتباط برقرار می‌کند» و گفت که کاربران اولیه «نوشتار آن را واضح‌تر و آسان‌تر برای پیگیری می‌دانند».
OpenAI ادعاهای مشابهی را هنگام انتشار نسخه‌های GPT-6 سول و لونا مطرح کرد و گفت که کاربران می‌توانند «انتظار داشته باشند که شفافیت بیشتری، اصطلاحات فنی کمتر و [عبارات عجیبی کمتر] ببینند».
اما دراک در مورد اینکه آزمایشگاه‌ها چقدر می‌توانند برای حذف کامل ساختارها یا عبارات شناخته شده تلاش کنند، شک و تردید دارد.
«یک فرضیه کلی که دارم این است که آزمایشگاه‌ها قادر به کنترل برخی از این مسائل کمتر از آنچه که تصور می‌کنید هستند»، دراک می‌گوید. «این‌ها مدل‌های بزرگی با میلیاردها پارامتر هستند. آن‌ها تعداد محدودی از آزمایش‌هایی که می‌توانند انجام دهند دارند و برخی چیزها از میان آن‌ها می‌لغزند.»
