مدل مخفی Anthropic در تمام ۱۵ بنچمارک METR بالای ۵۰ درصد گرفت

مدل مخفی Anthropic چه توانایی‌هایی دارد؟

شرکت Anthropic ظاهراً در حال توسعه نسل تازه‌ای از مدل‌های هوش مصنوعی است که هنوز به‌صورت عمومی معرفی نشده‌اند. انتشار گزارش جدید مؤسسه ارزیابی هوش مصنوعی METR در پنجم نوامبر ۲۰۲۶، اطلاعات قابل‌توجهی از عملکرد یکی از این مدل‌های داخلی را آشکار کرده است؛ مدلی که در گزارش با عنوان Model 4 شناخته می‌شود و در مجموعه‌ای از آزمون‌های ارزیابی توانایی مدل‌های هوش مصنوعی، نتایج قابل‌توجهی به دست آورده است.

بر اساس اطلاعات ارائه‌شده در این گزارش، فرایند آموزش Model 4 در فاصله سپتامبر تا اکتبر ۲۰۲۶ به پایان رسیده است. این مدل در هر ۱۵ بنچمارکی که برای ارزیابی آن مورد استفاده قرار گرفته، امتیازی بالاتر از ۵۰ درصد کسب کرده است. METR همچنین امتیاز این مدل را در شاخص AECI برابر با ۱۷۸.۶ اعلام کرده که آن را در بالاترین سطح مدل‌های بررسی‌شده در این ارزیابی قرار می‌دهد.

اهمیت این عملکرد زمانی بیشتر مشخص می‌شود که بدانیم بسیاری از مدل‌های قبلی در تعدادی از همین آزمون‌ها نمی‌توانستند از مرز ۵۰ درصد عبور کنند. گزارش METR اشاره می‌کند که حتی حدود ۹ ماه پیش، مدل‌هایی مانند Opus 4.6 در بسیاری از این ارزیابی‌ها عملکردی پایین‌تر از این سطح داشتند. عبور یک مدل از این مرز در تمام آزمون‌های مورد بررسی، نشانه‌ای از افزایش قابل‌توجه توانایی سیستم‌های جدید Anthropic است.

شاخص AECI و اهمیت عملکرد Model 4

یکی از معیارهای مهم مورد استفاده در گزارش METR، شاخص AECI است؛ معیاری که برای اندازه‌گیری و مقایسه توانایی مدل‌های هوش مصنوعی در انجام مجموعه‌ای از وظایف مشخص و قابل‌ارزیابی استفاده می‌شود.

Model 4 در این شاخص امتیاز ۱۷۸.۶ را ثبت کرده است. این عدد به‌تنهایی بیانگر عملکرد عمومی مدل در تمام کاربردهای هوش مصنوعی نیست، اما نشان می‌دهد این سیستم در مجموعه وظایفی که برای ارزیابی انتخاب شده‌اند، به سطح بالایی از توانایی رسیده است.

یکی از چالش‌هایی که در این مرحله مطرح می‌شود، مسئله اشباع بنچمارک‌هاست. هنگامی که یک مدل در تمام آزمون‌های موجود به عملکردی بالاتر از ۵۰ درصد می‌رسد، سنجش دقیق میزان پیشرفت نسل‌های بعدی دشوارتر می‌شود. در چنین شرایطی، توسعه آزمون‌های پیچیده‌تر و متناسب با توانایی مدل‌های جدید اهمیت بیشتری پیدا می‌کند.

سرعت پیشرفت مدل‌های Anthropic تقریباً دو برابر شده است

بخش مهم دیگر گزارش METR به سرعت پیشرفت مدل‌های Anthropic مربوط می‌شود. بر اساس برآورد این مؤسسه، امتیاز مدل‌های این شرکت در شاخص AECI از اکتبر ۲۰۲۵ تاکنون با سرعتی حدود ۱.۹ برابر بیشتر از دوره پیشین رشد کرده است.

METR برای این برآورد بازه اطمینان آماری نیز ارائه کرده و مقدار واقعی شتاب را با عدم‌قطعیت همراه دانسته است. بر اساس گزارش، این سرعت پیشرفت به این معناست که Anthropic طی یک سال گذشته تقریباً به‌اندازه دو سال از روند تاریخی پیشرفت خود دستاورد داشته است.

نکته قابل‌توجه این است که METR افزایش سرعت پیشرفت را ناشی از رشد سریع‌تر توان محاسباتی مورد استفاده در آموزش مدل‌ها نمی‌داند. در عوض، این مؤسسه نقش فزاینده ابزارهای هوش مصنوعی در فعالیت‌های تحقیق و توسعه Anthropic را یکی از عوامل اصلی این تغییر ارزیابی می‌کند.

آیا هوش مصنوعی در حال توسعه نسل بعدی خودش است؟

یکی از مهم‌ترین موضوعات مطرح‌شده در گزارش، استفاده گسترده Anthropic از مدل‌های هوش مصنوعی برای تسریع فعالیت‌های پژوهشی و توسعه سیستم‌های جدید است.

پژوهشگران METR پس از بررسی اطلاعات داخلی، مصاحبه با کارکنان و داده‌های مربوط به فرایند توسعه مدل‌ها، به این نتیجه رسیده‌اند که بخش عمده شتاب اخیر احتمالاً به استفاده از هوش مصنوعی در فعالیت‌های تحقیق و توسعه مربوط است.

این استفاده شامل کمک به نوشتن کد، اجرای آزمایش‌ها، بررسی ایده‌های پژوهشی و کاهش زمان موردنیاز برای انجام فعالیت‌های فنی می‌شود. در نتیجه، پژوهشگران می‌توانند تعداد بیشتری از ایده‌ها را در مدت‌زمان کوتاه‌تری بررسی کنند و بخش‌هایی از فرایند توسعه را با سرعت بیشتری پیش ببرند.

بااین‌حال، گزارش METR تأکید می‌کند که این وضعیت هنوز به معنای خودکار شدن کامل فرایند ساخت مدل‌های پیشرفته نیست. شواهد موجود نشان می‌دهد هوش مصنوعی عمدتاً به‌عنوان ابزاری برای افزایش توانایی و بهره‌وری پژوهشگران استفاده می‌شود و هنوز نقش کاملاً مستقلی در مهم‌ترین مراحل توسعه مدل‌ها ندارد.

این موضوع از نظر آینده صنعت هوش مصنوعی اهمیت زیادی دارد؛ زیرا اگر مدل‌ها بتوانند به‌تدریج بخش بیشتری از فعالیت‌های تحقیقاتی را بر عهده بگیرند، ممکن است سرعت توسعه نسل‌های بعدی آن‌ها نیز افزایش پیدا کند.

آیا Model 4 همان Fable 5.5 است؟

پس از انتشار اطلاعات مربوط به مدل داخلی Anthropic، گمانه‌زنی‌هایی در شبکه‌های اجتماعی درباره هویت واقعی این سیستم شکل گرفته است. یکی از احتمالات مطرح‌شده، ارتباط Model 4 با مدلی است که برخی کاربران اینترنت از آن با نام Fable 5.5 یاد می‌کنند.

بااین‌حال، در حال حاضر هیچ تأیید رسمی درباره این ارتباط وجود ندارد. نام Model 4 عنوانی است که METR در گزارش عمومی خود برای اشاره به یکی از مدل‌های داخلی Anthropic استفاده کرده و لزوماً نام تجاری یا نام واقعی محصول محسوب نمی‌شود.

همچنین Anthropic تاکنون مشخصات رسمی، نام نهایی یا زمان عرضه عمومی این مدل را اعلام نکرده است. بنابراین ارتباط دادن آن به Fable 5.5 باید صرفاً در حد یک احتمال و گمانه‌زنی باقی بماند.

چرا گزارش METR اهمیت دارد؟

اهمیت این گزارش فقط به عملکرد یک مدل داخلی در ۱۵ آزمون محدود نمی‌شود. یافته‌های METR تصویری گسترده‌تر از تغییرات صنعت هوش مصنوعی ارائه می‌کنند؛ صنعتی که در آن سیستم‌های هوشمند به‌تدریج به بخشی از فرایند ساخت و توسعه نسل‌های بعدی خود تبدیل می‌شوند.

البته باید توجه داشت که بخش قابل‌توجهی از اطلاعاتی که METR برای ارزیابی در اختیار داشته، به درخواست Anthropic از نسخه عمومی گزارش حذف شده است. این مؤسسه اعلام کرده که شرکت اجازه داشته اطلاعات محرمانه را از گزارش خارج کند و بخش عمده شواهدی که برای نتیجه‌گیری‌های پژوهش اهمیت داشته‌اند، در نسخه منتشرشده در دسترس عموم نیستند.

در نتیجه، هرچند نتایج اعلام‌شده از سوی METR تصویری قابل‌توجه از پیشرفت مدل‌های داخلی Anthropic ارائه می‌کنند، اطلاعات عمومی برای ارزیابی مستقل تمام جزئیات عملکرد Model 4 کافی نیست.

در مجموع، گزارش جدید METR نشان می‌دهد Anthropic در یک سال گذشته سرعت توسعه مدل‌های خود را به شکل چشمگیری افزایش داده است. عملکرد Model 4 در هر ۱۵ بنچمارک و رشد ۱.۹ برابری سرعت پیشرفت مدل‌ها، دو مورد از مهم‌ترین یافته‌های این گزارش هستند؛ یافته‌هایی که بار دیگر موضوع شتاب گرفتن توسعه هوش مصنوعی و نقش این فناوری در پیشرفت نسل‌های بعدی خودش را به مرکز توجه آورده‌اند.