أفادت عدة تقارير إخبارية أن شركة ميتا بلاتفورمز تفكر في التخلي عن نموذج "لاما 4 بيهيموث"، بالرغم من أن هذا النموذج حاليًا أكبر وأقوى نموذج ذكاء اصطناعي للشركة تم الإعلان عنه.
وأشار تقرير نشرته صحيفة نيويورك تايمز أن مجموعة صغيرة من كبار الموظفين في مختبر الذكاء الفائق الذي أعلنت عنه ميتا مؤخرًا يُعتقد أنهم يطورون نموذجًا مغلق المصدر بدلاً من ذلك.
ووفقًا للتقرير، أكملت ميتا تدريب نموذج "بيهيموث"، لكنها أجّلت إصداره بسبب "ضعف الأداء الداخلي". وبعد أن أعلنت الشركة عن مختبر الذكاء الفائق الشهر الماضي، أوقفت الفرق العاملة على النموذج إجراء الاختبارات عليه.
وفي وقت سابق، ذكرت صحيفة وول ستريت جورنال، نقلاً عن أشخاص مطلعين على الأمر، أن عملاق التكنولوجيا أجّل طرح النموذج، مما أثار مخاوف بشأن اتجاه استثماراته في الذكاء الاصطناعي التي تُقدر بمليارات الدولارات. كما أبلغ هؤلاء الأفراد الصحيفة أن مهندسي وباحثي ميتا كانوا قلقين من أن أداء النموذج لن يتطابق مع التصريحات العامة حول قدراته.
كان من المتوقع إصدار النموذج في وقت لاحق من هذا العام. ومع ذلك، تشير التحديثات الأخيرة إلى أن إصداره مستبعد الآن في أي وقت قريب.
إذا طورت ميتا نموذجًا مغلق المصدر، فسيمثل ذلك تحولًا كبيرًا عن نهج الشركة الراسخ في إنشاء نماذج ذكاء اصطناعي مفتوحة المصدر.
في أبريل، طرحت الشركة عائلة Llama 4 من نماذج الذكاء الاصطناعي، والتي تتضمن ثلاثة أنواع: Behemoth وMaverick وScout. يُعد Behemoth الأكبر، بإجمالي 2 تريليون معلمة. وصفت ميتا النموذج بأنه أحد أكثر نماذج الذكاء الاصطناعي ابتكارًا في العالم.
في الآونة الأخيرة، كثفت ميتا تركيزها على بناء فريق لمبادرات الذكاء الاصطناعي الفائق. فإلى جانب تشكيل فريق بقيادة الرئيس التنفيذي السابق لشركة Scale AI، ألكسندر وانغ، وتجنيد العديد من الأعضاء الآخرين من OpenAI، صرّح الرئيس التنفيذي مارك زوكربيرج أن الشركة ستنفق مئات المليارات من الدولارات على مراكز بيانات الذكاء الاصطناعي لهذه الجهود.
كما أوضحت SemiAnalysis، إحدى الشركات الرائدة عالميًا في أبحاث الذكاء الاصطناعي وأشباه الموصلات، بعض الأسباب التي دفعت ميتا للتخلي عن نموذجها
تشير SemiAnalysis إلى أن قرار Meta باستخدام تقنية الانتباه المُجزأ لتحسين كفاءة الذاكرة ربما كان خاطئًا، حيث يسمح الانتباه القياسي لكل رمز بالوصول إلى جميع الرموز السابقة، مما يُشكل سياقًا كاملًا. يُقسّم الانتباه المُجزأ الرموز إلى كتل ثابتة، مما يحد من انتباه كل رمز إلى كتلته الحالية فقط، وقد أضعف هذا قدرة النموذج على المتابعة والاستدلال عبر سلاسل طويلة من الأفكار.
"أدى تطبيق Behemoth لكفاءة تتبع الانتباه المُجزأ إلى ظهور نقاط ضعف، خاصة عند حدود الكتل"، وفقًا لتقرير SemiAnalysis.
يمكن لكل كتلة مُجزأة الوصول إلى الرموز داخل كتلتها الخاصة، ولكن ليس إلى تلك الموجودة في الكتلة السابقة. لذلك، إذا امتدت حجة منطقية أو سلسلة أفكار من كتلة إلى أخرى، يفقد النموذج... الاتصال.
وأضاف التقرير: "نعتقد أن جزءًا من المشكلة يكمن في افتقار ميتا حتى لتقييمات السياق الطويل المناسبة أو البنية التحتية للاختبار لتحديد ما إذا كان التركيز المُجزأ لن يُجدي نفعًا في تطوير نموذج استدلال".
وأشارت شركة SemiAnalysis أيضًا إلى أن ميتا "متأخرة جدًا في التعلم المعزز والتقييمات الداخلية"، وأن فريق الذكاء الاصطناعي الجديد مُستعد لسد هذه الفجوة. إضافةً إلى ذلك، أضاف التقرير أن نموذج Behemoth التابع لميتا غيّر طريقة توجيه مزيج الخبراء في منتصف التدريب، مما أدى إلى تعطيل كيفية تخصص شبكات الخبراء. وقد أدى ذلك إلى عدم استقرار، مما حدّ في النهاية من فعالية النموذج الإجمالية.