نشر باحثون من Yandex مقالتين جديدتين عن EMNLP حول تقييم LLM. يعد EMNLP 2026 أحد مؤتمري البرمجة اللغوية العصبية الرئيسيين إلى جانب ACL، وبالمناسبة، فقد نما نطاقه بشكل كبير (تلقى المنظمون هذا العام 17669 طلبًا مقارنة بـ 8000 طلب في العام الماضي). موضوع المعايير له أهمية خاصة في EMNLP لهذا العام. لقد أصبحت الأساليب القديمة مشبعة بسرعة هائلة، والصناعة في حاجة ماسة إلى طرق تشخيص جديدة للماجستير في القانون. أحد الاتجاهات هو مقاييس الألعاب. توفر الألعاب ما تفتقر إليه الأنظمة الثابتة، أي اختبار التفكير الاستراتيجي، والحفاظ على السياق، والتفكير متعدد الخطوات. MTGBench هو مجرد معيار ألعاب ثنائي اللغة، ويتألف من سبع ألعاب متعددة اللاعبين، باللغتين الإنجليزية والروسية، بما في ذلك Wordle و"Word Chain" و"Dantaki" و"20 Questions" و"Field of Miracles" و"20 Signs" و"Nickname". بالإضافة إلى المحتوى، فإن المعيار مثير للاهتمام لأنه يمكن الإجابة على جميع تحركات النموذج بموضوعية. في أربع مباريات، يتم التحقق من النتيجة بواسطة الخوارزمية؛ وفي الحالات الثلاثة الأخرى، يقوم قاضي LLM بمراقبة الالتزام بالقواعد بشكل صارم. تم التحقق من القاضي نفسه بشكل مستقل بشكل منفصل. لوحة المتصدرين لـ 16 نموذجًا من أفضل النماذج التي تم اختبارها. تلحق نماذج التفكير القوية أو تتجاوز خط الأساس البشري الذي وضعه المؤلفون معًا بسبب اللعب الفعال والحصول على الإجابة في عدد أقل من الحركات. ويتناول المقال الثاني تقييم الترجمة الآلية. تتحسن جودته، لكن الأخطاء في نقل المعنى والصياغة غير الطبيعية لا تزال تحدث ولا تظهر دائمًا عند القراءة الأولى. ويتطلب العثور عليها عملاً دقيقًا من قبل خبراء ماهرين، ومن الصعب توسيع نطاق وضع العلامات. قام المؤلفون بالتحقيق فيما إذا كانت النماذج اللغوية يمكنها تقدير الترجمة على مستوى الخبراء، وكيف ينبغي تصميم هذا المقدر. لغرض الدراسة، قمنا بجمع 600 ترجمة إنجليزية-روسية مع ثلاثة خبراء مستقلين قاموا بتصحيح كل منها واختبرنا بشكل تسلسلي تأثير التعليمات وطرق الإعداد واختيار الأمثلة واختيار النماذج وتكامل تقاريرها.

نشر باحثون من Yandex مقالتين جديدتين عن EMNLP حول تقييم LLM. يعد EMNLP 2026 أحد مؤتمري البرمجة اللغوية العصبية الرئيسيين إلى جانب ACL، وبالمناسبة، فقد نما نطاقه بشكل كبير (تلقى المنظمون هذا العام 17669 طلبًا مقارنة بـ 8000 طلب في العام الماضي). موضوع المعايير له أهمية خاصة في EMNLP لهذا العام. لقد أصبحت الأساليب القديمة مشبعة بسرعة هائلة، والصناعة في حاجة ماسة إلى طرق تشخيص جديدة للماجستير في القانون. أحد الاتجاهات هو مقاييس الألعاب. توفر الألعاب ما تفتقر إليه الأنظمة الثابتة، أي اختبار التفكير الاستراتيجي، والحفاظ على السياق، والتفكير متعدد الخطوات. MTGBench هو مجرد معيار ألعاب ثنائي اللغة، ويتألف من سبع ألعاب متعددة اللاعبين، باللغتين الإنجليزية والروسية، بما في ذلك Wordle و"Word Chain" و"Dantaki" و"20 Questions" و"Field of Miracles" و"20 Signs" و"Nickname". بالإضافة إلى المحتوى، فإن المعيار مثير للاهتمام لأنه يمكن الإجابة على جميع تحركات النموذج بموضوعية. في أربع مباريات، يتم التحقق من النتيجة بواسطة الخوارزمية؛ وفي الحالات الثلاثة الأخرى، يقوم قاضي LLM بمراقبة الالتزام بالقواعد بشكل صارم. تم التحقق من القاضي نفسه بشكل مستقل بشكل منفصل. لوحة المتصدرين لـ 16 نموذجًا من أفضل النماذج التي تم اختبارها. تلحق نماذج التفكير القوية أو تتجاوز خط الأساس البشري الذي وضعه المؤلفون معًا بسبب اللعب الفعال والحصول على الإجابة في عدد أقل من الحركات. ويتناول المقال الثاني تقييم الترجمة الآلية. تتحسن جودته، لكن الأخطاء في نقل المعنى والصياغة غير الطبيعية لا تزال تحدث ولا تظهر دائمًا عند القراءة الأولى. ويتطلب العثور عليها عملاً دقيقًا من قبل خبراء ماهرين، ومن الصعب توسيع نطاق وضع العلامات. قام المؤلفون بالتحقيق فيما إذا كانت النماذج اللغوية يمكنها تقدير الترجمة على مستوى الخبراء، وكيف ينبغي تصميم هذا المقدر. لغرض الدراسة، قمنا بجمع 600 ترجمة إنجليزية-روسية مع ثلاثة خبراء مستقلين قاموا بتصحيح كل منها واختبرنا بشكل تسلسلي تأثير التعليمات وطرق الإعداد واختيار الأمثلة واختيار النماذج وتكامل تقاريرها.