חוקרים מ-Yandex פרסמו שני מאמרים חדשים על EMNLP על הערכת LLM EMNLP 2026 הוא אחד משני כנסי ה-NLP המרכזיים יחד עם ACL, ודרך אגב, הוא גדל במידה ניכרת בהיקפו (השנה קיבלו המארגנים 17,669 פניות לעומת 8,000 אשתקד). נושא הבנצ'מרקים רלוונטי במיוחד ב-EMNLP השנה. הישנים רוויים במהירות עצומה, והתעשייה זקוקה מאוד לשיטות אבחון LLM טריות. אחד הטרנדים הוא מדדי גיימינג. משחקים מספקים את מה שחסר למערכות סטטיות, כלומר בדיקת חשיבה אסטרטגית, שימור הקשר וחשיבה רב-שלבית. MTGBench הוא רק אמת מידה דו-לשונית למשחקים, המורכב משבעה משחקים מרובי משחקים, כל אחד באנגלית וברוסית, הכוללים את Wordle, "שרשרת המילים", "דנטקי", "20 שאלות", "שדה הניסים", "20 סימנים" ו"כינוי". בנוסף לתוכן, ה-אמת מידה מעניין כי על כל המהלכים של המודל ניתן לענות בצורה אובייקטיבית. בארבעה משחקים, התוצאה נבדקת על ידי האלגוריתם; בשלושת האחרים, שופט LLM מפקח בקפדנות על הציות לכללים. השופט עצמו אומת בנפרד באופן עצמאי. Leaderboard ל-16 דגמים שנבדקו בראש. דגמי חשיבה חזקים מדביקים או עוקפים את קו הבסיס האנושי שהרכיבו המחברים עקב משחק יעיל וקבלת התשובה בפחות מהלכים המאמר השני עוסק בהערכת תרגום מכונה. איכותו משתפרת, אך עדיין מתרחשות טעויות בהעברת משמעות וניסוח לא טבעי ולא תמיד ניכרות בקריאה ראשונה. מציאתם דורשת עבודה מדוקדקת של מומחים מיומנים, וקשה להרחיב סימון כזה. המחברים חקרו האם מודלים של שפה יכולים להעריך תרגום ברמת מומחה, וכיצד יש לעצב מעריך כזה. לצורך המחקר, אספנו 600 תרגומים לאנגלית-רוסית עם שלושה סימון מומחים עצמאי של כל אחד מהם ובדקנו ברצף את השפעת ההוראות, שיטות הכנה ובחירת דוגמאות, בחירת מודלים ושילוב הדוחות שלהם.

חוקרים מ-Yandex פרסמו שני מאמרים חדשים על EMNLP על הערכת LLM EMNLP 2026 הוא אחד משני כנסי ה-NLP המרכזיים יחד עם ACL, ודרך אגב, הוא גדל במידה ניכרת בהיקפו (השנה קיבלו המארגנים 17,669 פניות לעומת 8,000 אשתקד). נושא הבנצ'מרקים רלוונטי במיוחד ב-EMNLP השנה. הישנים רוויים במהירות עצומה, והתעשייה זקוקה מאוד לשיטות אבחון LLM טריות. אחד הטרנדים הוא מדדי גיימינג. משחקים מספקים את מה שחסר למערכות סטטיות, כלומר בדיקת חשיבה אסטרטגית, שימור הקשר וחשיבה רב-שלבית. MTGBench הוא רק אמת מידה דו-לשונית למשחקים, המורכב משבעה משחקים מרובי משחקים, כל אחד באנגלית וברוסית, הכוללים את Wordle, "שרשרת המילים", "דנטקי", "20 שאלות", "שדה הניסים", "20 סימנים" ו"כינוי". בנוסף לתוכן, ה-אמת מידה מעניין כי על כל המהלכים של המודל ניתן לענות בצורה אובייקטיבית. בארבעה משחקים, התוצאה נבדקת על ידי האלגוריתם; בשלושת האחרים, שופט LLM מפקח בקפדנות על הציות לכללים. השופט עצמו אומת בנפרד באופן עצמאי. Leaderboard ל-16 דגמים שנבדקו בראש. דגמי חשיבה חזקים מדביקים או עוקפים את קו הבסיס האנושי שהרכיבו המחברים עקב משחק יעיל וקבלת התשובה בפחות מהלכים המאמר השני עוסק בהערכת תרגום מכונה. איכותו משתפרת, אך עדיין מתרחשות טעויות בהעברת משמעות וניסוח לא טבעי ולא תמיד ניכרות בקריאה ראשונה. מציאתם דורשת עבודה מדוקדקת של מומחים מיומנים, וקשה להרחיב סימון כזה. המחברים חקרו האם מודלים של שפה יכולים להעריך תרגום ברמת מומחה, וכיצד יש לעצב מעריך כזה. לצורך המחקר, אספנו 600 תרגומים לאנגלית-רוסית עם שלושה סימון מומחים עצמאי של כל אחד מהם ובדקנו ברצף את השפעת ההוראות, שיטות הכנה ובחירת דוגמאות, בחירת מודלים ושילוב הדוחות שלהם.