MIT לימדה סוכני בינה מלאכותית להחליף מטמון KV במקום טקסט במערכות מרובות סוכנים, יש צורך מתמיד בהעברת הקשר ב…

MIT לימדה סוכני בינה מלאכותית להחליף מטמון KV במקום טקסט במערכות מרובות סוכנים, יש צורך מתמיד בהעברת הקשר בין מודלים. לדוגמה, כאשר סוכן אחד השלים את חלקו במשימה, והאחר חייב להמשיך לעבוד. בדרך כלל, סיכומי טקסט משמשים לכך, אך יצירתם ועיבודם מחדש דורשים חישובים מיותרים, וחלק מהמידע הולך לאיבוד. החוקרים הציעו את SwaT (טלפתיה של נחיל), ארכיטקטורה המאפשרת העברת KV cache, כלומר הקשר שכבר מעובד, לעבור בין מודלים, במקום פרפראזות טקסט. יתר על כן, זה אפילו עובד בין משפחות שונות של דגמים. במדדים, SwaT, בשילוב עם דחיסת מטמון, הראו איכות תגובות גבוהה יותר בממוצע של 40% ומהירות פי ארבעה בהשוואה לשידור סיכומי טקסט. מה שעוד יותר מעניין הוא שבדרך זו ניתן היה להעביר מידע חזותי מ-VLM למודל טקסט רגיל.