Radar Telegram alerts افتح Radar

MIT לימדה סוכני בינה מלאכותית להחליף מטמון KV במקום טקסט במערכות מרובות סוכנים, יש צורך מתמיד בהעברת הקשר בין מודלים. לדוגמה, כאשר סוכן אחד השלים את חלקו במשימה, והאחר חייב להמשיך לעבוד. בדרך כלל, סיכומי טקסט משמשים לכך, אך יצירתם ועיבודם מחדש דורשים חישובים מיותרים, וחלק מהמידע הולך לאיבוד. החוקרים הציעו את SwaT (טלפתיה של נחיל), ארכיטקטורה המאפשרת העברת KV cache, כלומר הקשר שכבר מעובד, לעבור בין מודלים, במקום פרפראזות טקסט. יתר על כן, זה אפילו עובד בין משפחות שונות של דגמים. במדדים, SwaT, בשילוב עם דחיסת מטמון, הראו איכות תגובות גבוהה יותר בממוצע של 40% ומהירות פי ארבעה בהשוואה לשידור סיכומי טקסט. מה שעוד יותר מעניין הוא שבדרך זו ניתן היה להעביר מידע חזותי מ-VLM למודל טקסט רגיל.

תרגם לעברית

Data Secrets (RU) · · المصدر

MIT לימדה סוכני בינה מלאכותית להחליף מטמון KV במקום טקסט במערכות מרובות סוכנים, יש צורך מתמיד בהעברת הקשר בין מודלים. לדוגמה, כאשר סוכן אחד השלים את חלקו במשימה, והאחר חייב להמשיך לעבוד. בדרך כלל, סיכומי טקסט משמשים לכך, אך יצירתם ועיבודם מחדש דורשים חישובים מיותרים, וחלק מהמידע הולך לאיבוד. החוקרים הציעו את SwaT (טלפתיה של נחיל), ארכיטקטורה המאפשרת העברת KV cache, כלומר הקשר שכבר מעובד, לעבור בין מודלים, במקום פרפראזות טקסט. יתר על כן, זה אפילו עובד בין משפחות שונות של דגמים. במדדים, SwaT, בשילוב עם דחיסת מטמון, הראו איכות תגובות גבוהה יותר בממוצע של 40% ומהירות פי ארבעה בהשוואה לשידור סיכומי טקסט. מה שעוד יותר מעניין הוא שבדרך זו ניתן היה להעביר מידע חזותי מ-VLM למודל טקסט רגיל.

MIT לימדה סוכני בינה מלאכותית להחליף מטמון KV במקום טקסט במערכות מרובות סוכנים, יש צורך מתמיד בהעברת הקשר בין מודלים. לדוגמה, כאשר סוכן אחד השלים את חלקו במשימה, והאחר חייב להמשיך לעבוד. בדרך כלל, סיכומי טקסט משמשים לכך, אך יצירתם ועיבודם מחדש דורשים חישובים מיותרים, וחלק מהמידע הולך לאיבוד. החוקרים הציעו את SwaT (טלפתיה של נחיל), ארכיטקטורה המאפשרת העברת KV cache, כלומר הקשר שכבר מעובד, לעבור בין מודלים, במקום פרפראזות טקסט. יתר על כן, זה אפילו עובד בין משפחות שונות של דגמים. במדדים, SwaT, בשילוב עם דחיסת מטמון, הראו איכות תגובות גבוהה יותר בממוצע של 40% ומהירות פי ארבעה בהשוואה לשידור סיכומי טקסט. מה שעוד יותר מעניין הוא שבדרך זו ניתן היה להעביר מידע חזותי מ-VLM למודל טקסט רגיל.

المزيد على Radar

هل تريد رؤية كل التقارير لحظة بلحظة؟

مئات المصادر حول العالم، مترجمة إلى لغتك، مع تنبيهات لما يهمك.

سجّل مجانًا
Share on WhatsApp Get alerts on Telegram