באידו השיקה את Unlimited-OCR 2: מודל לזיהוי מסמכים כמעט בכל אורך היא יכולה לחלץ טקסט מסריקות ומסמכי PDF, טב…

באידו השיקה את Unlimited-OCR 2: מודל לזיהוי מסמכים כמעט בכל אורך היא יכולה לחלץ טקסט מסריקות ומסמכי PDF, טבלאות עיבוד, נוסחאות וחומרים מרובי עמודים. אבל החידוש העיקרי של העבודה הוא לא כל כך באיכות של OCR, אלא באופן שבו היא מעבדת מסמכים ארוכים מאוד. לדגמי OCR מודרניים מבוססי LLM יש בעיה: ככל שהם מעבדים יותר דפים וככל שהטקסט שנוצר ארוך יותר, כך נדרשים יותר חישובים וזיכרון כדי להמשיך לעבוד. המודל נאלץ להתייחס כל הזמן לכמות הולכת וגדלה של הקשר קודם. ה-Unlimited-OCR הראשון כבר פתר חלקית את הבעיה הזו על ידי הגבלת כמות היסטוריית הדורות שנשמרה. אבל הנתונים החזותיים של כל הדפים עדיין יכולים ליצור עומס חישובי הולך וגובר. ב-Unlimited-OCR 2, באידו הציע את מנגנון חלון הזזה דליל תשומת לב (SR-SWA). הרעיון שלו די פשוט: כאשר מזהים את הפרגמנט הבא, המודל מתמקד בעמוד הנוכחי וניגש רק לקבוצה קטנה של הפרגמנטים השימושיים ביותר משאר המסמך. במקום לסקור כל הזמן את כל המידע המצטבר, הוא משתמש בזיכרון עבודה מוגבל - למשל, 512 אסימוני התייחסות. כתוצאה מכך, העלות החישובית של כל שלב עוקב נשארת כמעט קבועה, גם כאשר המסמך מתארך משמעותית. הכל כמו עור: כשכותבים ספר ארוך, אנחנו מסתכלים קודם כל על העמוד הנוכחי, ולא קוראים שוב את כל הקודמים אחרי כל משפט. מה התוצאה? לפי הבדיקות של באידו עצמו, על מסמכים של כ-100 עמודים, המנגנון החדש מאיץ שלבי פענוח בודדים עד פי 7 ביחס למלוא תשומת הלב ועד פי 5.6 ביחס למנגנון הקודם. בנוסף, המודל משתמש בעיבוד של דפים בבלוקים חופפים, מה שמאפשר לשחרר זיכרון לאחר השלמת החלק הבא של המסמך. המודל מכיל כ-3 מיליארד פרמטרים.