L'open source a trouvé un moyen de presque doubler la puissance de calcul du RTX 3 090.

פרויקט פתיחת ה-gpu כבר צבר יותר מ-5,000 כוכבים ב-GitHub תוך מספר ימים:. בואו נבין את זה. לכרטיסי מסך מסדרת GeForce 30 (כולל RTX 3,080, 3,090, 3,090 Ti וכו') יש ליבות טנזור שיכולות להכפיל מטריצות ב-FP16 וב-BF16 עם צבירת התוצאה ב-FP32. באמצעות פעולה זו, רשתות עצביות מאומנות ומשיקות. עם זאת, מכיוון שמדובר ב-GPUs למשחקים, Nvidia הגבילה באופן ספציפי את מהירות הפעולה הזו עליהם בתוכנה. פילוח שוק קלאסי: אם אתה רוצה לעשות ML, שלם עבור כרטיס מסך ML, לא עבור גיימינג. ההגבלה נעשית כמחלקה של מהירות הוצאת ההוראות, וערכה טמון ברגיסטרים שבדרך כלל לא ניתן לכתוב אליהם. כלומר, אי אפשר לעקוף את הדבר הזה ישירות. אבל המחבר של הלפת הזאת מצא איך לשבור אותה. המחבר לקח טכניקה שהומצאה בעבר כדי לפתוח מגבלות דומות של כרטיסי כרייה CMP 170HX, ועיצב אותה כמודול ליבת לינוקס. הוא נדלק באתחול, לפני שמנהל ההתקן של NVIDIA מופעל, רושם מהירות מלאה ורק אז נותן את הכרטיס למנהל ההתקן של המניות. העיקר שהמודול עובד לפני הדרייבר, כך שאין צורך לתקן את הדרייבר עם כל עדכון ו/או לחדש את ה-BIOS. נתונים מהמאגר עבור 3,090 Ti (GEMM 8,192, 450 W):. BF16 87,5 157,4 TFLOPS

FP16 87,5 118,4 TFLOPS.

TF32 42,6 82,6 TFLOPS.

במשימות אמיתיות, העלייה קצת יותר צנועה, אבל היא קיימת. Prefill LLM מואץ בכ-14-36%. תוצאות החישובים זהות מבחינה חלקית לאלו הקודמים. המאגר המקורי מיועד רק ללינוקס, אבל יש כבר יציאות של צד שלישי עבור Windows, למשל. הוראות התקנה נמצאות ב-repo. אנחנו מעלים את גיל הפרישה של 3,090 שלנו.