כך מתמודדת הבינה המלאכותית עם כמות אדירה של מידע

באחרונה אנו עדים לפריצת דרך חדשה בבינה המלאכותית (AI). כך, הטכנולוגיה אשר באמצעותה אנחנו שואלים את תוכנת ה-AI שלנו שאילתות, ומקבלים ממנה תשובות ומידע, מסוגלת כעת להתמודד עם שאילתות ארוכות ומפורטות יותר מאי פעם. לדוגמא, אם בעבר יכולנו להזין בחלון החיפוש שאילתא באורך מקסימלי של 4,000 או 8,000 מילים, הרי שכיום ישנם מודלים המאפשרים להזין שאילתות באורך של מאות אלפי מילים (Context Window) ואף יותר. מדובר בלא פחות ממהפכה ב-AI הגנרטיבית - זו המייצרת בעצמה תוכן חדש כגון טקסט, תמונות או מדיה על סמך מידע המוזן לתוכה.

מי שצפויים להנות במיוחד מהאפשרות להזין כמויות מידע גדולות לחלון החיפוש של ה-AI הם ארגוני האנטרפרייז. מדובר בארגונים הפועלים מראש באמצעות מערכות מידע רחבות היקף, כגון חברות בענפי הפיננסים, שירותי הבריאות והקמעונאות. עבור ארגונים כאלה, הטכנולוגיה החדשה טומנת בחובה פוטנציאל לבצע ניתוח ועיבוד של מידע בהיקפי ענק כגון נתונים כספיים, ניסויים רפואיים ומגמות צרכנים, ולקבל לגביו תשובות מהירות ומדויקות פי כמה מבעבר. בכל רגע נתון אפשר גם להמשיך את השיחה עם תוכנת ה-AI מהמקום שבו נעצרה על סמך הנתונים והקבצים שכבר הוזנו בה.

יתרון זה מועצם כאשר ארגונים רבים עושים בטכנולוגית Retrieval Augmented Generation או בקיצור RAG. במה מדובר? ובכן, ארגונים המשתמשים בבינה מלאכותית, ובהם ארגוני האנטרפרייז הכפופים לרוב לרגולציה מחמירה ולתחרות עזה, חייבים שהתשובות שיקבלו מה-AI תהיינה מהימנות וחפות מטעויות ככל הניתן. לצורך כך, בין היתר, הם משתמשים בטכנולוגיה לאחזור מידע ממקורות נוספים, המותאמים למאפיינים הייחודים של הארגון וצרכיו. ה-RAG אוסף מידע מפורט ממאגרי המידע הפנימיים של הארגון, ולעתים גם מהרשת, ובכך דואג להשלים ולדייק את התשובה המתקבלת ממודל השפה הגדול של הבינה המלאכותית (ה-Large Language Model או LLM).

פרופ' יואב שוהם | צילום: רועי שור

עד לאחרונה ה-RAG היה מוגבל להזנת טקסט בהיקף מצומצם בחלון הקלט. כתוצאה מכך, התשובות והמידע שסיפק לא היו בהכרח מספקים. כאן בדיוק נכנסת הטכנולוגיה החדשה, המאפשרת להזין מראש שאילתא ארוכה ומפורטת בחלון הקלט. שהמעבר על הקונטקסט הארוך היה איטי ויקר, המערכות אמנם לא קרסו תחת עומס הקלט, אך לא השכילו לחלץ ממנו את המידע הרלוונטי.

החדשות הטובות הן, שבאחרונה צצים בשוק פתרונות טכנולוגיים שפותרים בעיות אלו.לדוגמא, מודלים דוגמת Jamba-Instruct רותמים את החידושים בתחום ה-AI כדי לאפשר הזנת מידע בהיקף גדול של 256,000 מילים לצד אחזור מידע נוסף באמצעות RAG, במחיר העולה בקנה אחד עם שיקולי העלות-תועלת של כל ארגון, ושעדיין מצליחות לאחזר את המידע הרלוונטי מהקלט.

פתרונות מאוזנים מסוג זה מנגישים את הדור הבא של הבינה המלאכותית לארגוני האנטרפרייז. לשם המחשה, אנליסטים בבתי השקעות יכולים להזין בקליק אחד לחלון החיפוש הגדול מידע המגולם בדו"חות כספיים של 8 שנים (!) ולהפיק ממנו תובנות והמלצות מדויקות באמצעות RAG עבור מנהלי השקעות ומנהלי תיקים. בענף הבריאות, ניתן להזין בבת אחת את התוצאות של לא פחות מ-25 שעות של ניסויים וראיונות קליניים, ולהפיק מהן מידע מותאם לגבי ממצאים, מגמות ותופעות לוואי רפואיות.

כיצד נוודא כי התשובה המתקבלת עבור כמות כה גדולה של מידע היא אמנם נכונה ואפקטיבית? באחרונה הושק מדד ה-RULER, המציב בנצ'מרק לכמות המידע אשר הזנתו בחלון החיפוש מביאה תוצאות יעילות. המדד החדש מקרב אותנו צעד נוסף לעבר שימוש אפקטיבי בשאילתות גדולות – כזה שמאזן בין יתרונות הטכנולוגיה החדשה לבין הצורך להקפיד על שיקולי עלות-תועלת בתהליך. ואמנם, ה-RULER מצא, כי ה-Jamba Instruct הצליח להשיג תוצאה מושלמת לאורך החיפוש כולו בהשוואה לרוב המודלים האחרים, ובהם ה-GPT 4, אשר האפקטיביות שלהם נאמדת בכ-50% או פחות.

התפתחויות אלה מוכיחות, כי החדשנות בתחום הבינה המלאכותית אינה עוצרת לרגע וכי אנחנו בפתחו של עידן שבו נוכל להפיק ממערכת ה-AI ניתוח ועיבוד של מידע בהיקף גדול מאי פעם. עבור חברות וארגונים רבים, זוהי בשורה של ממש.

הכותב הוא מנכ"ל-משותף ומייסד-משותף ב-AI21, ראש הוועדה המדעית של התכנית הלאומית לבינה מלאכותית, ולשעבר ראש מעבדת הבינה המלאכותית באוניברסיטת סטנפורד