מנהל ה-AI של פייסבוק: "צריך ליצור סרטונים מזוייפים כדי לזהות אותם"

תחום גדול במחקרים שלכם הוא למידת מכונה, במה בעצם אתם עוסקים?

"נושא מחקר מרכזי אצלנו שמשתלב בפרויקטים שונים הוא תחום בשם multilinguality (רב-לשוניות). זה כולל עיסוק בתרגום ובתיוג טבעי של טקסט במגוון שפות. יש הרבה אתגרי ליבה בבינה מלאכותית (AI), שאפשר להתמודד אתם באמצעות רב-לשוניות. למשל, הבנת שפה ולמידה עם מעט מידע.

"מדענים רבים סבורים שיש בעיות שתמיד יהיה מחסור במידע כדי לפתור אותן. לכן, אנחנו צריכים למצוא דרכים חדשות להתמודד עם מיעוט במידע, ורב-לשוניות מתאימה לכך. כך, אם אני רוצה לקטלג טקסטים באנגלית או בצרפתית, יש לי מספיק מידע לעבוד אתו. בקוריאנית זה קשה יותר, ואם מדובר בבנגלית אז כבר אין מידע בכלל".

תן דוגמה לפרויקט בתחום.

"אחד הפרויקטים האהובים עלי הוא תרגום מכונה לא מפוקח. הפרויקט בודק אם אפשר לבצע תרגום בין שתי שפות בלי שום מידע קודם על השפות האלו. למשל אם אני רוצה לתרגם מצרפתית לאנגלית, אבל יש לי רק טקסט רב באנגלית וטקסט רב בצרפתית, בלי חפיפה ובלי ובלי קשר ביניהם - האם אפשר לתרגם בכל זאת?"

אם הטקסטים לא זהים בכלל, בן אדם לא יכול לתרגם. אתה צריך איזו נקודת התייחסות.

"נכון, אבל מתברר שתוכנה כן יכולה. אנחנו יכולים לאמן מכונות לבצע תרגום בין שפות בלי שום מידע קודם, שהוא טוב באותה רמה של תרגום מכונה שמבוסס על חצי מיליון משפטים מתורגמים".

אנטואן בורדס. "העולם מאורגן אותו דבר בכל מקום. העננים בשמים, הסירות בים, ולכן מילים מופיעות בהקשרים דומים, מהם ניתן לתרגם גם ללא המילה הספציפית" | צילום: דנה קופל

איך זה עובד?

"העולם מאורגן אותו דבר בכל מקום: העננים בשמיים, החוף ליד הים, הסירות בים וכן הלאה. כשאנשים מדברים הם מתייחסים לחפצים באותו הקשר, זה לא משנה אם הם בתל אביב, בפריז או בניו יורק. כשנדבר על סירות נדבר עליהן בהקשר של ים ומלים תואמות אחרות. התוכנה קודם כל מזהה מלים תואמות, שמופיעות יחד פעמים רבות. כך, היא יכולה לזהות שקבוצות של מלים בשפה אחת נראות כמו קבוצות של מלים בשפה אחרת. זה מאפשר לתוכנה לזהות מלים מקבילות בשתי שפות שונות, ואז אפשר לבצע להתחיל תרגומים גרועים מאוד, ואז המערכת לומדת מהטעויות ומשתפרת".

איך המערכת לומדת מהטעויות של עצמה?

"נגיד שיש לנו את המשפט The cat is Blue. מדובר במשפט אמיתי, כזה שהתוכנה יכולה למצוא למשל בוויקיפדיה. אם הוא יוזן לאלגוריתם של הפרויקט מאנגלית לצרפתית הוא יכול לתרגם אותו Le chat est rouge, שזה עדיין תרגום לא טוב. התוצאה מוזנת לאלגוריתם מצרפתית לאנגלית, ואם מתקבלת תוצאה כמו The cat is red, המערכת מבינה שבוצעה טעות בתרגום כי היא יודעת מה אמור להיות המשפט המקורי ויכולה לעדכן את עצמה. כמובן שהכל קורה גם בכיוון ההפוך, והכל מתרחש אוטומטית בידי המערכת, בלי מעורבות או הזנת מידע אנושי".

"המערכת שיצרה רעל היא החיסון"

מה עוד מכונות יכולות ללמוד?

"אנחנו רוצים ליצור תוכנה שיכולה לבצע 99% מהליך הלמידה בלי מידע מתויג (מידע מתויג הוא מידע שמזוהה מראש עבור המערכת, למשל תמונה של חתול שנוספה לה שכבת מידע שמזהה עבור התוכנה את התמונה כחתול - ע"כ). כך שצריך לתייג רק מספר קטן של משתנים. אנחנו רוצים תוכנה שתלמד מה יש בתמונה, בלי יכולת להצמיד שמות לחפצים שם. אנחנו עושים את זה באמצעות משחקים מהנים שהתוכנה צריכה לפתור".

תן דוגמה למשחק כזה.

"משימה פשוטה היא לקחת תמונה, להפוך אותה לשחור לבן, ואז לבקש מהתוכנה לצבוע אותה מחדש. עבור התוכנה זו לא משימה פשוטה, שכן היא צריכה לדעת שהשמיים כחולים, שהחול הוא צהוב ושלכל דבר יש צבע ספציפי. אז היא יכולה לבחון את עצמה מול התמונה המקורית, ולתקן ולשפר את האלגוריתם. משימה אחרת היא לקחת תמונה, לחתוך אותה לתשעה חלקים, לשנות את הסדר שלהם ולבקש מהתוכנה לסדר אותם מחדש. דוגמה אחרת היא להציג למערכת חמש פריימים של וידיאו, ואז המערכת צריכה לחזות את הפריים הבא".

מה זה נותן לך?

"אם אני צריך לאמן את התוכנה כדי שתזהה חתולים, אני צריך להראות לה עשרות אלפי תמונות מתויגות של חתולים. כדי לזהות אלפי עצמים נדרשים מאגרים של מיליוני תמונות, שבכל אחת האוביקט מתויג כחתול, רכב, אדם. זה הליך מאוד יקר. המשחקים מאפשרים לתוכנה לאמן את עצמה, כך שכשמוצגת לה תמונה היא כבר מסוגלת להבין מה קורה בה, מה יכול לזוז ומה לא. בשיטה הזו, כדי שהתוכנה תוכל לזהות חתול לא צריך 10 אלף תמונות מתויגות, מספיקות אולי 10 תמונות".

זה כמו ילד קטן. תראה לו פעם אחת תמונה של חתול, והוא יזהה כל חתול שהוא יראה ברחוב.

"באינטואציה זה אותו דבר, אם כי הילד יהיה מהיר הרבה יותר מהמחשב. אבל יש לנו פרויקטים שאנחנו עורכים עם מדעני קוגניציה במסגרת שיתופי פעולה אקדמיים. אחד מהם עוסק בתחום בשם פיזיקה אינטואטיבית - מושג ממדעי הקוגניציה שמתאר תופעה שתינוקות לומדים לבצע כבר בששת החודשים הראשונים לחייהם. התחום עוסק בשורת תכונות שמאפיינת חפצים בעולם, ושתינוקות לומדים להבין. למשל, אם אטול בקבוק ואעזוב אותו, הוא ייפול. תינוק בן חודש לא יצפה מהבקבוק ליפול, אבל תינוק בן חצי שנה יופתע מאוד דווקא אם הבקבוק לא ייפול. זו לא הבנה שבני אדם נולדים איתה, אבל קולטים אותה מאוד במהירות.

"פיזיקה אינטואטיבית היא אחד מאבני הבנייה הראשונים של הבנת העולם. יצרנו מבחן שנועד לגלות אם תוכנות יכולות ללמוד פיזיקה אינטואטיבית. אם נבין איך מכונות לומדות אולי נוכל לסייע להן ללמוד מהר יותר".

מתרגמים בטהובן למוצרט

עיתונות הטכנולוגיה עוסקת לא מעט בתופעת הדיפ פייק - סרטונים או קטעי קול שנוצרו או שונו בידי תוכנה, ומאפשרים בין היתר לשתול בפיו של אדם דברים שמעולם לא אמר וליצור תוצאה שבני אדם יתקשו להבדיל בינה לבין הדבר האמיתי. זו בעיה שאתם מתמודדים איתה?

"אנחנו בוחנים את הנושא מזוויות שונות. מבחינת המחקר היישומי אנחנו רוצים לפתח שיטות לזיהוי דיפ פייק, או כמו שאנחנו מכנים את זה 'תמרון מידע'. במקביל אנחנו רוצים לדחוף את המודלים לחולל תמונות, סרטונים וטקסטים - אם רוצים להגיב למה שאנשים עושים צריך לדעת מה אפשר לעשות. הבנו שתוכנה שיודעת לייצר דיפ פייק היא גם תוכנה שיודעת לזהות אותה, כפי שרעל יכול לפעמים לשמש גם כנוגדן.

"עכשיו אנחנו מנסים להבין אם אם לפתח נוגדן שעובד נגד כל הרעלים. זו סוגיה חשובה ואנחנו מתייחסים אליה ברצינות. אבל זה משהו שתוכנות יוצרות ומשאירות במידע חתימות שתוכנות אחרות יכולות לזהות, זה רק עניין של מציאת הפתרון הנכון. אני לא חושב שזו תהיה בעיה גדולה בעתיד".

במה עוסק הצוות הישראלי שלך?

"הצוות כאן מתעניין ב-AI ליוצרים וליצירתיות. יש לכך אלמנט יישומי, אבל יש גם אתגרים מדעיים עמוקים. הם יצרו פרויקט בשם תרגום מוזיקלי אוניברסלי, שבו מזינים לאלגוריתם קטע מוסיקה, והוא מתרגם אותו לכלי אחר או לסידור מוסיקלי אחר. זה לא רק יכולת להחליף כלים אלא גם לקחת קטע מוסיקה שמנוגן בידי כלי אחד ולהפוך אותו לקטע שמיועד לתזמורת שלמה, בעיבוד שונה אך כזה ששומר על המלודיה המקורית. האלגוריתם גם יכול לתרגם את הקטע לסגנונות של מלחינים שונים, כמו פסנתר של בטהובן או סימפוניה של מוצארט".

למה זה טוב?

"מוזיקה זה מידע שאין ממנו מספיק. אין מאות אלפי יצירות של האמנים האלו, מוצרט חיבר מספר מצומצם של סימפוניות ובטהובן חיבר רק חמש יצירות קונצ'רטו. אי אפשר להגיד למחשב קח יצירה של מוצרט וקח יצירה של בטהובן ותלמד לתרגם כי אין מידע תואם. האלגוריתם צריך ללמוד מהסגנון בטהובן לסגנון של מוצרט בלי מיגע מתויג".

איזה יישומים פרקטיים יש לזה?

"אני לא יודע וזה מה שנהדר, שאנחנו לא צריכים למצוא יישומים פרקטיים. אנחנו יכולים לעשות את המדע בשביל המדע. המחקר פורסם, הקוד פתוח, ואולי יהיה סטארט-אפ שיוכל להשתמש בזה".

אז לא אכפת לכם לערוך מחקר מדעי שלא קשור אפילו בעקיפין לפעילות של פייסבוק?

"לא. יש דברים שמתחברים, אבל הבעיות שאנחנו עוסקים בהן הן הן בעיקרן תאורטיות. זה חשוב, כי אם אתה מתמקד רק בדברים שקשורים למוצר שלך אתה מפספס דברים רבים. הכיוון של המוצר יכול להשתנות בעוד שנתיים, ואם התמקדת רק במחקר יישומי אתה עלול לפספס אתגרים חדשים.

"התחלנו למשל לבצע מחקר בתחום הרובוטיקה. זה לא מאמץ גדול, אבל קיים. לפייסבוק אין כיום עניין ברובוטיקה או מוצרים שקשורים לכך. אנחנו עושים את זה כי רובוטיקה מאוד מנקודת המבט של AI. אבל יכול להיות שבעוד שנתיים או חמש שנים פייסבוק תתעניין ברובוטיקה. אני לא יודע, ואני חושב שהם עצמם לא יודעים. אבל אם כן, אנחנו נהיה מוכנים. לפעמים אנחנו מגלים דברים שלא ידעו שהם אפשריים ולפעמים אנחנו חלוצים בתחומים שהופכים בהמשך לרלוונטיים לפייסבוק. יש הרבה השפעה חיובית שמצדיקה את המאמצים שלנו".