OpenAI: זיהינו ושיבשנו מבצע השפעה של חברת סטואיק הישראלית

OpenAI זיהתה ושיבשה בשלושת החודשים האחרונים חמישה מבצעי השפעה שניסו להשתמש במודלי הבינה המלאכותית הגנרטיבית (GenAI) שלה כדי להשפיע על הליכים פוליטיים במדינות שונות, ובהם גם פעילות של חברה ישראלית שכוונה נגד קהלים בקנדה, ארה"ב, ישראל, הודו וגאנה – כך לפי דוח שפרסמה אתמול (ו') החברה. הפעילות של החברה הישראלית סטואיק (Stoic) צוינה גם בדוח האיומים הרבעוני של מטא שפורסם השבוע.

"החקירה שלנו העלתה שבשעה שהשחקנים מאחורי מבצעים אלו ביקשו לייצר תוכן או להגדיל את התפוקה באמצעות המודלים שלנו, הקמפיינים לא הצליחו להגדיל באופן משמעותי את הפעילות בקרב קהל היעד או את היקפו כתוצאה מהשימוש שלהם בשירותים שלנו", טענה החברה בדוח.

מאז השיקה OpenAI את מחולל התמונות Dall-E ואת הצ'טבוט ChatGPT ב-2022, העלו מומחים ופרשנים חששות שכלים אלו יכולים לשמש שחקנים רעים במאמצים להשפיע על הליכים פוליטיים או להוציא לפועל מתקפות סייבר. בפברואר האחרון, פרסמו החברה ומיקרוסופט דוח משותף ראשון שסקר את האופן שבו פושעי סייבר והאקרים משתמשים ב-ChatPGT על מנת לייעל מתקפות סייבר באמצעות איסוף מודיעין על מערכות וגופים שונים, חקירת חולשות ועוד.

בדוח הנוכחי, מתמקדת OpenAI באופן שבו גופים שונים, חלקם פרטיים וחלקם בשליחות מדינות, ניסו למנף את המוצרים שלה לצורך הוצאה לפועל ושכלול קמפייני השפעה. לצד הפעילות של החברה הישראלית, זיהתה החברה גם פעילות מרוסיה שכוונה נגד משתמשי טלגרם מאוקראינה, מולדובה, המדינות הבלטיות וארה"ב; פעילות רוסית נפרדת שכוונה נגד גולשים אוקראינים; פעילות של שחקן איום סיני שהתמקדה בהפצת דברי תמיכה בסין ודברי ביקורת על מבקריה; ופעילות של שחקן איראני שפרסם ברשת תוכן שתמך באיראן וביקר את ישראל ואת ארה"ב.

"אנחנו מעריכים את השפעת הקמפיינים בסולם של 1 (הכי נמוך) ו-6 (הכי גבוה). אף אחת מחמש הפעילויות שזיהינו לא קיבלה ציון גבוה מ-2, שמעיד על פעילות במגוון פלטפורמות אך בלי הצלחה לפרוץ לקהלים אותנטיים", נכתב בדוח. לדברי OpenAI, היא שיבשה את פעילות הקמפיינים וחסמה לגורמים שמאחוריהם את הגישה למוצריה.

אף שפעילות הקמפיינים היתה מגוונת ושונה, הדוח מזהה ארבע מגמות משותפות. הראשונה, יצירת תוכן. "כל השחקנים השתמשו במודלים שלהו ליצירת תוכן (בעיקר טקסט, לעתים תמונות). חלקם עשו זאת על מנת לשפר את איכות הפלט שלהם, ויצרו טקסו עם פחות שגיאות לשוניות. אחרים התמקדו בכמות, ויצרו תגובות קצרות בנפחים גדולים, שפורסמו בפלטפורמות צד ג'", נכתב בדוח, "הנפח המוגדל שרשתות אלו הצליחו לייצר לא היתרגם לפעילות מוגברת של משתמשים אותנטיים".

המגמה השנייה היא עירוב בין ישן לחדש: "כל המבצעים עשו שימוש ב-AI במידה מסוימת, אך לא באופן בלעדי. במקום זאת, תוכן שנוצר על ידי AI היה רק אחד מסוגים רבים של תוכן שפורסם, לצד פורמטים מסורתיים יותר, כמו טקסט שנכתב ידנית או ממים שהועתקו מהאינטרנט".

מגמה נוספת היא יצירת זיוף פעילות גולשים. "חלק מהקמפיינים השתמשו במודלים שלהו כדי ליצור חזות של פעילות במדיה חברתית", נכתב. "למשל, יצירת תגובות לפוסטים שלהם כדי לזייף פעילות מקוונת, דבר שמנוגד למדיניות השימוש שלנו. הדבר נבדל ממשיכת פעילות אותנטית, שאף אחת מהרשתות לא הצליחה לעשות".

המגמה האחרונה היא הגדלת התפוקה: "רבים משחקני האיום שזיהינו ושיבשנו השתמשו במודלים שלנו כדי להגביר את התפוקה שלהם. הדבר כלל שימוש שנראים בנאליים, אם לא היו משמשים ליצירת רשתות הונאה. שימוש נוסף שזוהה בהקשר זה הוא ניתוח הסנטימנט של פוסטים רבים במדיה חברתית ויצירת תגיות לאתרים.

לצד הסקירה הכללית כולל הדוח גם התייחסות מפורטת לכל אחד מהמבצעים שזוהו. החברה הישראלית מתוארת כ"שחקן איום להשכרה, שפרסם באינטרנט תוכן אנטי-חמאסי, אנטי-קטארי, פרו-ישראלי, אנטי-BJP (מפלגת השלטון בהודו, ע"כ) ופרו-הסתדרותי". "חסמנו צביר של חשבונות שפעלו מישראל ונעשה בהם שימוש כדי לייצר ולערוך תוכן למבצע השפעה שכלל את X, פייסבוק, אינסטגרם, אתרים ויוטיוב", נכתב בדוח. "את הרשת הפעילה Stoic, חברה ישראלית לניהול קמפיינים פוליטיים".

הפעילות של החברה כללה תוכן באנגלית ובעברית שפנה לקהלים בקנדה, ארה"ב וישראל, ומתחילת מאי גם בהודו. בנוסף, היא נערכה להשקת קמפיין השפעה שכוון למשתמשים בגאנה. "נעשה שימוש במודלים שלנו על מנת לייצר מאמרים ותגובות מדיה חברתית שפורסמו במגוון פלטפורמות. הפעילות יצרה דמויות מזויפות למדיה חברתית על בסיס משתנים כמו גיל, מגדר ומיקום, או לחקור אנשים בישראל שהגיבו פומבית בנוגע להסתדרות. המודלים שלנו סירבו לספק מידע אישי".

התוכן שנוצר פורסם בפייסבוק, אינטסגרם ו-X (מטא הסירה את החשבונות שפרסמו תוכן זה בפלטפורמות שלה, לפי הדוח שפרסמה השבוע), ובאתרים שהתחזו לקבוצות אקטיביסטים שהתמקדו בעזה וביחסי יהודים-מוסלמים. "בכמה מקרים זיהינו חשבונות מזויפים של הפעילות מגיבים לפוסטים במדיה חברתית של מבצע ההשפעה עצמו, בניסיון ליצור חזות של קהל פעיל", נכתב בדוח.

התוכן עצמו שפרסמה Stoic חולק לכמה קמפיינים נושאיים, שרובם היו קשורים בצורה רופפת לעזה, ובמאי גם לבחירות בהודו 24 שעות לפני שנפתחו. קמפיין בקנדה ביקר "איסלאמיסטים קיצונים", קמפיין בארה"ב האשים מפגינים פרו-פלסטינים באוניברסיטאות בקידום אנטישמיות וטרור; קמפיין נוסף ביקר את סוכנות אונר"א; קמפיין רביעי התמקד בקטאר והציג את השקעותיה בארה"ב כאיום על דרך החיים האמריקאית; חמישי יצר פוסטים בעברית למדיה חברתית, ששיבחו את ההסתדרות ואת הנהגתה; והקמפיין בהודו ביקר את מפלגת השלטון BJP ושיבח את מפלגת הקונגרס האפוזיציונית.

לדברי OpenAI, מאמצים אלו יצרו "מעט, אם בכלל" פעילות גולשים, פרט לזו מחשבונות Stoic עצמה. החברה דירגה את ההשפעה של פעילותה ברמה 2 במדד שלה (פרסום תוצרים במספר פלטפורמות ואתרים, אבל בלי ראיות לתפוצה משמעותית).

זוהי כאמור הפעם השנייה השבוע שחברה זו מככבת בדוח של ענקית טכנולוגיה בינלאומית. בדוח שפרסמה מטא, כתבה החברה שהסירה "510 חשבונות, 11 עמודים וקבוצה אחת בפייסבוק ו-32 חשבונות אינסטגרם שהופעלו על ידי Stoic כחלק מ"מבצע חוצה-אינטרנט שטירגט שירותים רבים, כולל שלנו, X (לשעבר טוויטר) ויוטיוב, והפעיל מספר אתרים ייעודיים שהתקמדו במלחמת ישראל-חמאס ובפוליטיקה של המזרח התיכון". "הסרנו את הרשת בשלב מוקדם של מאמצי בניית הקהל שלה, לפני שהצליחה לייצר פעילות בקרב קהילות אותנטיות", נכתב. פעילות זו התבססה, כנראה, על הפעילות שזיהתה OpenAI בשירותים שלה.