תעשיית הנשק עוברת לענן: רובוטי המלחמה של ענקיות המחשוב

בשלהי ינואר הוגש לקונגרס האמריקאי מסמך בן 130 עמודים, גדוש בהתפלפלויות משפטיות, ניתוח איומים צבאיים ודיונים מוסריים על לוחמה מודרנית שמסקנתו אחת: על ארה״ב חל ״ציווי מוסרי״, לא פחות, להאיץ פיתוח של כלי נשק אוטונומיים (רובוטים רצחניים). מי שחתומים על המסמך אינם סוחרי נשק מובילים, אלא השמנה והסלתה של עמק הסיליקון.

הדו״ח יוצא הדופן נכתב על ידי “ועדת הביטחון הלאומי לבינה מלאכותית” (NSCAI) שהוקמה מתוקף חוק ו-15 חבריה מונו על ידי הממשל הפדרלי ביוני האחרון. הוועדה כוללת נציגים מאמזון, מיקרוסופט, גוגל, אורקל, וקרן ההון סיכון Alsop, וכמה דמויות מפתח כמו המנכ”ל הטרי של אמזון אנדי ג’אסי, המנכ”לית־שותפה של אורקל צפרא כץ, נציבה לשעבר של ה־FCC מיגנון קלייבורן ומנכ”ל גוגל לשעבר אריק שמידט שמשמש יו”ר הוועדה.

בינה מלאכותית בהייטק | איור: יונתן פופר

1. יורים בלי חמלה

בדו”ח הראשון שאי פעם מסרה הוועדה לקונגרס האמריקאי נקבע כי כדי לשמור על האינטרסים האמריקאיים, אל לארה”ב לאסור את השימוש בנשקים אוטונומיים או להצטרף לכל מאמץ לחתום על אמנה בינלאומית בנושא. “נהלי משרד ההגנה הקיימים מסוגלים להבטיח כי ארה”ב תפעיל מערכות נשק אוטונומיות, בטוחות ואמינות ותשתמש בהן באופן שעולה בקנה אחד עם המשפט הבינלאומי”, כתבו והוסיפו כי “קיימות ראיות מעטות לכך שלמדינות מתחרות בארה”ב יש בנמצא נהלים שיבטיחו שמערכות הנשק האוטונומיות שלהן יופעלו באחריות וכדין”. לטענת ה־NSCAI, לא רק שלארה”ב יש את העליונות המוסרית להשתמש בנשקים אלו לפי הדין הבינלאומי (וליריבותיה סין ורוסיה אין), אלא שיש להאיץ את פיתוח התחום, שהרי מערכות אלו ישמרו על חיי אדם ויקבלו החלטות אתיות יותר מחיילים בשטח.

מסקנות אלו לא נכתבו על ידי גנרלים שכמהים לשים את ידם על מערכת נשק חדשה, אלא על ידי מנכ”לים של כמה מהחברות המצליחות בעולם. האנשים שמפתחים מנועי חיפוש ושירותי ענן הם מומחי הבינה המלאכותית שגוייסו להמליץ על שאלות שנוגעות לחיים ומוות.

מתנגדי הנשק האוטונומי טוענים שאסור למסור את ההחלטה אם לסיים או לא חיי אדם בידי מכונה, מתקדמת ככל שתהיה, משום שזו חסרה מאפיינים אנושיים כמו חמלה הדרושים כדי לבצע בחירות אתיות מורכבות, ומשום שלא ניתן לתכנת אותן לאינספור המצבים שעלולים להתפתח בשעת לחימה. לפי הארגון הבינלאומי Stop Killer Robots, כ־90 מדינות ברחבי העולם פועלות במישורים דיפלומטיים כדי להשיג אמנה בינלאומית בנושא. אף שתחום זה טרם הבשיל טכנולוגית, הפחד העצום שהוא מייצר הגביר את הלחץ להסדירו והדיון בוועדה גם הוא חלק מאקלים זה.

כדי לרכך חלק מהביקורת, שתי המתחרות הגדולות בתחום - רוסיה וארה”ב - החלו להצדיק פיתוח מערכות נשק כאלה באמצעות הבחנה בין שני סוגים: האחד שבו המערכות פועלות בעצמאות מוחלטת והשני שכולל ניטור אנושי. לפי ה־NSCAI, פיקוח אנושי יאפשר עמידה בכל כללי המשפט הבינלאומי שכוללים אחריות, פרופורציונאלית ואבחנה בין אזרחים ללוחמים. אבל הטענות הללו נכשלו עד כה במבחן המציאות. הדבר הכי קרוב היום לנשק אוטונומי הינו מזל”טים צבאיים, ואלה הורגים בשגרה קורבנות אזרחיים רבים ללא מידתיות או אבחנה. כך למשל, בדו”ח מיוחד של האו”ם מ־2015 שבחן את מלחמת הרחפנים של הנשיא אובמה נמצא כי התקיפות האמריקאיות באפגניסטן הרגו יותר אזרחים מאשר ארגון אל־קאעידה.

2. היסטוריה של הטיות

קשה להאמין שבכירי עמק הסיליקון שיושבים ב־NSCAI, מסנוורים מהטכנולוגיה עד כדי כך שהם אינם מסוגלים להכיר בטעויות שלה. הם הרי רואים וראו מקרוב את הפיתוחים של החברות שלהם נכשלים שוב ושוב ואת הנזק שנגרם כתוצאה מכך בשלל תחומים.

הכישלונות של מערכות בינה מלאכותית רבים מלמנות את כולם. בשנת 2018, למשל, אמזון נאלצה להפסיק את השימוש במוצר מבוסס בינה מלאכותית שסייע בגיוס כוח אחרי שהחברה מצאה שהוא מפלה נשים. באותה שנה, שני מחקרים שונים מצאו כי מערכת זיהוי הפנים של החברה, Rekognition, שנמצאת בשימוש של כוחות שיטור אמריקאים, מתקשה בזיהוי נשים ובמיוחד נשים לא לבנות. על שני מוצרים אלו פיקח מי שניהל אז את שירותי הענן של אמזון והיום חתום על מסקנות הוועדה, אנדי ג’אסי. בגוגל יצרו בשנים האחרונות כמה מהכלים המושמצים בתחום, כמו מערכת זיהוי התמונות שלה שלא הצליחה להבדיל בין אנשים שחורים לגורילות, טכנולוגיית התרגום ואפילו סיכום החדשות אצלה הניב תוצאות גזעניות או מוטות. ולבסוף, במיקרוסופט בנו בוטים שהפכו אחרי יממה ליצורים מרשעים וגזעניים, עד שבסוף החברה נכנעה ופשוט העלימה אותם.

ג’אסי, שמידט, כץ ואחרים נכנסו ל־NSCAI חמושים בניסיון יוצא דופן בתחום הבינה המלאכותית. כולם מחזיקים בהיכרות אינטימית עם הקשיים בפיתוח יכולות כאלו ועם הכישלונות הבלתי ניתנים לתיקון לעיתים. הם עדים גם להטיה שהפכה כמעט צפויה במערכות הללו של גזענות מובנית. בכל זאת, הם המליצו לממשל החזק בעולם להוביל את הדרך בפיתוח מערכות נשק אוטונומיות, מהר ככל הניתן, בטענה של “ציווי מוסרי”.

3. המלחמה האמיתית היא על כסף

כיצד קרה שדווקא בכירים מעמק הסיליקון, כמו שמידט שהסלוגן האייקוני של החברה שהקים היה “אל תעשה כל רע”, מוצאים הצדקה מוסרית לפיתוח רובוטים רצחניים שמככבים בכל סיוט קולנועי, מ”אודיסאה בחלל”, דרך ״שליחות קטלנית״ ו״מסע בין כוכבים״ ועד ״באטלסטאר גלקטיקה״? פשוט מאוד, עמק הסיליקון הוא מזמן כינוי מכובס.

מנכ"ל גוגל לשעבר, אריק שמידט | צילום: בלומברג

עסקי חברות הטכנולוגיה כבר אינם מבוססים על שבבי הסיליקון שהעניקו לאזור את שמו, אלא על המתכות והפולימרים של תעשיית הנשק. לפי מחקר של הארגון ללא מטרות רווח Tech Inquiry, בין ענקיות טכנולוגיה כמו גוגל, מיקרוסופט, ואמזון יש יותר מ־5,000 חוזים פדרליים עם צבא ארה”ב ורשויות החוק. מרבית השירותים הם בחוזי משנה, בעיקר עבור שירותי מחשוב ענן, עיבוד נתונים ותמיכה באפליקציות. כשהם מתפלפלים במשך 130 עמודים על מוסר ומלחמה, אותם בכירים חושבים בעצם על השורה התחתונה בדו”חות הרווח ועל חוזי עתק בין חטיבות הענן שלהם לממשל האמריקאי או על היריבות הטכנולוגית שלהם עם החברות הסיניות. הם לא חושבים על חיי אדם ויציבות בינלאומית, על מרוצי חימוש או על אזרחים שבעי קרבות במזרח התיכון.

השיקולים הכלכליים שמכתיבים מלחמות אינם חדשים או ייחודיים לקשר בין עמק הסיליקון לפנטגון, אבל מעולם לא נמסרו באופן כה בוטה שאלות מוסריות ושנוגעות בחיים ובמוות לידי חבורה מנהלים מהמגזר העסקי. במיוחד לא לידי חבורה שכבר הוכיחה מזמן שהיא מוכנה לתת לכולנו לשלם את מחיר הקידמה.