אכזריות מחושבת: כשהאלגוריתם מקבל החלטות במקום גופי ציבור

איר אריאל אהב לשלב בין היומיומי לנבואי בשיריו ו"עברנו את פרעה" הוא דוגמה נפלאה לכך. השיר, בן 30 שנה כבר, עוסק בחלקו בסתמיות הקיום היומיומי ובקושי של האזרח הקטן להתמודד עם ההתעמרות הביורוקרטית חסרת הפנים של הממסד הגדול. אבל הבית השני הוא תיאור עתידני באופיו, כמו לקוח מעולם המדע הבדיוני, של התעמרות שהופכת למכנית לממוכנת ואוטומטית. המחשב שמכניס לחובות או מוחק כספים בדרך עלומה, האלגוריתם (שמגולם בשיר בדמות המזכירה האלקטורנית והשופט האוטומטי) שמקבל החלטות על סמך שיקולים לא ידועים ובלתי-ניתנים לערעור. האזרח כבר לא נתון לחסדיו של פקיד בשר ודם, אלא למרותה של מערכת מבוססת בינה מלאכותית, חסרת אופי ורגשות, שיכולה לחרוץ את גורלו לחסד או לשבט.

"טָעוּת בַּמַּחְשֵׁב עָלְתָה לִי מִילְיוֹן,

כַּסְפּוֹמָט טָרַף לִי יִתְרַת חֶשְׁבּוֹן,

מַזְכִּירָה אֶלֶקְטְרוֹנִית דָּחֲתָה לִי רֵאָיוֹן,

שׁוֹפֵט אוֹטוֹמָטִי שָׁלַל לִי רִשָּׁיוֹן

לְעוֹרֵךְ דִּין מְכַנֵּי שִׁלְשַׁלְתִּי אֲסִימוֹן בְּחֲרִיץ הַפֶּה..."

- מאיר אריאל, עברנו את פרעה, 1990

כשאריאל כתב את השיר בינה מלאכותית ולמידת מכונה נמצאו בעיקר במעבדות מחקר במוסדות אקדמיים. אבל הנבואה שלו, החזון העגום על עתיד שבו אלו מנהלים כל הבט בחיים שלנו, קלעו בול למטרה. ולא רק כשמדברים על האלגוריתמים של ענקיות הטכנולוגיה שמעצבים כל הבט בחיים המקוונים שלנו ועלולים לסכן את כולנו, כפי שכתבתי כאן בשבוע שעבר. אלא בדרכים הרבה יותר עמוקות ומהותיות, כאלו שמתכתבות עם השיר מהמאה שעברה.

השימוש באלגוריתם וכלי בינה מלאכותית כדי לקבל החלטות על מעמד, יכולות וזכויות של אנשים הפך נפוץ כל כך, שקבוצה של פרקליטים בארה"ב הבחינה שהם יכולים למנוע מאזרחים מוחלשים גישה לדיור מוזל, משרות ושירותים בסיסיים, ואף לכלוא אנשים בחיי עוני מבלי אפשרות להיחלץ מהם.

אחד הכשלים המרכזיים בהקשר זה הן מערכות דירוג אשראי, שאוספות נתונים על פעילות פיננסית של תושבים ומשתמשות בהן כדי לתת להם ציון שקובע את דרגת המסוכנות שלהם בבואם לקבל הלוואה. ציון גבוה יאפשר לקבל הלוואה בתנאים נוחים ובריבית קטנה, ציון נמוך יוביל להלוואה בריבית גבוהה וציון נמוך במיוחד לא יקנה לכם זכאות להלוואה כלל בישראל, מערכת דירוג האשראי מנוהלת על ידי בנק ישראל זה כשנה וחצי, ועוד מוקדם להעריך את השפעתה על ישראלים בתחתית הסולם החברתי. אך בארה"ב, ציון האשראי משפיע על יכולת של תושבים לרכוש מכוניות, ואפילו למצוא עבודה במשרה מלאה. ההשפעה הרחבה של ציון האשראי הופכת את היכולת להתאושש מציון נמוך לכמעט בלתי-אפשרית, והעובדה שהאלגוריתם בארה"ב נשלט על ידי חברות פרטיות מונעת אפשרות לדעת על סמך מה מתקבלות החלטות.

אבל אלגוריתם דירוג אשראי הוא רק היבט אחד שבו מערכות בינה מלאכותית משפיעות על היכולות הכלכליות וחיי היומיום. לפי כתבה במגזין MIT Technology Review, אלגוריתמים מקבלים החלטות נוספות כמו אילו ילדים ישלחו למשפחות אמנה, אילו מטופלים יקבלו טיפול רפואי או אילו משפחות יזכו לדיור מוזל או מסובסד. בעבור בעלי הכנסה נמוכה, נטען שהאימוץ המהיר של מערכות קבלת החלטות אוטומטיות יצר רשת חבויה של מלכודות שמשולבות זו בזו.

במקרה מהעת האחרונה, שחלקה עם המגזין פרופ' מישל גילמן, פרקליטה שמנהלת את הקליניקה המשפטית של אוניברסיטת בולטימור, בן משפחה שמייצגת הקליניקה איבד את משרתו, וכשל במערכת אוטומטית שלל את זכאותו לקבלת דמי אבטלה . כתוצאה הטעות, המשפחה פגרה בתשלומי שכר דירה, ובעל הבית הגיש תביעה לפנותה. בעקבות המאבק במשבר במגיפת הקורונה המשפחה בסופו של דבר לא פונתה מביתה, אך התביעה עדיין מופיעה ברשומות פומביות. רישום זה עלול להיות מוזן למערכות שמשמשות לסינון דיירים, מה שיקשה על המשפחה למצוא דירה חדשה בעתיד. אי-תשלום שכר הדירה וחשבונות אחרים פוגע גם בדירוג האשראי, מה שמוביל להשלכות אחרות. "זה ישפיע על היכולת להירשם למנוי בחברת סלולר, לקחת הלוואה, לקנות מכונית או להתקבל לעבודה (המזכירה האלקטרונית שדחתה ראיון, ע"כ), אלו השפעות שמתגלגלות בשרשרת ", אמרה גילמן.

ולא מדובר במקרה ייחודי. "זה קורה בצורה גורפת לכל הלקוחות שלנו", הבהירה גילמן. "הם לכודים בין כל כך הרבה אלגוריתמים שמונעים מהם שירותים בסיסיים והלקוחות אולי לא מודעים לכך, כי חלק מהמערכות הללו הן בלתי-נראות".

במקרה אחר , סיפרה גילמן כי ייצגה זקנה שמסיבה בלתי-ברורה הופסקה זכאותה למימון סיעוד בבית. "לא הצלחנו לגלות מדוע. היא נעשתה חולה יותר, ולרוב אם אתה חולה יותר אתה מקבל יותר שעות סיעוד ולא פחות". רק בבית המשפט, כשתחקרה עדה מטעם המדינה, התברר שהוחלט לאמץ אלגוריתם חדש. העדה, אחות במקצועה, לא הצליחה להסביר את פעילות האלגוריתם. "היא אחות, לא מדענים מחשב. היא לא ידעה אילו משתנים מוזנים אליו, מה המשקל שלהם, מה התוצאה הרצויה".

עו"ד קווין דה ליבן מארגון Legal Aid בארקנסו סיפר ל-MIT Technology Reviews סיפור דומה, אבל בקנה מידה גדול יותר. ב-2014 החלה ארקנסו להפעיל מערכת חדשה לקביעת זכאות לשעות סיעוד בבית, שמיד ביטלה את הזכאות למספר רב של זקנים. דה ליבן ועמיתיו לא ידעו מהי הסיבה, מלבד שהשאלון לקביעת הזכאות השתנה משאלון נייר בן 20 שאלות לשאלון דיגיטלי עם 283 שאלות. רק ב-2016 התברר שהסיבה לביטול הזכאות היתה טעות באלגוריתם. "גילינו שאחיות אומרות למטופלים, 'המחשב עשה את זה, לא אני'. זה נתן לנו את הכיוון", הוא אמר.

גילמן מזהה שני סוגי אלגוריתמים שההתנגשות ביניהם יוצרת את הספירלה המסוכנת. הראשון, אלו של מערכות דירוג האשראי, שבארה"ב נמצאות בבעלות פרטית. אלו נבנים באמצעות עושר מידע שכיום הוא קל מתמיד לאיסוף ולשיתוף, ושכולל רשומות ציבוריות, מידע מרשתות חברתיות, פעילות מקוונת, פעילות בנקאית ושימוש באפליקציות. כתוצאה, הדירוג שיוצרות מערכות אלו משמש לא רק מלווים אלא גם מעסיקים, משכירים ואפילו בתי ספר.

הסוג השני הוא אלגוריתמים שנמצאים בשימוש על ידי גופי ממשל שקובעים זכאות של אזרחים לטיפול רפואי, דמי אבטלה, מענקים שונים ועוד. אלו מאומצים לרוב כחלק ממאמצי דיגיטציה ומודרניזציה ובמטרה לייעל תהליכים. מטרה ראויה בפני עצמה, אך הבעיה היא שהליך רכישת המערכות אינו שקוף וכשמשהו משתבש שום צד לא מוכן לשאת באחריות.

העדר השקיפות גם מגדיל את הנטייה של מערכות אלו לשגות. ב-2013 הפעילה מישיגן מערכת אוטומטית לקביעת זכאות לדמי אבטלה. ואולם, האלגוריתם קבע בטעות ש-34 אלף איש הונו את המערכת ורק כשנתיים מאוחר יותר התגלתה הטעות. "זה הוביל לאבדן זכאות מאסיבי", אמרה למגזין עו"ד ג'וליה סימון-מישל מארגון Philadelphia Legal Assistance. "היו פשיטות רגל, התאבדויות ובלגן רציני".

בספטמבר האחרון פרסמה גילמן דו"ח שמתעד את האלגוריתמים השונים שפרקליטים בתחום עלולים להתקל בהם. מערכות שכירת עובדים אוטומטיות, מערכות גביית חוב אוטמטיות, אלגוריתם שקובעים מסוכנות של מורשעים בפלילים במטרה לסייע לשופטים בפסיקה העונש (השופט האוטומטי ששולל רישיון) והאם למחוק הרשעות פליליות (מחקרים שונים מצאו בעבר שאלו נוטים להצמיד רמת מסוכנות גבוהה יותר למיעוטים), אפילו מערכות שמסייעות למעסיקים לקטום את השכר של עובדים שעתיים. בדו"ח גם מסבירה גילמן איך להתמודד עם מצבים שונים. עם לקוח לא מצליח לשכור דירה בגלל דירוג אשראי נמוך, הדו"ח ממליץ לפרקליט שמייצג אותו לבדוק תחילה האם המידע שמוזן למערכת דירוג האשראי מדויק.

המודעות לנושא בארה"ב נמצאת עדיין בחיתוליה, ופרקליטים רבים שמייצגים אוכלוסיות מוחלשות לא יודעים עד כמה האלגוריתמים משפיעים על חיי הלקוחות שלהם. ואלו שכן מודעים פעמים רבות מוצאים את עצמם מגששים בחשכה. "אנחנו צריכים יותר הכשרה, יותר ידע. לא רק בחוק אלא במערכות האלו", אמרה גילמן. "בסופו של דבר, כל תיק יהפוך לתיק על אלגוריתם".