האלגוריתם של המשטרה בנתב"ג חייב להיות שקוף לציבור

תארו לכם סיטואציה בה אתם חוזרים מחופשה באירופה, כשפתאום עוצר אתכם שוטר ומבקש מכם להתלוות לחיפוש בחפצים. מבין כל הטסים, רק אתם נבחרתם. אתם מובלים לחדר צדדי, ובמשך שעתיים מישהו מחטט בתיקים שלכם. כל החפצים שלכם נחשפים בפני שוטרים בנמל התעופה - התרופות נגד הדיכאון, דברים שכתבתם לעצמכם ברגעים קשים בחיים - הכל הופך לחומר פתוח בפני הצוות בנמל.

אתם לא מבינים מדוע זה קורה דווקא לכם. הרי אתם אנשים נורמטיביים, וזה לא בדיוק בידוק ביטחוני. זה ממש חיפוש פלילי. אתם שואלים את השוטר מדוע הוא עצר אתכם לחיפוש - והוא מסביר שיש לו סמכות לעצור כל אדם לבידוק ושנבחרתם על ידי התוכנה כחשודים פוטנציאליים להחזקת סמים. אתם שואלים מדוע דווקא אתם? השוטר אומר שהוא לא יודע להסביר. הוא עושה את מה שהתוכנה אומרת.

חושבים שזה אירוע תיאורטי? תופתעו. מציאות קפקאית לחלוטין התגלתה לאחרונה בנתב״ג, שם משטרת ישראל מפעילה מערכת אלגוריתמית שמעלה חשודים פוטנציאליים לחיפוש בחפצים לאיתור סמים. חשודים שנעצרו על ידי המערכת לא מקבלים תשובות מדוע הם נבחרו. האם זה על סמך המוצא? הנטייה המינית? המדינה בהם ביקרו? המשטרה מסרבת לענות להם.

בדיון בבית המשפט, השוטרים אמרו שאפילו הם לא יודעים איך התוכנה פועלת. כשנשאלו איך המערכת נבנתה והאם היא בכלל עובדת כמו שצריך, הם סירבו לענות וטענו שהכל חסוי. מסבירים לנו במשטרה - זה לא איזה שוטר גזען, זו תוכנה, אובייקטיבית, עם מדדים ברורים. זה לא סתם תחושות. אבל מהם הקריטריונים? סוד. איך זה עובד? סוד. האם זה אפקטיבי? גם סוד. הכל סוד.

אלא שתוכנה היא לא משהו אובייקטיבי. תוכנה היא יציר סובייקטיבי שמשקף את הערכים של המתכנת ואת המידע שהזינו לתוך התוכנה. בינה מלאכותית איננה אלא תוכנה סטטיסטית שלמדה לזהות דפוסים על סמך מאגר נתונים. היא טובה ככל שהנתונים שהזינו אותה טובים. תוכנה שלמדה רק מפרצופים אירופאים לא תדע לזהות סינים, ותוכנה שלמדה לזהות חתולים לא תדע לזהות כלבים. לענייננו - תוכנה שלמדה משוטר איך לאכוף, רק תטמיע את הדפוסים של השוטר. אם הוא היה גזען, גם היא תהיה.

אלגוריתמים מבוססי בינה מלאכותית הם בעלי פוטנציאל לתיקון עולם. רוצה לקבל הלוואה מהבנק? במקום פקיד שלא אוהב את הפנים שלך, יש לך אפשרות לבחור בתוכנה שתמדוד אותך על סמך נתוניך האמיתיים. יש מישהו שטוען שהיית במקום מסוים וביצעת עבירה? תוכנה לזיהוי פנים תשווה בין הצילומים ותגיד אם מדובר באמת או בבדיה.

אלא שכל זה לא עובד אם המערכת לא שקופה ומובנת. ״שקיפות אלגוריתמית״ הוא מונח שמשתמשים בו בעולם המשפט והרגולציה בניסיון להסביר את הצורך של מפעילי תוכנת בינה מלאכותית, במיוחד המדינה, להסביר את דרכי פעולת המכונה. ללא הסבר, המערכת היא שרירותית לחלוטין - ושרירותיות היא מקום לטעויות במקרה הטוב, ולשחיתות במקרה הרע.

שקיפות אלגוריתמית היא לא סיסמה שצריכה להישאר באקדמיה. זו צריכה להיות חובה ברורה שיחילו בתי המשפט על מי שמפעיל תוכנות בכלל, ותוכנות בינה מלאכותית בפרט. לפעמים תוכנות בינה מלאכותית לא יודעות לספק הסברים מהסוג שבני אדם יבינו. זו מגבלה טכנולוגית. גם לזה יש פתרונות, אבל צריך לחשוב עליהם. אסור לנו לאפשר לאף גורם לפעול באופן שרירותי. השתמשת בתוכנה? תסביר איך היא עובדת. אין דרך אחרת.

עו"ד גדי פרל הוא עמית מחקר במרכז פדרמן לחקר אבטחת הסייבר באוניברסיטה העברית ולשעבר ראש צוות חוקרי מחשב ברשות התחרות