נמרוד קוזלובסקי: "הרגולציה בעתיד תאפשר ללקוחות להבין כיצד הבנקים דרגו את האשראי שלו"

"המחוקק האמריקאי אומר בפעם הראשונה שהוא טעה כשנתן לחברות מסחריות להחליט כיצד לדרג בני אדם, מי ישאר בכלא או מי יקבל אשראי. שיטת הדירוג הישנה עם האלגוריתמים הוותיקים נעצרה, ומהיום כל פרויקט בינה מלאכותית יהיה חייב בהערכה של מקור המידע לרבות תשובה על השאלה האם התוצאות של השיטה גוררות הטיה באופן קבוע" - כך אמר ד"ר נמרוד קוזלובסקי מאוניברסיטת תל אביב בוועידת Mind the Tech TLV של כלכליסט ובנק לאומי.

קוזלובסקי הציג שלושה מקרים שבהם מאגרי המידע גרמו להטיה לכאורה של תהליך קבלת ההחלטות ועד לרמת השליטה בגורלם של אנשים.

"בארה"ב גרים רק 5% מאוכלוסיית העולם אבל אחוז האסירים שם, ביחס למספר התושבים, הוא אחד הגבוהים שיש. המציאות הזו הובילה מומחים לבחון מעצרי בית במקום מאסר, ואז הוצע לקחת מערכת בינה מלאכותית שתבחן כל אסיר ביחס לחברים שלו, מוצא והתנהגות, מה שיוביל לדרוג האפשרות שהוא יחזור לפשיעה. הציון שהתקבל קבע מי יזכה למעצר בית ומי ישאר בכלא, אבל כשהחליטו לחקור את התוצאות מצאו שמאגרי המידע לא היו עדכניים או מדויקים, מה שהשפיע על הציון של כל אסיר".

קוזלובסקי סיפר שהמערכת השנייה שמצאה בעיות היא מערכת הרווחה האמריקאית. "יש 7.5מיליון ילדים שמדוּוחים כילדים בסיכון, עם חשש שאם ישארו במשפחה ייגרם להם נזק. עברו על הסטטייסטיקה וגילו יותר מ-2 מיליון שיחות למוקדי חירום, שם התקבלה החלטה האם שולחים עובדים סוציאלים לבחון מצב של ילד, וגם שם התקבלה החלטה לאמץ בינה מלאכותית עם שורת אלגוריתמים שמנסים ללמוד או לחזות מתי ילד בסיכון. הבחינה של השיטה עוררה המון רעש כי התברר שבחלק מהמקרים ההחלטה לגבי ילד התקבלה בטעות כיוון שהמידע שהוזן למערכת בחנה סיכון של ילד הסתמכה על הנחות בני עשרות שנים".

המערכת השלישית, לדברי קוזלובסקי, היתה היכולת לקבל קרדיט מבנק ההשקעות גולדמן זאקס, שם התגלה שגברים מקבלים דירוגי אשראי טובים מכאלה שקיבלו נשים, כאשר אחת הסיבות היתה הסתמכות על סיכוי כיסויי ההלוואות. נשים  זכו לדירוג שונה, גם בשל התבססות על מקצועות "נשיים" ישנים שהיו נפוצים לפני עשרות שנים.

המסקנה של קוסלובסקי היא שבעתיד הרגולטור יחייב להציג פומבית מידע, כך שאם מישהו ירצה לתבוע על כל שחרצו את גורלו על בסיס אלגוריתם שגוי, הוא יוכל לעשות את זה. "באירופה זה קצת שונה עם כוונה דומה - יעניקו לאנשים את הזכות לדעת שקיבלו החלטה, כך שהאזרח יהיה זכאי לדעת את הלוגיקה של כל מערכת ועד לרמה שהוא יוכל לקבל תשובה למה הוא לא זומן לראיון", סיכם.