מתימטיקה שהורסת – על הרע שבאלגוריתמים

weaponsמזה זמן רב שהספר Weapons of Math Destruction אותו כתבה מדענית הנתונים Cathy O'Neil מככב בשיח הער סביב ההשפעה השלילית של האלגוריתמים על הפרט ועל החברה. הספר מלא בדוגמאות המחזקות את הטיעונים שהשימוש הנירחב במערכות המבוססות על בינה מלאכותית ולימוד מכונה רע לנו. הוא מראה כיצד הפלישה האלגוריתמית לחיינו מביאה להעמקת הקיפוח של אוכלוסיות חלשות ובכך יוצר משוב מעגלי שלילי המעמיק את הפערים הכלכליים החברתיים. כיצד היא פוגעת במוסדות הדמוקרטים וכיצד היא מעצימה את כוחם של התאגידים. או'ניל מבטיחה בתחילת הספר הסבר על הסיבות להשפעות ההרסניות הללו אך ההסברים הללו הולכים לאיבוד בין שלל הדוגמאות. ואם לא נבין מה מקולקל כיצד נוכל לתקן? ברשימה זו ניסיתי לדלות ולרכז את הגורמים לכך שהאלגוריתמים עובדים לרעתנו ואת (מעט) הצעות התיקון שלה.

בסיפרה, מתארת או'ניל מערכות המבוססות על ניתוח נתוני עתק ושמטרתן לתמוך במקבלי החלטות המשפיעים על איכות החיים ולעתים אף על גורלו של אדם. למשל מערכת שעוזרת לשופטים להחליט על גזר דין בכך שהיא מציגה להם את סיכויי הנשפט לחזור לפשע, מערכת להערכת תיפקוד מורים בבתי ספר ציבוריים, מערכת למיון מועמדים לעבודה או לקביעת גובה ועלות האשראי ועוד. מתברר שבמערכות אלו מובנות הטיות נגד אנשים שלא שפר עליהם מזלם, אנשים מאוכלוסיות חלשות או ממגדר, גזע ומוצא מסוימים. מערכות אלו פוגעות, לעיתים שלא בצדק, דווקא בהזדמנויות של אלו הזקוקים להן ביותר, הן מקבעות את נחיתותם ומגדילות את הפער בין אלו שיש להם ואלו שאין להם. דוגמאות נוספות בספר מראות כיצד ניתוח פרופילים של משתמשים ברשתות חברתיות מאפשר לנתב אליהם מידע שישפיע על התנהגותם הפוליטית (והספר נכתב עוד לפני שהתגלו עוד ועוד מקרים של נסיונות להטיה של המרחב הפוליטי), וכיצד התאגידים יכולים לנצל את המידע העצום שנאגר על ידיהם, גם אם כיום הם לא מנצלים את כל הפוטנציאל שלו, לצבירת יתרונות עסקיים על חשבון תועלתו של הפרט.

או'ניל מציינת שהבעיה המרכזית של האלגוריתמים הללו היא שהם אינם מאפשרים לאדם המושפע מהם לבחון את השיקולים שהביאו להחלטות לגביו, ושהם "רציונלים" מדי, אין בהם את רכיב ההוגנות הנחוץ בחברה אנושית דמוקרטית והוגנת. האדם והחברה מתפתחים תוך כדי הפנמה של תובנות חדשות אשר מצידן משפיעות על הנורמות שלהם. לא כך האלגוריתמים. מקובעות בהם נורמות שתוכנתו בידי המפתחים ורק תיכנות מחדש ישנה אותן.

הלקויות של חלק מהדוגמאות שאו'ניל מביאה נגרמות מיישום גרוע של האלגוריתמים ברמה הטכנית או ברמת התיכנון, אבל  יש גם בעיות מובנות ועקרוניות ביישום של אלגוריתמים למטרות שונות, דבר שיוצר בעייתיות גם באלגוריתמים שכביכול מיושמים נכון:

  • שימוש במידע עקיף על מושא הניתוח ולא מידע ישיר – לא כל שחור המתגורר בשכונה נחשלת הוא פושע מועד ולא כל לבן המתגורר בשכונה מכובדת הינו טלית שכולה תכלת.
  • חוסר שקיפות בפרמטרים המשמשים לניתוח – על אילו פרמטרים מסתמך האלגוריתם של פייסבוק כדי לקבוע מה להציג בפיד שלי? כיצד נקבעים ביצועי המורים? ואולי לו ידעו זאת היו יודעים גם היכן עליהם להשתפר?
  • אין משוב חוזר – לא ניתן לתקן את האלגוריתם שגרם להחלטה שגויה שפסלה מועמד לעבודה כי לא ניתן לבחון את תפקודו העתידי של המועמד במקום עבודה אחר.
  • טעויות סטטיסטיות – מדגמים קטנים וחוסר מיומנות סטטיסטית של המפתחים. אלו תמיד היו בעיה אבל עכשיו יש לטעויות הללו השלכות מרחיקות לכת.
  • מי נהנה מהמערכת? לעיתים התועלת של הגורם שהמערכת בבעלותו ובשליטתו אינה עומדת בקנה אחד עם זו של הגורם המושפע ממנה (לרעה). הבנק יהנה מריבית גבוהה על הלוואה שניתנת לאדם עם דרוג אשראי נמוך שיתכן שנובע ממעידה חד פעמית, ובכך יונצח מצבו הכלכלי הגרוע
  • מספר מוגבל של מערכות למטרה – הרבה מהחברות המגייסות עובדים משתמשות באותה מערכת לסינון ראשוני של מועמדים. נפלת באחת – סיכוייך למצוא עבודה במקום אחר קלושים.

הספר מתמקד בבעיות ולא בפתרונות. מעבר להתייחסות עמומה לרגולציה שיש להחיל על התחום או'ניל מתייחסת בעיקור למעורבות גדולה יותר של הציבור בניטור המערכות האוטומטיות הצעה שהינה יותר בגדר כוסות רוח למת.

כיום כל הנושא של אמינות מערכות הבינה המלאכותית וניטרול ההשפעות השליליות שלהן נמצא במוקד השיח הטכנו-חברתי והוגים שונים בתחום מציעים פתרונות מגוונים לבעיות הללו. אציין כאן את Kate Crawford מהחוקרות המובילות בתחום הדוגלת בהתמודדות עם הבעיה בשלב פיתוח המערכות ורואה חשיבות ביצירת מודעות לפוטנציאל החברתי הנפיץ של האלגוריתמים בקרב מפתחים  כמו גם יצירת סטנדרטים ברורים לניהול הנתונים ופיתוח המערכות. את ההרצאה המעניינת הזו נתנה קרופורד בכנס NIPS, הכנס היוקרתי של מפתחי אלגוריתמים.

המלצת קריאה לספר? לא מוכרחים

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת /  לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת /  לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת /  לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת /  לשנות )

w

מתחבר ל-%s