אשליית הסקרים

במוצאי יום הבחירות האחרון ישב אחד מטובי הסוקרים בישראל, אם לא הטוב שבהם, באחד מאולפני הטלוויזיה והודיע כי הושגה הכרעה ברורה בבחירות לטובת ביבי. כמה שעות מאוחר יותר או למחרת היום כשהתבהרה תמונת המנדטים הסתבר כי תוצאת המדגם היו מוטעות.

למותר לציין כי, אם המדגם שהתבצע בתום יום הבחירות טעה הסקרים שפורסמו לנו מספר ימים קודם טעו גם הם.

אבל למרות שלא עברה שנה וחצי מאז שגילנו לאחרונה שהסקרים טועים, ולמרות שהעם שלנו מנוסה בכמה שנים האחרונות במערכות בחירות וסקרים כמעט יותר מכל עם אחר - עדיין ימים מספר לפני הבחירות כול השיח התקשורתי והאישי עוסק בסקרים אלה שאכזבו אותנו בעבר.

עד תום טור זה אוכיח לכם שהסקרים שפורסמו השבוע טועים. למען הסר ספק אני איש מחקר, אני עושה שימוש בסקרים וגם די מאמין להם. אבל ככזה אני מכיר את חסרונותיהם ועל כן יודע להצביע על כמה חסרונות מבניים שיש בסקרים עלולים להטעות גם את הטוב שבסוקרים. והנה מצעד הכשלים שיגרמו גם לסקרים של השבוע להיות לא נכונים:

א. את מי אני מודד? תארו לעצמכם מצב שאנו רוצים ללמוד מהו המשקל הממוצע של כלל האוכלוסיה. אנחנו מתקשרים ל-4,000 איש ושואלים אותם למשקלם. חלקם מנתקים לנו בפנים, חלקם עונים לנו באי נוחות וחלקם עונים בגאווה. בתום הסקר מסתבר שמתוך 4,000 שפנינו אליהם רק 700 דיווחו על משקל גופם. האם הממוצע של 700 האנשים שהסכימו לספר את משקל גופם יכול ללמד על ממוצע של כלל האוכלוסייה? האם ל-3,300 אנשים שסירבו לענות יש מאפיינים יחודיים? הסוגיה הזאת נקראת קיצוץ תחום. במקום למדוד את הממוצע של כלל האוכלוסיה למדתי רק על תחום אחד באוכלוסייה. במקרה זה אלה שכנראה שלמים עם משקל גופם. הממוצע שלהם לא (בהכרח) ילמד על הממוצע של כלל האוכלוסייה. דרך אגב המספרים 4,000 נדגמים ו-700 משיבים לא נבחרו באקראי – רוב הסקרים הפולטיים מבוססים על 700 שהסכימו להשיב מתוך 4,000 נדגמים.

ב. מה אני מודד? נגיד שאני מבקש לדעת מה יהיה אורכו של השולחן שלי ביום ג' הקרוב. זה די פשוט. אני יכול למדוד אותו בכל יום א' ,ב' , ד', ה או ו' ואורכו יהיה בדיוק אותו דבר גם ביום ג' הקרוב. ככה זה שמדובר בעצמים. הם לא משתנים מיום ליום. לדעת קהל יש מאפיינים אחרים. האם ניתן לשאול רץ מרתון מה תהיה התוצאה שלו במרתון ביום ג' הקרוב? ובכן התשובה היא כן ולא. מחד ככל שלרץ המרתון יש יותר ניסיון ניתן להעריך פחות או יותר, לא בדיוק מוחלט מה תהיה התוצאה שלו. כמובן שסוגיה כמו מזג אוויר, מצב רוח, תזונה וסתם יום טוב או רע עשויים לשנות את המצב עד הרגע האחרון. כלומר המדידה של יום שישי מלמדת אותנו משהו על יום ג' הקרוב אבל המשהו הזה לא ודאי. שאנחנו מכניסים מתחרה נוסף לתמונה שגם את הישגים שלו ביום ג קשה לנבא האירוע נהיה מורכב הרבה יותר. היכולת שלנו לנבא את תוצאות התחרות ביום ג' הופכות מורכבות יותר.

ג. מתי אני מודד? נחזור לדוגמת רץ המרתון מקודם. לכל ספורטאי טווח פוטנציאל. אם נסביר את זה בפשטות – בשום צורה ודרך לא יכול להיות מצב שאני ארוץ בשלישי הקרוב מרתון בפחות מ-3 דקות לקילומטר. כלומר יש טווח הגיוני של תוצאה אפשרית – גם אם יש הפתעות הן קטנות. לא כך בדפוסי הצבעה. במקרה של בחירות בישראל יכולות להיות הפתעות גדולות ואפילו גדולות מאוד. הדוגמה הקלה היא מפלגת הגימלאים שהגיעו ל-9 מנדטים ביום הבחירות ב-2006. אבל זאת דוגמה קלה מדי. בוא נלך לדוגמאות קצת פחות זכירות: ב-2009 הסקרים ניבאו יתרון של 27-21 לנתניהו על ציפי לבני, תוצאות האמת היו 28-27 לרעת נתניהו – כלומר לבני הוסיפה 33% מעבר למה שנובא לה בסקר האחרון. ב-2012 הסקרים חזו ללפיד 11 מנדטים – הוא קיבל 19 - כמעט פי שתיים. מישהו יכול לתאר מצב שרץ מרתון ישפר את תוצאותו בקנה מידה כזה? למען הסר ספק העיקרון הזה עובד גם בצד השני של המפה הפוליטית. ב-2015 הסקרים חזו לנתניהו לכל היותר 22 מנדטים -2 פחות מאשר להרצוג. תוצאות האמת היו שונות לגמרי, לליכוד היו 30 מנדטים. ההפתעות כמובן יכולות להיות גם לרעת מועמדים ולא רק לטובתם. כך לדוגמה מפלגת זהות של משה פייגלין שכל הסקרים צפו לה שתעבור את אחוז החסימה בקלות וחלקם אף העניקו לה 6 מנדטים ויותר נעלמה כלא הייתה ביום הבוחר. כ-6 פעמים בחמש עשרה שנה האחרונות מרגע סגירת הסקרים עד מועד ספירת הקולות נוצר ממונטום ששינה את דפוסי ההצבעה. כלומר בניגוד למרתון בבחירות בישראל המתמודדים יכולים לטוב ולרע להשיג תוצאות הרחוקות מהתוצאה שנובאה להם. כמה רחוק? עד כדי 10 מנדטים מהממוצע שהסקרים חזו להם.

ד. איזה קבוצה אני מודד? החברה הישראלית אינה מקשה אחת אלה היא מחולקת למגזרים בעלי דפוסי הצבעה שונים: החברה החרדית, החברה הערבית, יוצאי חבר העמים, ויוצאי אתיופיה הן קבוצות בחברה הישראלית בעלות דפוסי הצבעה יחודיים מחד אולם הסקרים בדרך כלל אינם מצליחים לנבא את תוצאות ההצבעה שלהם. יו"ר יהדות התורה סיפק השבוע הצצה לקושי זה שאמר "בחברה החרדית יש מנהג כזה, שלא לענות לסקרים בטלפונים. לא רוצים להגיד. 'אנחנו לא יודעים למה הסקר הזה הגיע אליי. אולי זה מס הכנסה, אולי זה ביטוח לאומי". או במילים אחרות, שינוי בדפוסי ההצבעה בשולי החברה החרדית, ושינוי באחוז ההצבעה בחברה הערבית שניהם בלבד יכולים להטות את כף הבחירות - ושניהם נמצאים כמעט לגמרי בשטח המת של הסוקרים.

הסוקרים שהם אנשים רציניים מאוד ואנשי מקצוע מובילים בתחומם יודעים את כל זה. איך אני יודע? אתם זכורים שהבטחתי בראשית הטור שעד סוף הטור גם אתם תאמינו שהסקרים הולכים לטעות אז בכוונתי לעמוד בהבטחתי. גם הסוקרים עצמם חושבים כמוני. איך אני יודע תסתכלו על הסקרים – התוצאות שלהם שונות. ככה פשוט. בהכרח חלקם אם לא כולם עתידים לטעות.

ד"ר אבי שניידר הוא דיקן הסטודנטים המסלולי וראש תוכנית M.A בייעוץ ופיתוח ארגוני במכללה למינהל