על הטיות בפירסום מחקרים פסיכולוגים

חוקרים באקדמיה מעוניינים לפרסם תוצאות מעניינות של מחקריהם. הבעייה היא שבגלל לחץ גדול לפרסם, ובמיוחד לחץ לפרסם דברים חדשים ומעניינים, החוקרים הרבה פעמים מעורבים בפרקטיקות מחקריות מפוקפקות. אני לא מדבר על מקרים שבהם חוקרים מזייפים ממצאים בכוונה אלא על המקרים היותר נפוצים שבהם חוקרים מפרסמים מאמרים שמבוססים על נתונים שעברו “מסננת” מסוימת שגרמה להם להראות טוב יותר ממה שהם באמת. איך זה יכול לקרות? יש כמה אפשרויות: חוקרים יכולים לחקור הרבה דברים בבת אחת ולפרסם רק את התוצאות שהראו על משהו מעניין תוך התעלמות מהממצאים הלא מובהקים כך שאף אחד לא ידע בכלל שהיו כאלו. מבחינה סטטיסטית, ברגע שעורכים הרבה ניתוחים סטטיסטיים, יש סבירות גבוהה שמשהו יצא מובהק ומעניין גם אם בפועל אין כאן שום אפקט אמיתי. הטייה אחרת היא לסנן נבדקים שסותרים את השערת המחקר (התעלמות מתוצאות שליליות) או להשתמש בניתוחים סטטיסטיים מורכבים כי אלו הפשוטים לא הראו שום אפקט. כמובן שקיימת גם האפשרות שהתוצאות שהתגלו הן מקריות וכשעורכים הרבה מחקרים פשוט חלק מהם יצאו מובהקים. כל התופעות הללו (ועוד רבות אחרות) נקראות היום p-hacking שזה מונח שמתאר ניסיונות של חוקרים להציג תוצאות טובות יותר ממה שהן באמת (בין אם בכוונה או לא). כתבתי בעבר שני פוסטים שמראים על הבעייתיות במחקרים מדעיים ובמדעי החברה בפרט, ומחקר חדש שופך אור עד כמה זה נפוץ בכתב העת החשוב ביותר.

ישנן טכניקות סטטיסטיות שמאפשרות לבחון האם תוצאות מדווחות עברו p-hacking בהתחשב בגודל המחקר הנתון, האפקטים המדווחים וכו’. נניח שבודקים את ההשערה שגברים שמנים יותר מנשים בממוצע. יש מספר מסוים של גברים ונשים שצריך לדגום כדי להגיע למסקנה הזו. אפשר להראות שאם ניקח רק חמישה גברים וחמישה נשים אז הסיכוי למצוא הבדל ממוצע במשקלים הוא נמוך למדי ואם מישהו מצא הבדל כזה זו סיבה לחשוד בו שהוא “שיחק” עם הנתונים. כלומר, מאוד יתכן שבאמת נדגמו 5 גברים שמנים יותר מחמש הנשים אבל אם מריצים כמה מחקרים דומים ושוב ושוב מגלים שהתגלו הבדלים למרות סבירות נמוכה למצוא אותם אז סביר שיש איזו שהיא הטייה שגורמת להבדלים הללו לצוץ בסבירות גדולה יותר מהרגיל. מאמרים שכוללים לפחות 4 מחקרים או ניסויים מהווים אפשרות טובה לבחינת ההטייה הזו ויש מדד סטטיסטי מיוחד שבוחן אותה. כלומר, אם ביותר ממחקר אחד כזה מפורסמים תוצאות שאינן סבירות הגיוני לחשוד בכותבי המאמר.

החוקרים בחנו לפיכך 18 מאמרים בתחום הפסיכולוגיה שפורסמו בכתב העת Science בין השנים 2005-2012 ושכללו לפחות 4 ניסויים. מה שהם גילו זה שלגבי 15 מהמאמרים הללו היו תוצאות לא סבירות, כלומר 83% מהמאמרים חשודים בהצגת תוצאות חיוביות שיש סבירות שאינן כאלו. מכיוון שהניתוח הסטטיסטי מוגבל אך ורק למאמרים עם ארבעה מחקרים אין זה אומר כמובן שמאמרים עם פחות מחקרים לא סובלים מהטיות דומות גם כן. למעשה, סביר שמחקר שמבוסס על מחקר או שניים יסבול יותר מהטיות כי הוא לא כולל לרוב שיחזור ויתכן שהיו הרבה ניסויים שלא הניבו תוצאות חיוביות שלא דווחו. למעשה, בדיקה דומה במאמרים בכתב העת היוקרתי Psychological Science מצאה ממצאים דומים מאוד למחקר הנוכחי ועם שיעור כמעט זהה של מאמרים “חשודים”.

מעניין לציין ששני מחקרים שנכללו באנליזה הנוכחית היו זיופים של דידריק סטייפל ומארק האוזר כך שמדובר בזיופים ברורים שהניתוח הסטטיסטי הצביע עליהם כחשודים. נראה גם שההטיות חוצות את כל התחומים בפסיכולוגיה ולא ממוקדות רק בפסיכולוגיה חברתית שהייתה המוקד לשערוריות זיוף המחקרים בשנים האחרונות.

איך ניתן להתגבר על ההטיות הללו (שכאמור לרוב אינן מודעות על ידי החוקרים)? דרך אחת היא לערוך רפליקציות למחקרים, דבר שנעשה מעט מדי במדעי החברה אם כי יש לאחרונה כמה יוזמות כדי לשפר את המצב. דרך שנייה היא לערוך מחקרים עם עוצמת מבחן גבוהה. עוצמת מבחן היא המדד שאומר לנו מה הסיכוי למצוא אפקט אמיתי במחקר שלנו כשהוא באמת קיים במציאות (כלומר, שלא התגלה באקראי). לרוב משתמשים בעוצמת מבחן של 80% (כתבתי על זה כאן בהקשר של מחקרי מוח). מדגמים גדולים הם דרך טובה להתגבר על עוצמת מבחן נמוכה ורצוי שיהיו מדגמים מייצגים של האוכלוסייה שאותה מעוניינים לבדוק. דבר נוסף שאפשר לעשות ויש יותר ויותר כתבי עת שדורשים אותו, הוא לפרסם מראש את השערות המחקר, הפרוטוקולים של המחקר, גודל המדגמים וכל דבר שקשור במחקר, וזאת על מנת למנוע מצב שבו רק חלק מהתוצאות מדווחות או שנבדקים “מסולקים” מהניתוח הסופי כי הם סותרים את ההשערות. אבל הדבר אולי הכי חשוב ככלי למניעת הטיות הוא להגדיל את המודעות להטיות הללו. זה מלווה בהכרה כואבת בעובדה שחלק גדול מהמחקרים פשוט לא מניבים שום תוצאות מעניינות או מובהקות. כמובן שהדברים צריכים להעשות בד בבד עם שינוי כללי המשחק ותרבות ה-publish or perish באקדמיה כך שחוקרים לא יוענשו על מחקרים שלא מניבים תוצאות חיוביות. ישנם היום כמה כתבי עת שמפרסמים מחקרים עם תוצאות שליליות וזה צעד בכיוון הנכון.

Both comments and trackbacks are currently closed.
%d בלוגרים אהבו את זה: