עד כמה אפשר להאמין לפירסומים מדעיים? זיופים במדע, הטיות סטטיסטיות, חוסר שיחזור מחקרים ועוד בעיות מבניות שמקשות על חקירה מדעית

לפני מספר חודשים פורסם בכתב העת היוקרתי Science מחקר שמצא שלבנים נוטים להפלות כנגד שחורים כשהם נמצאים בסביבה מבולגנת ומלוכלכת. מחקר אחר שפורסם לפני שנתיים גילה שאוכלי בשר הרבה יותר אנוכיים מצמחוניים, ומחקר נוסף מצא שאנשים עם קול גברי נתפסו כמוכשרים יותר בראיונות עבודה. הבעייה עם כל המחקרים הללו שפורסמו בכתבי עת יוקרתיים ביותר הייתה שכל אחד ואחד מהם, ועוד עשרות אחרים, הם זיופים פרי עטו של הפסיכולוג דידריך סטייפל.

סטייפל הוא דוגמא אחרונה וקיצונית למדען שפירסם תוצאות מזויפות של מחקרים. במשך לפחות 10 שנים זייף סטייפל נתונים של עשרות מחקרים וכל מחקר שהוא חתום עליו, הן בתור כותב ראשי או משני, נמצא בימים אלו תחת חקירה מדוקדקת לבדיקת האותנטיות שלו. סטייפל הוא פסיכולוג בעל שם עולמי שרבים מהמחקרים שלו זכו לתשומת לב תקשורתית נכבדה, ויתכן שדווקא הפופולאריות של הנושאים שהוא חקר היא שהניעה אותו לזייף נתונים ולזכום בפרסום. העדויות מצביעות על כך שבתחילה סטייפל היה עורך מחקרים עם נבדקים אמיתיים, אבל הנתונים של המחקרים שונו כך שיתאימו לתוצאות שהוא היה מעוניין בהן. בשלב מסוים בקריירה שלו הוא הגיע למסקנה שזה בזבוז זמן משווע לגייס נבדקים ולאסוף נתונים, ועדיף במקום זה פשוט לייצר לבד את הנתונים המספריים של המחקר. הוא יצר פרוטוקולים שלמים של ניסויים, כולל השאלונים, ניסוח השערות ואף פיצוי למשתתפים, רק שלא היו שום משתתפים בניסוי. כל הנתונים הומצאו על ידו וכדי להסתיר את העובדה שאין לו ממש נבדקים הוא היה טוען שרק לו הייתה גישה אליהם. בתור חוקר שהיו לו לפחות 20 סטודנטים שכתבו דוקטורט תחת פיקוחו, ועוד עשרות רבות של שותפים למחקרים אחרים, די מפתיע שאף אחד לא עלה על הזיופים שלו בשלב מוקדם. מה שיותר עצוב זה שהרבה סטודנטים וחוקרים אחרים שאולי לא אשמים בכלום, נפגעו ויסבלו קשות מהחקירה המתנהלת נגדו מכיוון שהמאמרים שהם חתומים עליהם וכוללים אותו נמצאים תחת חקירה וחלקם אולי יבוטלו, מה שיפגע קשות בקריירה שלהם.

סטייפל הוא רק המקרה האחרון שמצטרף לשורה ארוכה של מדענים אחרים שזייפו מחקרים מדעיים. בין המחקרים המפורסמים ביותר שזויפו נמצא כמובן איש הפילטדאון שהוא אולי המקרה הידוע ביותר אבל אתם יכולים לראות רשימה של מקרים ידועים אחרים כאן. בשנים האחרונות היו כמה מקרים שזכו לתהודה תקשורתית, למשל אנדרו ווייקפילד שזייף מחקרים שמראים לכאורה על קשר בין חיסונים לאוטיזם (מחקר שגרם נזק אדיר ודירבן הורים רבים לא לחסן את ילדיהם), או המדען הדרום קוריאני שטען ששיבט בן אדם. הפסיכולוג והפרימטולוג מרק האוזר שסולק בבושת פנים מהרווארד אחרי שמחקרים רבים שלו זויפו, בעיקר כאלו שהתיימרו לטעון ליכולות קוגנטיביות יוצאי דופן של קופי טמרין, כולל זה שהם יכולים לזהות עצמם במראה (הקידודים של התנהגות הקופים זויפו על ידו, למרות מחאות של סטודנטים ועמיתים שיתן לשופט בלתי תלוי לקדד אותם). אחד המקרים השלומיאליים ביותר של זיוף נעשה על ידי הפיסיקאי ז’אן הנדריק שון שבשלושה מקרים שונים פשוט פרסם מאמרים עם אותו הגרף, למרות שמדובר היה בניסויים בתנאים שונים מאוד.

ישנן סיבות שונות שמובילות חוקרים לזייף נתונים, ובראש ובראשונה הלחץ הגדול של לפרסם  הרבה, ואם אפשר בכתבי עת מכובדים, כל זה על מנת להתקדם בסולם האקדמי. הלחץ לפרסם באקדמיה הוא בלתי נסבל ומוכרת האמרה של Publish or Perish. זיופים נעשים קלים יותר כשלחוקר מסוים יש שליטה מוחלטת על הנתונים בלי שום יכולת ממשית לפקח עליהם כמו במקרה של סטייפל. בתחומים מסוימים, קשה יותר לזייף תוצאות כי הן מוחשיות יותר. למשל, מחקרים רבים במדעי הטבע ניתנים לצפייה ישירה, בין עם זה תחת מיקרוסקופ במעבדה או תוצר של ראקציה כימית. אבל בתחומים אחרים כמו פסיכולוגיה, חוקרים אוספים נתונים על אנשים שצריכים לעבור קידוד לקובץ ממוחשב. אם מישהו ממלא שאלון אין לנו שום אפשרות לדעת מה התשובות שלו עד שהן מקודדות (כמובן שאם מודדים התנהגות בפועל זה שונה), וכמובן שצריך מספר נבדקים רב כדי לקבל תוצאות בעלות משמעות. במקרים רבים, רק לחוקר הראשי יש גישה מלאה לכל הנתונים שנאספו ואז קל יותר לזייפם. אין בעייה לשנות מספרים במסד הנתונים או בתוכנה הסטטיסטית שיתאימו להשערות החוקר או מה שהוא היה רוצה שיהיה נכון, ואף אחד לא יכול עקרונית לדעת ששינויים כאלו אכן התרחשו. כך נעשה בחלק ניכר מהזיופים של סטייפל ושל אחרים.

אמצעי הבקרה על זיופים אינם מושלמים ומצביעים על בעייתיות בשיטה המדעית. ישנה כמובן ביקורת עמיתים שהיא כלי חשוב בהערכת מחקרים. שיפוט עמיתים משמעו שכל מאמר שמתפרסם בכתב עת מדעי נקרא על ידי עמיתים מאותו התחום שבודקים את המאמר מכל צדדיו. זה כולל הערכה של התאוריה המוצעת, האם השערות המחקר הגיוניות ונובעות מהתאוריה, באלו שיטות השתמשו לאיסוף נתונים, כולל אמצעי בקרה שונים, האם התוצאות המדווחות תואמות את ההשערות, האם הניתוחים הסטטיסטיים נכונים ומדווחים כהלכה, האם המסקנות הגיוניות, או כל היבט אחר שהשופטים רוצים להתייחס אליו. אלו כמובן דברים חשובים שיש לתת עליהם את הדעת והם משפרים בצורה משמעותית את איכות המאמרים המפורסמים, אבל הם עדיין לא מכסים על פערים שתלויים בחוקר בלבד ושלשופטים אין גישה ישירה אליהם.

לשופטים אין גישה לנתונים הגולמיים שעליהם מבוססות התוצאות שמפורסמות במאמר. רוב החוקרים לא מעוניינים לחשוף את הנתונים הגולמיים ואחת ההצעות שנועדו לתקן את הנושא היא לחייב אותם לעשות כן כך שחוקרים אחרים יוכלו לפחות לשחזר את הניתוחים הסטטיסטיים שמדווחים במאמר ולבדוק אם הם נכונים. זה אמנם לא יפתור את הבעייה של זיוף נתונים אבל כן יפתור את הבעייה של ניתוחים סטטיסטיים שגויים. די מדהים לגלות כמה נפוצים פירסומים של ניתוחים סטטיסטיים שגויים. במאמר שפורסם לא מזמן נבדקו 281 מאמרים שפורסמו בכתבי עת מרכזיים בפסיכולוגיה. בחצי מהמאמרים התגלתה לפחות טעות סטטיסטית אחת, ו-15% מהם כללו טעות ששינתה את מסקנות המחקר, כמעט תמיד בכיוון ההפוך למה שהחוקרים היו מעוניינים שהם יהיו. ואלו נתונים רק לגבי ממצאים של מחקרים שפורסמו. מה קורה בשלבים שנעשים בחדרי חדרים ורוב האנשים לא מודעים אליהם? סקר שנעשה בשנה שעברה בקרב 2000 פסיכולוגים אמריקאיים מצא ש-70% מהם עיגלו פינות בפירסום מאמרים על פי הודאתם. שליש מהנשאלים הודו שהם דיווחו על תוצאות לא צפויות שקיבלו כאילו נבעו מהשערת המחקר המקורית ככאלו שהם שיערו שיתקבלו מראש. אחוז אחד הודה שהוא זייף נתונים בצורה ישירה. סביר שכל המספרים הללו גבוהים עוד יותר.

בעיוה אחת מרכזית בעולם המדעי המודרני קשורה לכמות העצומה של הנתונים שיש בכל מחקר. חוקרים אוספים מידע על משתנים רבים ככל האפשר, לא כולם קשורים ישירות לשאלת המחקר שלהם. ככל שיש יותר משתנים כך יש סיכוי גבוה יותר לקבל תוצאות מובהקות סטטיסטיות שנראות כמשמעותיות למרות שהם התקבלו בצורה אקראית. בהרבה מאוד מחקרים הסטנדרט הוא להשתמש ברמת מובהקות של 5%. המשמעות הסטטיסטית של המספר הזה היא הסיכוי לקבל את תוצאות המחקר שלנו בצורה אקראית בהנתן שהממוצע הוא מספר מסוים ידוע. 5% משמעו שאחד מכל 20 ניתוחים סטטיסטיים יתן ממצא מובהק במקרה. אם עורכים עשרות ניתוחים סטטיסטיים אז חזקה עלינו שחלק מהם יהיו מובהקים במקרה גם כשאין באמת שום אפקט משמעותי. חוקרים ייטו לדווח רק על הממצאים החיוביים (וכתבי העת מעודדים את זה) כך שישנה הטייה בוטה לכיוון פירסום ממצאים חיוביים בלי דיווח של כל הניתוחים השליליים שלא הניבו שום ממצא מובהק. זה יכול להתרחש במחקר של חוקר בודד שמבצע הרבה ניתוחים סטטיסטיים או בקרב הרבה חוקרים שבכלל לא מודעים על קיומם של מחקרים דומים. תחשבו למשל שיש 20 חוקרים שמנסים למצוא קשר בין אכילת שוקולד ודחף מיני מוגבר. 19 מתוך אותם חוקרים לא קיבלו שום תוצאות חיוביות כי אכן אין קשר כזה, אבל חוקר אחד קיבל תוצאות חיוביות במקרה. החוקר יפרסם את המאמר בדבר הקשר בין שוקולד ודחף מיני ויזכה לכותרות סנסנציוניות בעיתון, בעוד החוקרים האחרים לא יטרחו בכלל לנסות לפרסם את תוצאות המחקרים שלהם כי אין כאן שום דבר מעניין לדווח (וגם כי כתבי העת יסרבו לפרסם שאין קשר בין המשתנים כי זה דבר טריוויאלי). במקרה כזה תווצר הטייה לחשוב שיש קשר בין שוקולד לדחף מיני כי עובדה, יש מאמר שמראה את זה. אף אחד לא יהיה מודע בכלל לעובדה שיש מחקרים אחרים שלא מצאו את האפקט והמאמר שפורסם הוא היחיד שכן הראה תוצאה חיובית. התופעה הזה נקרית אפקט המגירה (File-Drawer Effect), בגלל שחוקרים משאירים את המחקרים שלהם במגירה ועין אדם לא שוזפת אותם, וזה יוצר מה שנקרא הטיית הפירסום (Publication bias), הטייה הגורמת לנו לחשוב שיש אפקטים מסוימים שקיימים כשהם בפועל לא באמת קיימים (וגם שהאפקטים חזקים יותר ממה שהם באמת).

דרך אחת להתגבר על הבעייה הזו היא לפרסם תוצאות שליליות שלא הניבו דבר ויש אפילו כתב עת שמוקדש רק לזה. יש גם כתבי עת שמפרסמים את כל התוצאות, בלי קשר לאם הן חיוביות או שליליות וזה צעד חיובי בכיוון הנכון. NIH, ארגון הבריאות האמריקאי מחייב לפרסם את התוצאות של כל מחקר קליני במימונו כך שיש מאגר מידע של מחקרים על תרופות שנכשלו. אבל באופן כללי הבעייה עדיין קיימת בצורה רחבה. דרך שנייה להתגבר על הבעייה היא שחוקרים יצרו מאגר מידע שבו הם יפרסמו את הכוונות שלהם לערוך מחקר, מה הם בדיוק מתכוונים לחקור ואיך, כולל השערות ספציפיות שהם מתכוונים לבדוק. כך ניתן יהיה לדעת לפחות שנעשו מחקרים בנושא מסוים גם אם התוצאות שלו לא התפרסמו בפועל. השיטה הזו טובה גם על מנת להתגבר על ההטייה של פירסום תוצאות חיוביות שהתקבלו מניתוחים סטטיסטיים רבים מדי או שנמצאו מעניינות גם אם הן סותרות את הכוונות הראשוניות של החוקרים. אם כל חוקר יצהיר מראש מה השערות המחקר, איך הוא מתכוון לבדוק אותן ובעזרת אלו ניתוחים סטטיסטיים. יהיה לו קשה יותר לתמרן את התוצאות או הניתוחים סטטיסטיים כך שיראו תוצאות טובות יותר מכפי שהן באמת רק בגלל בחירה שונה של ניתוחים. זה יתרום להגינות מחקרית ויאפשר בקרה על חוקרים. כמובן, אין זה אומר שצריך להתעלם מממצאים מעניינים גם אם הם סותרים את השערת המחקר המקורית. לפעמים הדברים הכי מעניינים וחשובים מתגלים במקרה.

בעייה כאובה ומהותית נוספת היא חוסר השיחזורים של מחקרים מדעיים. כשחוקר מסוים מגלה דבר מה חדש, יש מוטיבציה נמוכה למדי לחוקרים אחרים לשחזר את המחקר במלואו. אם אותו חוקר יקבל ממצאים זהים בשיחזור, אף כתב עת לא ירצה לפרסם את המחקר כי זה כבר לא יחשב כממצא מעניין במיוחד. אלא אם מדובר בנושא מאוד חשוב כמו תרופה חדשה, או נושא שנוי במחלוקת כמו הקשר בין אינטליגנציה לגזע, המוטיבציה של כתבי עת לפרסם שיחזורים נמוכה למדי ולכן רוב מוחלט של המחקרים לא עוברים שיחזור. למה שחוקר ישקיע ממיטב זמנו לשחזר מחקרים של מישהו אחר כשהתועלת לכך מבחינתו קטנה?

הבעייה חמורה הרבה יותר ונוגעת לפירסום תוצאות שליליות. אם חוקר מנסה לשחזר מחקר שגילה אפקט מסוים וערך שיחזור מדויק של המחקר המקורי, גם אז הוא יתקשה מאוד לפרסם את התוצאות של המחקר שלו. מקרה מאוד מפורסם שקרה לאחרונה ממחיש את הנושא בצורה מצוינת. כתב העת Journal of Personality and Social Psychology, כתב העת החשוב ביותר בפסיכולוגיה חברתית ואחד מכתבי העת החשובים ביותר בפסיכולוגיה בכלל, פרסם מאמר שנוי במחלוקת של הפסיכולוג דאריל בם. בם ידוע בזה שהוא במשך שנים מנסה להראות שתפיסה על חושית קיימת, ניסיונות שבעיקר הניבו תוצאות שליליות שאף כתב עת רציני לא פירסם, אבל הכל השתנה עם המחקר הנוכחי. על פי הממצאים המדווחים במאמר, אנשים הצליחו לצפות תוצאות עתידיות של מאורעות מסוימים לפני שהם התרחשו.

המחקר הזה מדגים כמעט את כל הבעיות המהותיות שיש לפירסום ממצאים שנויים במחלוקת שהזכרתי עד עכשיו בפוסט. תוצאות המחקר הראו שהיו הבדלים סטטיסטיים גבוליים ביכולת הניבוי של אנשים ושאנשים הצליחו לצפות את העתיד באחוז שהוא קצת יותר גבוה מניחוש אקראי. האם יש כאן מקרה של ניסיונות חוזרים ונשנים לערוך את הניסוי ורק זה שבמקרה השיג תוצאות מובהקות מדווח? קשה לדעת ובם מסרב לחלוק עם חוקרים אחרים את הנתונים הגולמיים. יותר מכך, המחקר שלו ספג ביקורות קשות על השיטות הסטטיסטיות הנהוגות בו (למשל, שימוש במבחנים חד זנביים במקום דו זנביים כמקובל) ומי שמעוניין להתעמק בנושא מוזמן לקרוא כאן. מה שיותר מהותי לכל העניין הוא חוסר הרצון של כתב העת שבו פורסם המאמר, או כתבי עת מרכזיים אחרים בפסיכולוגיה, לפרסם שיחזורים של הניסויים שלא הצליחו להגיע לאותן תוצאות. ריצ’ארד וייזמן, הפסיכולוג והקוסם הידוע, הקים אתר שבו הוא הזמין חוקרים לשחזר את הניסויים. עד עתה התקבלו כמה ניסויים כאלו שלא הצליחו לשחזר את המחקר הנוכחי אבל כרגע אף כתב עת פסיכולוגי לא מעוניין לפרסם אותם.

נושא השיחזורים בעייתי כנראה במיוחד במדעי החברה. גם אם מעוניינים לערוך שיחזור ויש מי שיפרסם אותו, עדיין השיחזורים לא תמיד מדויקים בגלל הסובייקטיביות של המחקרים עצמם. במחקרים במדעי הטבע כמו בפיסיקה, כימיה וביולוגיה, הפרוטוקולים שבהם נערכים ניסויים מדויקים מאוד וניתנים לשיחזור של אחד לאחד על ידי חוקרים אחרים במקרים רבים. בפסיכולוגיה, המצב מסובך הרבה יותר. לכל מושג פסיכולוגי ישנן הגדרות שונות שלעיתים סותרות אחת את השנייה שמקשות על שיחזורים מדויקים. למשל, אינטליגנציה נמדדת בצורות שונות, ולמרות שיש מדידות מקובלות יותר מאחרות כמו מבחן וקסלר הידוע, עדיין יש כר נרחב להבדלים. יתרה מזאת, בעוד מחקרים במדעים מדויקים נעשים על חומרים זהים בחלק גדול מהמקרים, בני אדם אינם זהים לגמרי. גם אם חוקרים משתמשים בדיוק באותן פרוצדורות, העובדה שמחקר אחד נעשה בתל אביב והשני באוניברסיטה באיווה הופכת את ההשוואה למסובכת יותר. אפילו מחקרים שנעשים על אותן אוכלוסיות, כולל אפילו אותם בני אדם, לא תמיד מניבים תוצאות זהות לגמרי בגלל שאנשים שעוברים אותו ניסוי פעמיים יכולים להיות בעלי מוטיבציה שונה בזמנים שונים, או שמצב רוחם משתנה, או שיש גורמים מצביים אחרים שמשפיעים על הביצוע שלהם (החדר קר או חם מדי). גם העובדה שהם נחשפים לאותן שאלות או פרוצדורות פעמיים לא ממש עוזרת. זה אומר שתמיד אפשר לפרש את הנתונים בצורה קצת יותר גמישה במדעי החברה וזו בעייה שמציבה אתגר לא פשוט לעוסקים בתחום (אבל גם הופכת אותו למעניינת יותר).

מהדברים שכתבתי כאן יכול להשתמע שהמצב ממש רע וזו לא הכוונה שלי. יש הרבה מאוד מחקרים טובים, רק שצריך תמיד להתייחס אליהם בזהירות. המטרה של הפוסט היא להצביע על חלק מהבעיות שיש בעשייה המדעית שנובעות בעיקר מזה שהיא נעשית על ידי בני אדם (ואם מדברים על מדעי החברה אז גם על בני אדם). חלקן קשורות למוטיבציות שיש לחוקרים להצליח ולהראות תוצאות טובות, מה שיכול להוביל לעיוות נתונים (לא תמיד בכוונת זדון), וחלק אחר מהמבעיות הן יותר מבניות וקשורות לצורה שבה המדע מתנהל בפועל. ישנן הצעות שונות שעשויות לפתור או לעזור בחלק מהמקרים ונגעתי בחלק מהם. למשל פירסום מראש של מטרות המחקר, ההשערות, הפרוטוקולים של המחקר והניתוחים הסטטיסטיים המיועדים, פירסום מלא של נתונים גולמיים, פירסום תוצאות שליליות, עידוד חוקרים לערוך שיחזורים ואולי לתת לחוקרים שעורכים שיחזורים אותה במה בפירסום הנתונים בדיוק כמו המחקרים המקוריים כדי שלא ירגישו שסתם בזבזו את זמנם. בסופו של דבר חשוב לזכור שמדע מצטבר. אף מחקר בודד כמעט לא גורם לשינוי קיצוני פרדיגמתי אלא רק הצבר של מחקרים זהים או דומים שמצביעים על מסקנה משותפת גורמים לחוקרים שונים לקבל אותה. רוב המדענים עושים את עבודתם נאמנה ולא מזייפים נתונים אבל כנראה שצריך יותר פיקוח, ובקרה הדוקה יותר על כל התהליך כדי למנוע מהם להכנס למצבים לא נעימים (במודע או שלא במתכוון).