מה ניתן לעשות כדי לשפר מחקרים מדעיים?

הסערה שהתעוררה בעקבות גילוי הזיופים חסרי התקדים של דידריך סטייפל ממשיכה להכות גלים בציבור הרחב, בעולם המדע ובקרב פסיכולוגים בפרט. הרבה בלוגים מדעיים וקבוצות דיון של מדענים מגיבות לנושא ולהשלכות שיש לו על גילוי זיופים במדע, על המחקר המדעי, ובעיקר מנסים לענות על השאלה מה אפשר לעשות כדי לשפר מחקרים מדעיים והצורה שבה הם מוצגים? כמה הצעות לשיפור הועלו על ידי בפוסט פה ובתגובות. מאמר חדש מוסיף כמה רעיונות משלו. לפני שאגש לסקור את ההצעות במאמר אני רוצה להדגיש כמה דברים. ראשית, פסיכולוגים רבים ביקרו את הניסיון להציג את הבעייה כייחודית לפסיכולוגיה. הדבר נבע מכך שהזיופים נעשו על ידי פסיכולוג ידוע ולכן קל היה לערוך את ההקש הכוזב שיש בעייה אינהרנטית עם התחום עצמו. זה נכון שלמחקרים בפסיכולוגיה יש מאפיינים ייחודיים שאולי גורמים לזיופים להיות קלים יותר, אבל כל דיסיפלינה היא בעלת מאפיינים ייחודיים משלה שעלולים לגרום לזיופים. ההיסטוריה מראה שזיופים מדעיים קיימים בכל תחום ואינם רק בעייה פרטית של הפסיכולוגים או של מדעני החברה.

שנית, הדיונים בנושא הם הרבה מעבר למקרה של סטייפל שכולם מסכימים שהוא מאוד קיצוני. רוב המדענים ישרים ומעטים אם בכלל מגיעים לרמות קיצוניות כאלו של זיוף. עם זאת, בגלל הסיבות שציינתי בפוסט הקודם, יש בעייה אינהרנטית בשיטה המדעית ובשיטת הדיווח על מחקרים מדעיים גם כשכוונות החוקרים טובות. הבעיות הן בעיקר בכל הנוגע לשקיפות של הנתונים והניתוחים הסטטיסטיים והמאמר הנוכחי מציע דרכים להתגבר עליהן. ההצעות הנדונות נועדו למנוע מחוקרים לסלף את הנתונים או הממצאים, לנסח השערות בדיעבד שמתאימות לנתונים, לערוך ניתוחים סטטיסטיים שמציגים את ההשערות שלהם באור חיובי יותר, להתעלם מממצאים סותרים להשערות שלהם, ובאופן כללי למנוע מצב שבו החוקרים מציגים רק את הדברים שנוחים להם ומסתירים את מה שלא נוח להם להציג. ישנן שפע של דרכים יצירתיות להציג ממצאים שנראים מצוין ותומכים בהשערות אבל בפועל הן חלשות הרבה יותר ולקוראים אין ממש מושג לגביהם. כמו שכתבתי בפוסט המקורי, הרבה פעמים הדברים נעשים לא מתוך כוונות זדון אלא בגלל הלחץ הגדול לפרסם ולפרסם תוצאות חיוביות.

המאמר מנוסח ככתב תביעה נגד טעוית מסוג I שנקראות False Positive Errors. לכל מי שלא בקיא במונחים סטטיסטיים אומר בקצרה שמדובר בקבלת או תמיכה בהשערת המחקר שלכם כשבפועל היא לא נכונה. כשעורכים מבחן סטטיסטי תמיד יש סיכוי לטעויות והתוצאות המתקבלות אף פעם לא נכונות או שגויות ב-100%. גישה מתירנית יותר גורסת שצריך להקל בסוג העדויות או הממצאים האמפיריים שתומכים בהשערת המחקר גם אם יש סיכוי גבוה שהן לא נכונות. גישה כזו גורמת פעמים רבות לממצאים להראות טובים יותר ממה שהם בפועל ולתפיסת מציאות מעוותת. כמובן שאפשר להחמיר את הכללים כך שטעויות כאלו ימנעו כמעט לחלוטין, אבל אז נוצרת בעייה הפוכה שבה ממצאים אמיתיים לא מדווחים בגלל שהניתוחים הסטטיסטיים שלנו נוקשים מדי. יש  סטטיסטיקה שונה לגמרי שנקראת סטטיסטיקה בייסיאנית שעוקפת את הבעייה הזו אבל המחברים מבטלים אותה ככזו שלא פותרת את הבעייה (הם עושים זאת כלאחר יד בקלות רבה מדי לטעמי). כל הנושא של סטטיסטיקה בייסיאנית ראוי להרחבה נפרדלת ואולי אתייחס גם לכל הנושא הזה בעתיד.

אחת הנקודות המרכזיות שהמאמר מנסה להדגיש ובצדק, היא הנטייה של החוקרים להחליט בדיעבד על כל מיני כללי אצבע שקשורים לאיסוף וניתוח הנתונים, מה שמוביל להטיות באיסוף, ניתוח ופירוש הממצאים. למשל, איך מחליטים כמה נתונים בכלל לאסוף ומתי להפסיק לגייס נבדקים למחקר? או איך מתייחסים לתצפיות חריגות (מה שנקרא outliers) ואיך בכלל מגדירים מה נחשבת תצפית חריגה? יש כללי אצבע שונים לכך. אצל אחד זה כל תצפית שהיא שתי סטיות תקן גדולות או קטנות מהממוצע ואילו אצל מישהו אחר זה 3 סטיות תקן כאלו, וכן הלאה. לא תמיד מסופקת הצדקה למה נבחר כלל זה או אחר. מטבע הדברים מחקר מדעי הוא דו משמעי במקרים רבים ולחוקרים יש נטייה לפרש דברים בצורה שתציג את הממצאים שלהם באור חיובי יותר ממה שהוא באמת. תמיד אפשר למצוא הצדקות למה עשינו משהו אחד ולא אחר, או למה השתמשנו בכלל אצבע אצבע X ולא Y כך שיתאימו יותר לתיזה שלנו.

כותבי המאמר מציעים שישה כללים שכל מחקר צריך לדבוק בהם כדי לפתור את ההטיות המובנות של החוקרים (ההצעות לא נועדו להלחם בזיופים מכוונים שאותם הרבה יותר קשה לחשוף). אני אסקור את ההצעות ואומר גם את דעתי עליהן.

1) חוקרים צריכים להחליט מראש מתי הם מפסיקים לאסוף את הנתונים ועל פי איזה כלל מפסיקים לגייס נבדקים ולדווח על הכללים הללו במאמר (ויש שיחמירו ויאמרו שצריך לפרסם אותו בפומבי עוד לפני ששלב איסוף הנתונים מתחיל). כלומר, אם החלטתם שבמחקר יהיו 100 נבדקים אז אחרי 100 נבדקים להפסיק את גיוס הנבדקים. לפעמים הכללים גמישים יותר כמו למשל כלל שאומר לגייס נבדקים עד סוף הסמסטר. שני הכללים נחשבים לקבילים על ידי כותבי המאמר כל עוד באמת מתכוונים אליהם מראש.

הכלל הזה סביר למדי אבל נוקשה מדי לטעמי. לפעמים חוקרים אוספים מספר מסוים של נבדקים שתכננו מראש ומגלים שהתוצאות בכיוון הנכון אבל לא מובהקות. זה יכול לנבוע מהערכה שגויה של מספר הנבדקים בגלל חישובי עוצמת מבחן. עוצמת מבחן היא כלי סטטיסטי שמשמש לחישוב הסיכוי לקבל תוצאות מובהקות על בסיס גודל המדגם. לפעמים מובהקות אינה מתקבלת רק בגלל שהמדגם קטן מדי, כלומר שאפקטים אמיתיים לא מזוהים בגלל גודל המדגם. אני לא חושב שצריכה להיות בעייה רצינית עם הגדלת מדגמים כי בסך הכל יותר נבדקים זה תמיד טוב למחקר. כמובן שיש גם את העניין שככל שהמדגם גדול יותר הסיכוי לקבל מובהקות סטטיסטית גדל גם הוא, אבל זו לא בעייה מרכזית בעיניי. חוקרים אמורים לדעת להבחין בין מובהקות סטטיסטית לבין חשיבות או משמעות התוצאות כך שגם אם מתקבלת מובהקות סטטיסטית מסוימת אין זה אומר שהתוצאות חשובות או מעניינות. בשביל זה יש מדדים סטטיסטיים נוספים כמו גודל אפקטים או סתם שימוש בהגיון בריא (למשל הבדל של 0.4 נקודות באינטליגניציה בין שתי קבוצות יכול להיות מובהק אבל חסר משמעות אמיתית).

2) כל קבוצה שנכללת במחקר צריכה להכיל לפחות 20 תצפיות.

זה כלל שנראה לי שרירותי מדי למרות שיש לו הצדקות סטטיסטיות מסוימות שלא אכנס אליהן כאן. כמו הכלל הראשון, גודל המדגם קשור קשר הדוק לעוצמת המבחן שאפשר לחשבה מראש. חוקרים צריכים לדעתי לפרסם את חישובי גודל המדגם על בסיס עוצמות המבחן המשוערות כבסיס למספר התצפיות בכל קבוצה.

3) חוקרים צריכים לפרט את כל המשתנים שנאספו במחקר.

הכלל הזה נועד למנוע מצב שבו חוקרים מדווחים רק על תוצאות חיוביות שנבנו על סמך משתנים מסוימים ולא אחרים. יש הגיון בכלל כזה שמאפשר לחוקרים אחרים לחשוב על משתנים מתערבים שנמדדו ומשפיעים על התוצאות ולתהות למה לא דווחו, אבל הוא גם יוצר בעיות. חוקרים רבים במדעי החברה אוספים נתונים על עשרות אם לא מאות משתנים. פירסום כל המשתנים הללו יצור רשימת מכולת ארוכה מאוד למרות שהרעיון עצמו נכון.

4) חוקרים צריכים לדווח על כל הניסויים שנערכו, כולל אלו שנכשלו וכולל אלו שבהן המניפולציה לא עבדה כנדרש.

זהו כלל שנראה לכאורה חיוני אבל גם הוא לא נטול בעיות. מחקרים רבים כוללים בתוכם ניסוי וטעייה. חוקרים מנסים מניפולציות שונות ותנאים ניסויים שונים עד שהם בסופו של דבר מגיעים לניסוי אחד מוצלח. אני לא בטוח שדיווח של כל הכשלונות שהובילו לניסוי מוצלח תורם יותר מדי מידע רלוונטי (חוץ מזה שהוא אולי ימנע מאחרים לחזור על אותן טעויות). בסופו של דבר, אם יש ניסוי מוצלח אז הוא אמור להיות מוצלח בלי קשר לכישלון של ניסויים אחרים. צריך לזכור שזמנם של חוקרים וקוראי מאמרים הוא משאב יקר. התוספת של מידע רב יותר היא שולית במקרים רבים ולא בטוח שהיא הכרחית.

5) אם תצפיות מסוימות נמחקו מסיבה כלשהיא על החוקרים לדווח על תוצאות הניתוחים הסטטיסטיים גם כשהתצפיות הללו נכללו.

חוקרים רבים מבטלים תצפיות שונות מסיבות שונות, חלקן מוצדקות וחלקן לא. למשל, חריגות גדולות יכולות להעיד על נבדק בעייתי, כזה שלא מילא אחרי הוראות המחקר כהלכה או שהן יכולות להעיד על תופעה חריגה ומעניינת. צריך בעיניי סיבה מספיק טובה כדי להוציא מישהו מהמחקר וצריך לדווח על הסיבה להשמטה (רוב החוקרים כוללים את המידע הזה). אני מסכים שעקרונית צריך לדווח על הניתוחים הסטטיסטיים שכללו את כל התצפיות, אבל זה גם מיותר לפעמים. האם באמת צריך לכלול ניתוח סטטיסטי שכלל 99 נבדקים במקום 100? זו דרך מצוינת להפוך את המאמרים לארוכים יותר ומסורבלים יותר לקריאה. גם ככה פרק התוצאות מורכב דיו אז עוד ניתוח רק יקשה על הקורא. אולי שווה לכלול את המידע הזה בנספח מיוחד בסוף המאמר או ברשת כמו שעושים יותר ויותר כתבי עת היום.

6) אם הניתוח הסטטיסטי כולל משתנה בקרה, על החוקרים לדווח את הניתוח הסטטיסטי גם בלי המשתנה הזה.

כמו סעיף 5, הסעיף הזה נועד לגרום לחוקרים להצדיק למה הם ערכו את הניתוח ככה ולא אחרת. במקרה הזה, למה הם כללו משתנה זה או אחר בניתוח הסטטיסטי שנחשב לדעתם כחשוב. זה אכן רעיון טוב לכלול את המידע הזה במאמר, אבל שוב, זה יסרבל ויאריך מאוד את המאמרים.

מחברי המאמר כוללים גם המלצות לשופטי המאמרים ברוח ההמלצות שהם מספקים לחוקרים. ההמלצה העיקרית לשופטים היא להיות סובלניים יותר לתוצאות שליליות ולא “יפות”, כולל כאלו שמצאו אפקטים בכיוון ההפוך מזה המשוער. מדע אף פעם אינו מושלם ותמיד כולל “רעשי רקע”. זה נכון במיוחד במדעי החברה שם עוסקים בבני אדם שהם מטבעם יצורים מורכבים ולא צפויים. תוצאות מושלמות מדי נראות חשודות פעמים רבות וכאלו שנובעות מבחירה סלקטיבית של הנתונים או של הניתוחים הסטטיסטיים. המחברים מדגישים שכותבי המאמרים צריכים להתאמץ ולהראות שהתוצאות שלהם הם לא רק תוצאה של בחירת ניתוח סטטיסטי מסוים ושאינן נובעות משימוש בכללי אצבע שרירותיים. כלומר, על המחברים להראות שהתוצאות המדווחות נכונות גם בניתוחים אחרים צולבים. במקרים גבוליים, ממליצים המחברים שהשופטים יבקשו מהחוקרים לערוך רפליקציה מדויקת של המחקר שלהם. אין ספק שחוקרים רבים יתרעמו על דרישה כזו שגוזלת זמן וכסף רב ולכן אני בספק אם זו עיצה מעשית. חוקרים רבים פשוט ינסו לפרסם את המאמר במקום אחר, מה שבאמת קורה. לי אישית יצא להיות שופט של מאמרים מסוימים שנדחו מכתב עת מסוים, רק בשביל לראות אותם מפורסמים בכתב עת אחר ללא שינוי וללא שום התייחסות להמלצות לתיקון מצידי ומצד השופטים האחרים.

ההצעות במאמר הזה חשובות ורק הזמן יראה אם הן יאומצו במלואן או לפחות בחלקן. ישנן בעיות נוספות שההצעות לא פותרות. למשל, בעיית מחקרי המגירה או המחקרים שלא מגלים שום אפקט (תוצאות שליליות) ולכן לא מפורסמים. כמו שכתבתי בפוסט הקודם, ישנם כתבי עת שמפרסמים תוצאות שליליות אבל עדיין נותרת הבעייה שחוקרים רבים פשוט לא טורחים לפרסם את התוצאות הללו והם מחביאים אותן במגירה. לדעתי פירסומים עם תוצאות שליליות צריכים להיות מהירים יותר, תמציתיים וכאלו שלא דורשים עבודה רבה מצד הכותב. אולי אפילו כל כתב עת צריך להקדיש חלק מהמקום בכל גיליון לפירסום תוצאות שליליות.

בעייה נוספת היא שהמגבלות החדשות יהיו קשות מדי על רוב החוקרים, מה שיגרום לזיופים מכוונים במקום להטיות של בחירת המשתנים. חוקרים שיעמדו בפני הדילמה של דיווח מלא שיגרום למחקר שלהם להראות פחות טוב וכמעט בוודאות להדחות על ידי כתבי עת, לבין דיווח חלקי שיגדיל את הסיכוי לפירסום, יבחרו במקרים רבים באפשרות השנייה. גם מחקרים חלוציים של נושאים חדשים לגמרי שמטבעם נוטים להציג תוצאות חלקות בהרבה מקרים עלולים להפגע. רק אם יישום ההמלצות הללו יבוא יד ביד עם שינוי רדיקלי במדיניות פירסומים סובלנית יותר, יהיה סיכוי אמיתי לשינוי. הצעה רדיקלית נוספת שלא ראיתי שהוזכרה בשום מקום היא להפריד לחלוטין את איסוף הנתונים מהניתוח שלהם. כלומר, חוקר מסוים יבנה מחקר על בסיס תאוריה והשערות מסוימות, יאסוף את הנתונים ויקודד אותם ואז יתן לחוקר בלתי תלוי את הנתונים כך שינתח אותם בצורה אובייקטיבית. איכשהוא, אני לא רואה רעיון כזה מתקבל באהדה על ידי ציבור המדענים.

Both comments and trackbacks are currently closed.

תגובות

  • Advocatus Diaboli  On 21/11/2011 at 10:28 am

    אם אפשר להציע הסתייגות (שאולי רלוונטית יותר למדעים מדוייקים/חיים). כל האמור נכון לגבי מקרים בהם המובהקות היא לא גדולה (כלומר לאחר ריבוי מדידות, זה לא מאוד מובהק). כשישנה האפשרות לקבל מובהקות גדולה, למשל ע"י הגדלת המדגם, זה מבורך. אז גם כמובן אין צורך לפרט את כל מה שלא עבד (חוץ מהשירות לקהילה המדעית), כי שום ריבוי מדידות לא מעמיד בספק את עוצמת הממצא.

    למשל ישנו ניסוי שאני מקבל עליו באופן עקבי p<10^-10, זאת לאחר שהגעתי לתנאים אופטימליים והגדלתי את המדגם (אפשר גם בקלות להגיע למובהקות גדולה יותר, ע"י הגדלת המדגם עוד יותר). זה משנה האם ניסיתי שלושה או חמישה תנאים כדי להגיע לכך ?

    גם רמת המובהקות הנדרשת יכולה להשתנות בהתאם לחשיבות התוצאה. ניסוי שסותר תאוריה רווחת לא צריך להתפרסם בעיתון מוביל על סמך p=0.03, הדגימו זאת יפה הפיזיקאים בניסוי הניוטרינו לאחרונה, כאשר הם הציגו את העבודה לביקורת (לפני שליחה לעיתון) רק אחרי שאספו מספיק מדידות כדי לקבל חריגה בשש סטיות תקן מהאפשרי ע"פ תורת היחסות.

    חוץ מזה, תוצאה מדעית אמינה היא תוצאה שחזרו עליה בכמה מעבדות נפרדות ובמספר שיטות. אם אף אחד לא חזר על הניסוי (ולו כדי לבדוק מה קורה כאשר נוסף עוד פרמטר), כנראה שזו לא תוצאה כל כך חשובה (גם אם היא פורסמה בנייצ'ר).

    • גיל  On 21/11/2011 at 10:41 am

      טוב שמגיעים מגיבים מתחומים אחרים כי חשוב לציין שהמאמר שאני סוקר מתייחס למחקרים פסיכולוגיים בעיקר.

      כמו שכתבתי, גם בעיניי הבקשה לפרוט של ניסויים קודמים שלא עבדו נראית לי מיותרת והרווח שלה שולי. נראה לי שבתחומי מדעי החברה אולי הרווח יהיה קצת יותר גדול כי אנשים ירצו לדעת אלו מניפולציות על אנשים לא עובדות אבל במדעים מדויקים זה פחות רלוונטי.

      אתה בהחלט צודק שבמחקרים שיוצאים כנגד אמיתות יסוד בתחום צריך להתנהג במשנה זהירות. עם זאת, נראה לי שיש הבדל בין התחומים. ניסוי הניוטרינו יכול למוטט את כל הפיסיקה המודרנית ולכן החשיבות העצומה שלו. בפסיכולוגיה מיינסטירימית שכוללת הרבה מאוד תאוריות שלא קשורות אחת לשנייה הנזק בפרסום תוצאות שליליות הרבה יותר קטן. מה עוד, כמו שציינתי בפוסט הקודם מחקרים כמעט אף פעם לא משחזרים בדייקנות מחקרים קודמים כך שלכל תוצאה יש ערך. בנוסף, אמיתות מקובלות בתחום מתקבלות בסדרה של מחקרים וכמעט אין מחקר אחד בודד שמשנה דיעה של חוקרים לכאן או לכאן אז גם אם יהיה מחקר אחד סותר ברמת מובהקות של 0.03 אף תחום לא יתמוטט.

      לגבי המשפט האחרון אתה כמובן צודק, אבל שוב, במדעי החברה יש בעייה אינהרנטית לשחזר מחקרים במדויק.

      • Advocatus Diaboli  On 22/11/2011 at 10:13 am

        לגבי החלק האחרון, מאיפה נובע הקושי לשחזר במדוייק ניסוי? נכון שיש שונות בין בני אדם, אבל אם שאלון X הוצג לסטודנטים בסטנפורד, אז אפשר להציג את אותו השאלון לסטודנטים באוקספורד, ואם סטודנטים בסטנפורד ואוקספורד לא נוטים להגיב באותו אופן, המסקנה המתבקשת היא שלא ניתן להכליל את ממצאי המחקר לסטודנטים, או בני אדם בכלל.

      • גיל  On 22/11/2011 at 10:41 am

        תקרא את הפוסט הקודם. זה משהו שקל יחסית לעשותו במדעי הטבע אבל במדעי החברה קצת בעייתי כי האנשים תמיד שונים. הבעייה היא שאנחנו לא יכולים לדעת אם התוצאות השונות נובעות מזה שהאנשים היו שונים או שהניסוי לא שוחזר, כלומר הניסוי המקומי לא ממש עבד.

  • הפנר  On 21/11/2011 at 3:19 pm

    אני לא רואה משהו רע בלירות, ולסמן את המטרה מסביב לחץ. הרי התועלת מהמחקר היא עצם המובהקות- אז מזה משנה אם, כמה ומה היו כל הכשלונות לפני ההצלחה?
    המטרה של המחקרים היא לא להאדיר או לפגוע בשם החוקר, אלא לקדם את המדע. כך שכשלונותיהו של החוקר אומנם יכולים לספק מידע מועיל לחוקרים אחריו (איפה לא כדאי לדרוך), אבל אינם חיוניים, כיוון שמחקר חיובי עם מובהקות גדולה ומדגם גדול צריך להיות מועיל מספיק, כדי לאפשר לדרישה של פרסום הכשלונות להשאר בתחום צנעת הפרט.
    בנוסף, קיומן של ההשערות, הרלבנטיות שלהן, ודיוקן מוסיף או פוגע רק במוניטין של החוקר, אבל כלל לא רלבנטי לתוצאות ומסקנות המחקר.

    בנוסף, יש לי עוד הצעות כדי למנוע מניפולציה על נתונים:
    1. חוקר טוב יותר ממני בלשאול את השאלות הנכונות, ולהסיק את המסקנות הנכונות מתוך נתונים שלעיתים מבלבלים. הוא לא יותר טוב ממני באיסוף נתונים. אז למה עיקר עבודתו באיסוף נתונים? שתקציבי המחקר יתחלקו בין החוקר, למי שמומחה בלאסוף נתונים (חברות שמתמחות בכך). כך ניתן יהיה לשתף נתונים מלאים בין מספר חוקרים (תמורת כסף), כשכל אחד ישתמש בחלק שמעניין אותו מסך הנתונים שנאספו. כך גם האמינות לא תהיה מוטלת בספק.

    2. כדי לחזק עוד יותר את תוצאות מחקרו של החוקר, הוא יכול להוסיף בסיכום הצעות לדרכים פשוטות יותר לערוך את הניסוי (מהדרך בה הוא נקט) כדי לקבל את אותן המסקנות. זה יאפשר לחוקר נוסף לאמת (או להפריך) את מסקנתו של הראשון כחלק ממשהו גדול יותר משלו ויחזק גם את המוניטין של הראשון באמצעות הצגת הבטחון שלו במסקנות אליהם הגיע.

    • גיל  On 21/11/2011 at 3:29 pm

      הפנר, ישנן שתי בעיות אפשריות שאני לא יודע אם הן חלק מהתסריט שחשבת עליו: אחת, ישנה כאן סוג מסוים של רמייה אם אתה מדווח על ממצא מסוים כמובהק כאילו זה מה שתכננת שיצא. אם אתה כותב מראש שצפית שיהיה אפקט בכיוון אחד ואז התקבל אפקט בכיוון ההפוך אז זו באמת לא בעייה.

      בעייה שנייה היא שאם אתה מבצע הרבה ניסויים ואז פתאום אחד מהם יוצא מובהק אז לא תמיד ברור אם הוא מובהק מכיוון שהאפקט אמיתי או שבגלל שעשית הרבה ניסויים (=הרבה ניתוחים סטטיסטיים) ואז במקרה אחד יוצא מובהק (אחת לעשרים מקרים על פי הסטנדרטים המקובלים של מובהקות). במובן הזה, יש הגיון בדיווח כל הניסויים הקודמים. כמובן שהסכנה שאתה מצביע עליה גם קיימת. אנחנו לא רוצים להחמיר מדי ועדיף הרבה פעמים לפרסם ממצאים שאולי יופרכו אחר כך ואולי לא אבל כדאי שאחרים יתנו עליהם את הדעת.

      אכן חוקרים טובים בהיבטים שונים של המחקר ושיתופי פעולה תמיד מבורכים ומקטינים תאורטית את ההטיות. מצד שני, ההצעה שלך מסרבלת את כל ההליך המדעי. לא תמיד פשוט לאסוף נתונים ולעשות outsourcing לאיסוף נתונים יעלה יותר כסף ויקח גם יותר זמן.

      בדרך כלל בסוף המאמר יש אכן הצעות למחקרים נוספים או דומים. קח בחשבון שלא תמיד אפשר לפשט מחקרים אבל רפליקציה תמיד חיונית והרבה פעמים לא נעשית.

      הנקודה המרכזית היא שמסובך למדי לערוך מחקרים מדעיים וצריך למצוא איזונים ובלמים שמצד אחד יראו תוצאות טובות ואמיתיות, ומצד שני לא יסרבלו אל המחקר ויקשו יותר מדי על הפירסומים.

      • הלה, סידני, אוסטרליה  On 24/11/2011 at 7:16 pm

        מה היתה השערת המחקר בניסוי הקלאסי של "דיסוננס קוגניטיבי"? היורשה לי לשער (זה היה לפני יותר מדיי שנים, ובכל זאת) שיהיה קשר *לינארי* בין התשלום על השקר ובין איך אנשים מתייחסים לשקר?

        ואגב, כשהייתי שנה ב' באוניברסיטה השתתפנו ב"עבודה מעשית מחקרית". המטרה: לשחזר מחקר. היו מספר שינויים שהיינו חייבים לבצע: למשל, היינו חייבים לשנות חלק מהתיאורים בשאלון, כי מה לעשות ומה שמתפרש באמריקאית כ"ספונטני" מתפרש בישראל כ"בזבזן", וגם אני זוכרת שהיתה פעולה הסחה בין הצגת הנתונים לשליפתם של "תפזורת", שבאנגלית לקחה 3 דקות ובעברית לקחה חצי דקה…
        ולא, לא הצלחנו לשחזר את תוצאות המחקר המפורסם ברפליקציה שערכנו, כלומר אם ההשערה היתה ש (א) יותר חזק מ(ב) התוצאות במחקר הראו, לצערנו, ש(ב) דווקא חזק יותר מ(א)…

      • גיל  On 24/11/2011 at 8:09 pm

        הלה, את מעלה נקודה טובה שהרבה מהניסויים הקלאסיים לא היו מבוצעים תחת ההנחות הללו והיינו חסרים מידע חשוב. זו הסיבה שאני דווקא בצד היותר מתירני. עדיף שיתפרסמו שטויות שאחר כך יופרכו מאשר שלא יתפרסם משהו בכלל. הבעייה היא שיש כנראה הרבה שטויות שלא נבדקות בכלל וזה יוצר הטייה.

      • א  On 24/11/2011 at 10:44 pm

        שאלה להלה: בעקבות הניסיון שלך, האם את חושבת שהמחקר שניסיתם לשחזר היה טעות (והאפקט שהוא חקר לא קיים באמת), או שהייתה אצלכם איזו בעיה בביצוע, או שהאפקט ההוא היה אפקט שקיים בתרבות האמריקאית ולא קיים בתרבות הישראלית? האם היה איזה סיכוי שהמנחה שלכם היה מפרסם את התוצאות ההפוכות?

  • ארך אפיים  On 22/11/2011 at 1:59 am

    אני לא מומחה לסטטיסטיקה, אבל האם אין הבדל בין לעשות מחקר על 100 נבדקים, לבין לעשות מחקר על 50 וכשהתוצאות לא עונות לדרישה להוסיף עוד 50? עצם הכללתם של ה-50 הנוספים תלויה בתוצאות של ה-50 הראשונים, לא? אני יודע שקל בהבל פה להעלות דרישות שיעלו את המחיר ואת הזמן של המחקר, אבל מבחינה מתודולוגית לא היה נכון במקרה כזה לשים בצד את ה-50 הראשונים ולמצוא קבוצה חדשה של 100 לניסוי השני?

    • גיל  On 22/11/2011 at 8:49 am

      וודאי שיש הבדל, אם כי אני לא בטוח שזו באמת בעייה כמו שמנסים להציג את זה במאמר. לפעמים מתגלים הבדלים עם מדגם קטן אבל הם לא מובהקים סטטיסטית כי עוצמת המבחן לא גדולה שזה אומר פשוט שגודל המדגם לא היה מספיק. אין סיבה "לזרוק" את 50 הנבדקים הראשונים רק בגלל שלא מצאו אפקטים מובהקים ולגייס נבדקים חדשים. פשוט צריך להסביר למה אספו יותר נבדקים במאמר.

Trackbacks

%d בלוגרים אהבו את זה: