עד כמה אפשר להאמין לפירסומים מדעיים? זיופים במדע, הטיות סטטיסטיות, חוסר שיחזור מחקרים ועוד בעיות מבניות שמקשות על חקירה מדעית

לפני מספר חודשים פורסם בכתב העת היוקרתי Science מחקר שמצא שלבנים נוטים להפלות כנגד שחורים כשהם נמצאים בסביבה מבולגנת ומלוכלכת. מחקר אחר שפורסם לפני שנתיים גילה שאוכלי בשר הרבה יותר אנוכיים מצמחוניים, ומחקר נוסף מצא שאנשים עם קול גברי נתפסו כמוכשרים יותר בראיונות עבודה. הבעייה עם כל המחקרים הללו שפורסמו בכתבי עת יוקרתיים ביותר הייתה שכל אחד ואחד מהם, ועוד עשרות אחרים, הם זיופים פרי עטו של הפסיכולוג דידריך סטייפל.

סטייפל הוא דוגמא אחרונה וקיצונית למדען שפירסם תוצאות מזויפות של מחקרים. במשך לפחות 10 שנים זייף סטייפל נתונים של עשרות מחקרים וכל מחקר שהוא חתום עליו, הן בתור כותב ראשי או משני, נמצא בימים אלו תחת חקירה מדוקדקת לבדיקת האותנטיות שלו. סטייפל הוא פסיכולוג בעל שם עולמי שרבים מהמחקרים שלו זכו לתשומת לב תקשורתית נכבדה, ויתכן שדווקא הפופולאריות של הנושאים שהוא חקר היא שהניעה אותו לזייף נתונים ולזכום בפרסום. העדויות מצביעות על כך שבתחילה סטייפל היה עורך מחקרים עם נבדקים אמיתיים, אבל הנתונים של המחקרים שונו כך שיתאימו לתוצאות שהוא היה מעוניין בהן. בשלב מסוים בקריירה שלו הוא הגיע למסקנה שזה בזבוז זמן משווע לגייס נבדקים ולאסוף נתונים, ועדיף במקום זה פשוט לייצר לבד את הנתונים המספריים של המחקר. הוא יצר פרוטוקולים שלמים של ניסויים, כולל השאלונים, ניסוח השערות ואף פיצוי למשתתפים, רק שלא היו שום משתתפים בניסוי. כל הנתונים הומצאו על ידו וכדי להסתיר את העובדה שאין לו ממש נבדקים הוא היה טוען שרק לו הייתה גישה אליהם. בתור חוקר שהיו לו לפחות 20 סטודנטים שכתבו דוקטורט תחת פיקוחו, ועוד עשרות רבות של שותפים למחקרים אחרים, די מפתיע שאף אחד לא עלה על הזיופים שלו בשלב מוקדם. מה שיותר עצוב זה שהרבה סטודנטים וחוקרים אחרים שאולי לא אשמים בכלום, נפגעו ויסבלו קשות מהחקירה המתנהלת נגדו מכיוון שהמאמרים שהם חתומים עליהם וכוללים אותו נמצאים תחת חקירה וחלקם אולי יבוטלו, מה שיפגע קשות בקריירה שלהם.

סטייפל הוא רק המקרה האחרון שמצטרף לשורה ארוכה של מדענים אחרים שזייפו מחקרים מדעיים. בין המחקרים המפורסמים ביותר שזויפו נמצא כמובן איש הפילטדאון שהוא אולי המקרה הידוע ביותר אבל אתם יכולים לראות רשימה של מקרים ידועים אחרים כאן. בשנים האחרונות היו כמה מקרים שזכו לתהודה תקשורתית, למשל אנדרו ווייקפילד שזייף מחקרים שמראים לכאורה על קשר בין חיסונים לאוטיזם (מחקר שגרם נזק אדיר ודירבן הורים רבים לא לחסן את ילדיהם), או המדען הדרום קוריאני שטען ששיבט בן אדם. הפסיכולוג והפרימטולוג מרק האוזר שסולק בבושת פנים מהרווארד אחרי שמחקרים רבים שלו זויפו, בעיקר כאלו שהתיימרו לטעון ליכולות קוגנטיביות יוצאי דופן של קופי טמרין, כולל זה שהם יכולים לזהות עצמם במראה (הקידודים של התנהגות הקופים זויפו על ידו, למרות מחאות של סטודנטים ועמיתים שיתן לשופט בלתי תלוי לקדד אותם). אחד המקרים השלומיאליים ביותר של זיוף נעשה על ידי הפיסיקאי ז’אן הנדריק שון שבשלושה מקרים שונים פשוט פרסם מאמרים עם אותו הגרף, למרות שמדובר היה בניסויים בתנאים שונים מאוד.

ישנן סיבות שונות שמובילות חוקרים לזייף נתונים, ובראש ובראשונה הלחץ הגדול של לפרסם  הרבה, ואם אפשר בכתבי עת מכובדים, כל זה על מנת להתקדם בסולם האקדמי. הלחץ לפרסם באקדמיה הוא בלתי נסבל ומוכרת האמרה של Publish or Perish. זיופים נעשים קלים יותר כשלחוקר מסוים יש שליטה מוחלטת על הנתונים בלי שום יכולת ממשית לפקח עליהם כמו במקרה של סטייפל. בתחומים מסוימים, קשה יותר לזייף תוצאות כי הן מוחשיות יותר. למשל, מחקרים רבים במדעי הטבע ניתנים לצפייה ישירה, בין עם זה תחת מיקרוסקופ במעבדה או תוצר של ראקציה כימית. אבל בתחומים אחרים כמו פסיכולוגיה, חוקרים אוספים נתונים על אנשים שצריכים לעבור קידוד לקובץ ממוחשב. אם מישהו ממלא שאלון אין לנו שום אפשרות לדעת מה התשובות שלו עד שהן מקודדות (כמובן שאם מודדים התנהגות בפועל זה שונה), וכמובן שצריך מספר נבדקים רב כדי לקבל תוצאות בעלות משמעות. במקרים רבים, רק לחוקר הראשי יש גישה מלאה לכל הנתונים שנאספו ואז קל יותר לזייפם. אין בעייה לשנות מספרים במסד הנתונים או בתוכנה הסטטיסטית שיתאימו להשערות החוקר או מה שהוא היה רוצה שיהיה נכון, ואף אחד לא יכול עקרונית לדעת ששינויים כאלו אכן התרחשו. כך נעשה בחלק ניכר מהזיופים של סטייפל ושל אחרים.

אמצעי הבקרה על זיופים אינם מושלמים ומצביעים על בעייתיות בשיטה המדעית. ישנה כמובן ביקורת עמיתים שהיא כלי חשוב בהערכת מחקרים. שיפוט עמיתים משמעו שכל מאמר שמתפרסם בכתב עת מדעי נקרא על ידי עמיתים מאותו התחום שבודקים את המאמר מכל צדדיו. זה כולל הערכה של התאוריה המוצעת, האם השערות המחקר הגיוניות ונובעות מהתאוריה, באלו שיטות השתמשו לאיסוף נתונים, כולל אמצעי בקרה שונים, האם התוצאות המדווחות תואמות את ההשערות, האם הניתוחים הסטטיסטיים נכונים ומדווחים כהלכה, האם המסקנות הגיוניות, או כל היבט אחר שהשופטים רוצים להתייחס אליו. אלו כמובן דברים חשובים שיש לתת עליהם את הדעת והם משפרים בצורה משמעותית את איכות המאמרים המפורסמים, אבל הם עדיין לא מכסים על פערים שתלויים בחוקר בלבד ושלשופטים אין גישה ישירה אליהם.

לשופטים אין גישה לנתונים הגולמיים שעליהם מבוססות התוצאות שמפורסמות במאמר. רוב החוקרים לא מעוניינים לחשוף את הנתונים הגולמיים ואחת ההצעות שנועדו לתקן את הנושא היא לחייב אותם לעשות כן כך שחוקרים אחרים יוכלו לפחות לשחזר את הניתוחים הסטטיסטיים שמדווחים במאמר ולבדוק אם הם נכונים. זה אמנם לא יפתור את הבעייה של זיוף נתונים אבל כן יפתור את הבעייה של ניתוחים סטטיסטיים שגויים. די מדהים לגלות כמה נפוצים פירסומים של ניתוחים סטטיסטיים שגויים. במאמר שפורסם לא מזמן נבדקו 281 מאמרים שפורסמו בכתבי עת מרכזיים בפסיכולוגיה. בחצי מהמאמרים התגלתה לפחות טעות סטטיסטית אחת, ו-15% מהם כללו טעות ששינתה את מסקנות המחקר, כמעט תמיד בכיוון ההפוך למה שהחוקרים היו מעוניינים שהם יהיו. ואלו נתונים רק לגבי ממצאים של מחקרים שפורסמו. מה קורה בשלבים שנעשים בחדרי חדרים ורוב האנשים לא מודעים אליהם? סקר שנעשה בשנה שעברה בקרב 2000 פסיכולוגים אמריקאיים מצא ש-70% מהם עיגלו פינות בפירסום מאמרים על פי הודאתם. שליש מהנשאלים הודו שהם דיווחו על תוצאות לא צפויות שקיבלו כאילו נבעו מהשערת המחקר המקורית ככאלו שהם שיערו שיתקבלו מראש. אחוז אחד הודה שהוא זייף נתונים בצורה ישירה. סביר שכל המספרים הללו גבוהים עוד יותר.

בעיוה אחת מרכזית בעולם המדעי המודרני קשורה לכמות העצומה של הנתונים שיש בכל מחקר. חוקרים אוספים מידע על משתנים רבים ככל האפשר, לא כולם קשורים ישירות לשאלת המחקר שלהם. ככל שיש יותר משתנים כך יש סיכוי גבוה יותר לקבל תוצאות מובהקות סטטיסטיות שנראות כמשמעותיות למרות שהם התקבלו בצורה אקראית. בהרבה מאוד מחקרים הסטנדרט הוא להשתמש ברמת מובהקות של 5%. המשמעות הסטטיסטית של המספר הזה היא הסיכוי לקבל את תוצאות המחקר שלנו בצורה אקראית בהנתן שהממוצע הוא מספר מסוים ידוע. 5% משמעו שאחד מכל 20 ניתוחים סטטיסטיים יתן ממצא מובהק במקרה. אם עורכים עשרות ניתוחים סטטיסטיים אז חזקה עלינו שחלק מהם יהיו מובהקים במקרה גם כשאין באמת שום אפקט משמעותי. חוקרים ייטו לדווח רק על הממצאים החיוביים (וכתבי העת מעודדים את זה) כך שישנה הטייה בוטה לכיוון פירסום ממצאים חיוביים בלי דיווח של כל הניתוחים השליליים שלא הניבו שום ממצא מובהק. זה יכול להתרחש במחקר של חוקר בודד שמבצע הרבה ניתוחים סטטיסטיים או בקרב הרבה חוקרים שבכלל לא מודעים על קיומם של מחקרים דומים. תחשבו למשל שיש 20 חוקרים שמנסים למצוא קשר בין אכילת שוקולד ודחף מיני מוגבר. 19 מתוך אותם חוקרים לא קיבלו שום תוצאות חיוביות כי אכן אין קשר כזה, אבל חוקר אחד קיבל תוצאות חיוביות במקרה. החוקר יפרסם את המאמר בדבר הקשר בין שוקולד ודחף מיני ויזכה לכותרות סנסנציוניות בעיתון, בעוד החוקרים האחרים לא יטרחו בכלל לנסות לפרסם את תוצאות המחקרים שלהם כי אין כאן שום דבר מעניין לדווח (וגם כי כתבי העת יסרבו לפרסם שאין קשר בין המשתנים כי זה דבר טריוויאלי). במקרה כזה תווצר הטייה לחשוב שיש קשר בין שוקולד לדחף מיני כי עובדה, יש מאמר שמראה את זה. אף אחד לא יהיה מודע בכלל לעובדה שיש מחקרים אחרים שלא מצאו את האפקט והמאמר שפורסם הוא היחיד שכן הראה תוצאה חיובית. התופעה הזה נקרית אפקט המגירה (File-Drawer Effect), בגלל שחוקרים משאירים את המחקרים שלהם במגירה ועין אדם לא שוזפת אותם, וזה יוצר מה שנקרא הטיית הפירסום (Publication bias), הטייה הגורמת לנו לחשוב שיש אפקטים מסוימים שקיימים כשהם בפועל לא באמת קיימים (וגם שהאפקטים חזקים יותר ממה שהם באמת).

דרך אחת להתגבר על הבעייה הזו היא לפרסם תוצאות שליליות שלא הניבו דבר ויש אפילו כתב עת שמוקדש רק לזה. יש גם כתבי עת שמפרסמים את כל התוצאות, בלי קשר לאם הן חיוביות או שליליות וזה צעד חיובי בכיוון הנכון. NIH, ארגון הבריאות האמריקאי מחייב לפרסם את התוצאות של כל מחקר קליני במימונו כך שיש מאגר מידע של מחקרים על תרופות שנכשלו. אבל באופן כללי הבעייה עדיין קיימת בצורה רחבה. דרך שנייה להתגבר על הבעייה היא שחוקרים יצרו מאגר מידע שבו הם יפרסמו את הכוונות שלהם לערוך מחקר, מה הם בדיוק מתכוונים לחקור ואיך, כולל השערות ספציפיות שהם מתכוונים לבדוק. כך ניתן יהיה לדעת לפחות שנעשו מחקרים בנושא מסוים גם אם התוצאות שלו לא התפרסמו בפועל. השיטה הזו טובה גם על מנת להתגבר על ההטייה של פירסום תוצאות חיוביות שהתקבלו מניתוחים סטטיסטיים רבים מדי או שנמצאו מעניינות גם אם הן סותרות את הכוונות הראשוניות של החוקרים. אם כל חוקר יצהיר מראש מה השערות המחקר, איך הוא מתכוון לבדוק אותן ובעזרת אלו ניתוחים סטטיסטיים. יהיה לו קשה יותר לתמרן את התוצאות או הניתוחים סטטיסטיים כך שיראו תוצאות טובות יותר מכפי שהן באמת רק בגלל בחירה שונה של ניתוחים. זה יתרום להגינות מחקרית ויאפשר בקרה על חוקרים. כמובן, אין זה אומר שצריך להתעלם מממצאים מעניינים גם אם הם סותרים את השערת המחקר המקורית. לפעמים הדברים הכי מעניינים וחשובים מתגלים במקרה.

בעייה כאובה ומהותית נוספת היא חוסר השיחזורים של מחקרים מדעיים. כשחוקר מסוים מגלה דבר מה חדש, יש מוטיבציה נמוכה למדי לחוקרים אחרים לשחזר את המחקר במלואו. אם אותו חוקר יקבל ממצאים זהים בשיחזור, אף כתב עת לא ירצה לפרסם את המחקר כי זה כבר לא יחשב כממצא מעניין במיוחד. אלא אם מדובר בנושא מאוד חשוב כמו תרופה חדשה, או נושא שנוי במחלוקת כמו הקשר בין אינטליגנציה לגזע, המוטיבציה של כתבי עת לפרסם שיחזורים נמוכה למדי ולכן רוב מוחלט של המחקרים לא עוברים שיחזור. למה שחוקר ישקיע ממיטב זמנו לשחזר מחקרים של מישהו אחר כשהתועלת לכך מבחינתו קטנה?

הבעייה חמורה הרבה יותר ונוגעת לפירסום תוצאות שליליות. אם חוקר מנסה לשחזר מחקר שגילה אפקט מסוים וערך שיחזור מדויק של המחקר המקורי, גם אז הוא יתקשה מאוד לפרסם את התוצאות של המחקר שלו. מקרה מאוד מפורסם שקרה לאחרונה ממחיש את הנושא בצורה מצוינת. כתב העת Journal of Personality and Social Psychology, כתב העת החשוב ביותר בפסיכולוגיה חברתית ואחד מכתבי העת החשובים ביותר בפסיכולוגיה בכלל, פרסם מאמר שנוי במחלוקת של הפסיכולוג דאריל בם. בם ידוע בזה שהוא במשך שנים מנסה להראות שתפיסה על חושית קיימת, ניסיונות שבעיקר הניבו תוצאות שליליות שאף כתב עת רציני לא פירסם, אבל הכל השתנה עם המחקר הנוכחי. על פי הממצאים המדווחים במאמר, אנשים הצליחו לצפות תוצאות עתידיות של מאורעות מסוימים לפני שהם התרחשו.

המחקר הזה מדגים כמעט את כל הבעיות המהותיות שיש לפירסום ממצאים שנויים במחלוקת שהזכרתי עד עכשיו בפוסט. תוצאות המחקר הראו שהיו הבדלים סטטיסטיים גבוליים ביכולת הניבוי של אנשים ושאנשים הצליחו לצפות את העתיד באחוז שהוא קצת יותר גבוה מניחוש אקראי. האם יש כאן מקרה של ניסיונות חוזרים ונשנים לערוך את הניסוי ורק זה שבמקרה השיג תוצאות מובהקות מדווח? קשה לדעת ובם מסרב לחלוק עם חוקרים אחרים את הנתונים הגולמיים. יותר מכך, המחקר שלו ספג ביקורות קשות על השיטות הסטטיסטיות הנהוגות בו (למשל, שימוש במבחנים חד זנביים במקום דו זנביים כמקובל) ומי שמעוניין להתעמק בנושא מוזמן לקרוא כאן. מה שיותר מהותי לכל העניין הוא חוסר הרצון של כתב העת שבו פורסם המאמר, או כתבי עת מרכזיים אחרים בפסיכולוגיה, לפרסם שיחזורים של הניסויים שלא הצליחו להגיע לאותן תוצאות. ריצ’ארד וייזמן, הפסיכולוג והקוסם הידוע, הקים אתר שבו הוא הזמין חוקרים לשחזר את הניסויים. עד עתה התקבלו כמה ניסויים כאלו שלא הצליחו לשחזר את המחקר הנוכחי אבל כרגע אף כתב עת פסיכולוגי לא מעוניין לפרסם אותם.

נושא השיחזורים בעייתי כנראה במיוחד במדעי החברה. גם אם מעוניינים לערוך שיחזור ויש מי שיפרסם אותו, עדיין השיחזורים לא תמיד מדויקים בגלל הסובייקטיביות של המחקרים עצמם. במחקרים במדעי הטבע כמו בפיסיקה, כימיה וביולוגיה, הפרוטוקולים שבהם נערכים ניסויים מדויקים מאוד וניתנים לשיחזור של אחד לאחד על ידי חוקרים אחרים במקרים רבים. בפסיכולוגיה, המצב מסובך הרבה יותר. לכל מושג פסיכולוגי ישנן הגדרות שונות שלעיתים סותרות אחת את השנייה שמקשות על שיחזורים מדויקים. למשל, אינטליגנציה נמדדת בצורות שונות, ולמרות שיש מדידות מקובלות יותר מאחרות כמו מבחן וקסלר הידוע, עדיין יש כר נרחב להבדלים. יתרה מזאת, בעוד מחקרים במדעים מדויקים נעשים על חומרים זהים בחלק גדול מהמקרים, בני אדם אינם זהים לגמרי. גם אם חוקרים משתמשים בדיוק באותן פרוצדורות, העובדה שמחקר אחד נעשה בתל אביב והשני באוניברסיטה באיווה הופכת את ההשוואה למסובכת יותר. אפילו מחקרים שנעשים על אותן אוכלוסיות, כולל אפילו אותם בני אדם, לא תמיד מניבים תוצאות זהות לגמרי בגלל שאנשים שעוברים אותו ניסוי פעמיים יכולים להיות בעלי מוטיבציה שונה בזמנים שונים, או שמצב רוחם משתנה, או שיש גורמים מצביים אחרים שמשפיעים על הביצוע שלהם (החדר קר או חם מדי). גם העובדה שהם נחשפים לאותן שאלות או פרוצדורות פעמיים לא ממש עוזרת. זה אומר שתמיד אפשר לפרש את הנתונים בצורה קצת יותר גמישה במדעי החברה וזו בעייה שמציבה אתגר לא פשוט לעוסקים בתחום (אבל גם הופכת אותו למעניינת יותר).

מהדברים שכתבתי כאן יכול להשתמע שהמצב ממש רע וזו לא הכוונה שלי. יש הרבה מאוד מחקרים טובים, רק שצריך תמיד להתייחס אליהם בזהירות. המטרה של הפוסט היא להצביע על חלק מהבעיות שיש בעשייה המדעית שנובעות בעיקר מזה שהיא נעשית על ידי בני אדם (ואם מדברים על מדעי החברה אז גם על בני אדם). חלקן קשורות למוטיבציות שיש לחוקרים להצליח ולהראות תוצאות טובות, מה שיכול להוביל לעיוות נתונים (לא תמיד בכוונת זדון), וחלק אחר מהמבעיות הן יותר מבניות וקשורות לצורה שבה המדע מתנהל בפועל. ישנן הצעות שונות שעשויות לפתור או לעזור בחלק מהמקרים ונגעתי בחלק מהם. למשל פירסום מראש של מטרות המחקר, ההשערות, הפרוטוקולים של המחקר והניתוחים הסטטיסטיים המיועדים, פירסום מלא של נתונים גולמיים, פירסום תוצאות שליליות, עידוד חוקרים לערוך שיחזורים ואולי לתת לחוקרים שעורכים שיחזורים אותה במה בפירסום הנתונים בדיוק כמו המחקרים המקוריים כדי שלא ירגישו שסתם בזבזו את זמנם. בסופו של דבר חשוב לזכור שמדע מצטבר. אף מחקר בודד כמעט לא גורם לשינוי קיצוני פרדיגמתי אלא רק הצבר של מחקרים זהים או דומים שמצביעים על מסקנה משותפת גורמים לחוקרים שונים לקבל אותה. רוב המדענים עושים את עבודתם נאמנה ולא מזייפים נתונים אבל כנראה שצריך יותר פיקוח, ובקרה הדוקה יותר על כל התהליך כדי למנוע מהם להכנס למצבים לא נעימים (במודע או שלא במתכוון).

Both comments and trackbacks are currently closed.

תגובות

  • Yoav Rubin  On 05/11/2011 at 1:55 am

    רק דבר קטן – גם במדעי הטבע ומדעים מדוייקים הרבה פעמים מאוד קשה לשחזר ניסויים. לפעמים מערכי הניסוי, הטכנולוגיות והשיטות הן כל כך מורכבות, כך שניתן למעשה לשחזר את הניסוי רק במעבדה בה הוא נערך לראשונה. קח לדוגמה ניסויים שיתבצעו / מבוצעים במאיץ החלקיקים ב- CERN , ניסויים כאלו לא יכולים להתרחש בשום מקום אחר…

    • גיל  On 05/11/2011 at 2:24 am

      כן, אתה צודק, צריך ציוד זהה. לפחות בפונטציה זה הרבה יותר אפשרי.

  • פנינה כץ  On 05/11/2011 at 2:00 am

    גם במחיר של הרבה פרסומים לא מדוייקים שווה לקרוא את המחקר המדויק האחד שעליו טרחו באופן אותנטי. יש להניח שתמיד זה היה כך ובכל זאת עשינו כברת דרך מדהימה. פוסט זה פוקח את העיניים להיות עם ביגקורת גבוהה יותר כשקוראים מחקרים ובוודאי להצליב מעוד כמה מקורות.
    אהבתי מאוד גיל.

    • גיל  On 05/11/2011 at 2:25 am

      בוודאי, תמיד טוב לקרוא על כל המחקרים הרלוונטיים וכמה שיותר מחקרים יותר טוב. פשוט צריך לדעת לשים אותם בהקשר הנכון וכשיש מחקרים או דברים שנסתרים אז זה קשה הרבה יותר.

  • ברק  On 05/11/2011 at 2:56 am

    לפעמים טוב להיות מתמטיקאי…

    בכל מקרה, אונ' שמכבדות את עצמן צריכות לדורש מהחוקרים לפרסם באתרי האינטרנט שלהם כל מה שקורה בין אם זה מאשש את ההנחות שלהם, לא תומך או סותר.

    מישהו כמובן צריך לעשות מחקר "האם פסיכולוגיה זה מדע…." (הלצה, לא לקחת ברצינות)

    • גיל  On 05/11/2011 at 8:45 am

      כן, טוב להיות מתמטיקאי. האמת היא שיש בעיות עם פירסום כל מה שיש לך אבל ללא ספק צריכה להיות יותר שקיפות.

  • דני מר"ג  On 05/11/2011 at 3:57 am

    מעניין

  • רני  On 05/11/2011 at 5:20 am

    כמי שעוסק במדע ומפרסם. אין קו מבדיל מובהק בין "בסדר לבין לא בסדר". קיים ספקטרום שבקצהו מחשבה ויזמה כמו פלילית הגוררת רמאות מובהקת והמצאת נתונים ובתחילתו רשלנות, שרלטנות, חוסר הבנה, יומרנות, יומרה עד כדי חוצפה, עבודה בעיניים. היכן הקו המבדיל בין לבין קשה מאוד לדעת ולסמן וקשה להכליל ולנסח חוקים קשוחים. מניסיוני בישראל יש מי שמפרסמים בשטחים שבהם אין להם יכולת להבדיל גם ברפרנסים וגם בעבודתם שלהם בין "בסדר ולא בסדר". מדובר בעיקר במי שעשו תואר מתקדם במדעי הרוח נאמר ארכיאולוגיה, ספרות, אומנות, פסיכולוגיה ונכנסו למדעים כגיאולוגיה, מינרולוגיה, כימיה, גנטיקה, אבולוציה, וביוכימיה-תזונה. מצב זה קיים כמובן גם בסטיסטיקה. יש מי שמפרסם מידע משטחי עשייה "חדשים" אלו כאשר יש לו קביעות באוניברסיטה כחבר סגל ושלא עבר ולו קורס בסיסי אחד בהם. ניתן להביא שמות מחברים וכותרי ספרים ומאמרים. ברגיל כאן בארץ מי שעובד ליד אנשים אלו מודע לכך ולא עושה דבר משום שככלל בטחונם העצמי רב, יכולת השכנוע שהם עצומה, שילובם במערכת הפוליטית האוניברסיטאית והחוץ אוניברסיטאית מושלם ופגיעתם רעה.

    • גיל  On 05/11/2011 at 8:48 am

      רני, אני מסכים איתך לגמרי. רוב מוחלט של המדענים אינם רמאים ולמעשה אם לא הייתה קיימת אצלם הנטייה לפרסם רק תוצאות חיוביות אף אחד לא היה מפרסם את המחקרים שלהם בכלל. מה שאני אומר זה שהשיטה צריכה לעודד סטנדרט של פירסום שהוא יותר מאוזן ויתרום להבנה טובה יותר של הנושאים הנחקרים.

  • שאול  On 05/11/2011 at 5:36 am

    יופי. תענוג. תודה. כמה הערות:
    לגבי פרסום פרטים הנוגעים למחקר טרם פרסומו ופרסום הנתונים הגולמיים. כמדען אני מתנגד לכך בכל תוקף. הראשון מזמין גניבת רעיונות וכבר היו דברים מעולם. השני מאפשר לאחרים להינות מפירות העבודה הקשה שלי (דטה גולמי לעיתים קרובות מכיל מידע נוסף שלא נעשה בו שימוש ואולי ארצה בעתיד).
    אני לא רואה בעיה בהפיכת ממצאי "פוסט הוק" לממצאי "אפריורי" ובלבד שמקפידים על הסטטיסטיקה (השערה חד מול דו זנבית וכדומה).
    מצב בו על מחקר אחד מוצלח יש עשרות לא מדווחים שבדקו את אותו הנושא ולא מצאו דבר כפי שאתה מציין הוא נדיר מאוד לדעתי. בדרך כלל דווקא נעשות רפליקציות שאינן חזרה מדויקת על הניסוי הראשון אלא סוג של "מחקר המשך" עם חידוש שיאפשר פרסום. במידה והתוצאות המקוריות אינן חוזרות על עצמן הרי שה "נול אפקט" דווקא יתפרסם.

    • גיל  On 05/11/2011 at 9:06 am

      שאול, אני עקרונית מסכים איתך שיש בעייה עם פירסום נתונים גולמיים ואני חצוי בעניין. יש את הנושא של גניבת רעיונות כמו שאמרת, וגם שמישהו אחר ימצא משהו שלא חשבת עליו ויהנה מפירסום קל בעוד אתה טרחת על כל המחקר. יש אפשרות שגם הוא ימצא דברים שיסתרו את הדברים שאתה מצאת או שלא תסכים עם הניתוחים הסטטיסטיים שהוא עשה. גם עצם העובדה שמישהו חופר בנתונים שלך לא נעימה לפעמים. מישהו יכול לנסות לטעון שהניתוחים הסטטיסטיים שעשית לא נכונים או טובים ולערוך ניתוחים אחרים שיראו שמה שכתבת לא נכון.

      אני חושב שיש משהו קצת לא הוגן בהצגת ממצאי פוסט הוק כאילו היו דברים שחשבת עליהם מראש. זה לא הגון בעיניי אבל אנשים עושים את זה. אם קיבלת נתונים שסותרים את השערת המחקר שלך או לא תומכים בה, אנשים צריכים לדעת את זה. זה לא אומר שעשית משהו רע או שאין חשיבות לממצאים החדשים אבל צריך להיות הגון בפירסום. זה נאיבי כמובן כי רוב החוקרים לא עושים את זה. לגבי המבחן החד זנבי, אם הצהרת עליו מראש אז אני לא רואה בעייה איתו אבל הנקודה היא שאף פעם אי אפשר לדעת מי התכוון באמת לערוך מבחן כזה ומי עשה כי זה הדבר היחיד שהביא לא מובהקות סטטיסטית.

      אתה צודק שמצב שיש מחקר אחד חיובי והשאר שליליים הוא נדיר. יותר נפוץ מצב שבו יש כמה מחקרים חיוביים ואחרים שליליים אבל מכיוון שרק החיוביים מתפרסמים לרוב אז נראה שיש אפקט חזק הרבה יותר ממה שהוא באמת. כשעורכים מטא אנליזות מנסים להגיע למחקרים הללו שבמגירה אבל לא תמיד מצליחים.

      לגבי רפליקציות, אם אתה בודק משהו בצורה שונה אז לא ברור אם זו אכן רפליקציה או אולי מחקר שמגדיל את התוקף (החיצוני, של התוכן) של הנושא. למשל, אם מדדת אינטליגנציה במחקר אחד במבחן הצורות, ובמבחן שני דרך אוצר מילים, אנשים יטענו שאלו סוגי אינטליגנציה שונים ולכן זה לא באמת שיחזור של המחקר המקורי. יש לזה כמובן ערך אבל במידה והמחקר השני לא נתן תוצאות חיוביות כלשהן יהיה קשה לפרסם אותו ואז נוצרת ההטייה. רק במקרים נדירים יחסית, של נושאים במחלוקת או כאלו שהם עם השלכות חשובות יש פירסום של תוצאות שליליות כאלו. דרך אחת לעקוף את זה היא לערוך כמה מחקרים שהמחקר הראשון זהה לחלוטין ואז לערוך מחקרים נוספים שמחדשים במשהו עליו. חלק מכתבי העת מעודדים פירסום שרשרת מחקרים כזו ולמעשה אי אפשר לפרסם בהם ללא כמה מחקרים.

      • הפנר  On 05/11/2011 at 3:44 pm

        זה מקום גם לאנשים שהקשר שלהם לאקדמיה הוא- מה צריך גם לסיים את כיתה ט' בשביל להתקבל?

        1. מזה ממצאי פוסט הוק?
        2. מזה מבחן חד זנבי?

      • גיל  On 05/11/2011 at 4:38 pm

        הפנר, ממצאי פוסט הוק הכוונה שאחרי שאתה רואה תוצאות מסוימות, נניח מתאם בין שני מתאמים, אתה אומר שחשבת שזה מה שיצא למרות שלא בדיוק חשבת על זה מראש. עם כל כך הרבה משתנים במחקר תמיד יהיו ממצאים מעניינים שלא חשבת שהם קיימים והרבה פעם לא מדווחים עליהם ככאלו שהם לא צפויים.

        מבחן חד זנבי ודו זנבי מתייחס להשערות המחקר שלך. אם ציפית מראש שמשתנה X יהיה גדול מY אז אתה עושה מבחן חד זנבי, ואז קל יותר להגיע למובהקות סטטיסטית, קרי למצוא הבדלים בין המשתנים. מבחן דו זנבי זה כאשר אין לך השערה ספציפית מי יהיה גדול ממי אלא רק שהם יהיו שונים. במקרה כזה יותר קשה להגיע למובהקות סטטיסטית.

      • הפנר  On 05/11/2011 at 5:03 pm

        מה רע בפשוט לחשוב על הכל, ואז אני תמיד אדע להגיד- חשבתי על זה…
        כאילו, מה התועלת בלהגיד- "חשבתי על זה" לעומת- הופתעתי?

      • גיל  On 05/11/2011 at 5:09 pm

        אין דבר כזה לחשוב על הכל כשיש לך מאות משתנים. יש כל כך הרבה דרכים לנתח אותם שתמיד יכול לצוץ משהו חדש.

    • ארך אפיים  On 07/11/2011 at 2:44 am

      התגובה של רן היא די מדהימה. לחוקר יש שתי מטרות: האחת היא לקדם את המחקר בתחומו, והשניה היא לקדם את הקריירה שלו. מבחינת המחקר עדיף שכמה שיותר עיניים יראו את הנתונים הגלמיים, ואז יעלו אולי כמה פרשנויות אלטרנטיביות, ומתוך הדיון תשתפר ההבנה ותשתפר הידע. מצד שני עומד הצורך להגן על הקריירה מפני גניבת רעיונות. זאת שאלה לא פשוטה איך לאזן בין שני האינטרסים האלה. אבל הגישה שמשתקפת כאן נראית כמו העדפה בוטה ובלתי מתנצלת של הצורך השני תוך הקרבה מוחלטת של הראשון. אני לא מתכוון לצלוב כאן את רן באופן אישי, אני מניח שהגישה שלו משקפת את מה שמקובל בתחום שלו. אבל למי שמביט מהצד זה מזעזע. לא פלא שבאחוז כל כך גבוה מהמחקרים במדעי החברה המסקנות לא תקפות. זאת לא רק הבעיה של פרצה קוראת לגנב, אלה גם שאפילו על טעות בתום לב אין שום דרך לעלות, כי אף אחד חוץ ממך לא יכול לבחון את המתודולוגיה שלך.

      • ארך אפיים  On 07/11/2011 at 2:45 am

        סליחה, התכוונתי כמובן לתגובה של שאול.

      • גיל  On 07/11/2011 at 9:04 am

        אני חושב שהגישה שלו היא בסך הכל די מציאותית. חוקרים נקשרים ובצדק למאגרי המידע שהם מפיקים. אתה משקיע חודשים, ולפעמים שנים בהפקתם ולא רוצה שאחרים יהנו על חשבונך. אתה צריך לזכור שאתה יכול להיות האדם הכי נחמד בעולם, זה שחושב שטובת המדע היא מעל הכל, אבל מה לעשות שהרבה אחרים הם לא כאלו? החשש שלי הוא שברגע שכל מאגרי המידע יהיו גלויים יווצרו שני סוגים של חוקרים, אלו שעובדים קשה על הפקת המידע ואלו שלא עושים כלום ורק מנצלים מאגרי מידע של אחרים. איזה תמריץ יהיה לחוקרים לאסוף נתונים אם הם לא יוכלו להינות בלבדית מכך? אולי אפשר לתת לחוקרים תקופה של כמה שנים למצות כל מה שהם רוצים ממאגר המידע שברשותם ורק אז להפוך אותו לגלוי.

        בנוסף, זה גם יכול להוביל למלחמות מכוערות על פרוש הנתונים. אם אני חושב שפרוצדורה סטטיסטית מסוימת היא הנכונה, ומישהו אחר יעשה אחרת ויגיע למסקנה שונה, איך נפשר ביניהם? כמובן שתאורטית עדיף שיהיו כמה שיותר עיניים ששוזפות את המאגר אבל זה לא כל כך פשוט. בהנחה שרוב החוקרים לא מזייפים את הנתונים, יש לפחות בקרה וביקורת על הניתוחים שהם עושים כי את אלו הם חייבים לפרט במאמר והרבה פעמים מבקשים ניתוחים נוספים.

      • ארך אפיים  On 07/11/2011 at 1:47 pm

        כל פרסום יכול להניב דעות נוגדות. אם אנחנו קוראים לדיון מדעי על פירוש של תוצאות "ויכוחים מכוערים", אז אפשר לסגור את הבסטה המדעית וללכת הביתה.

        חוץ מזה שהוספת שקיפות עובדת לשני הכיוונים. אם מישהו עובר על הנתונים שלך ומוצא משהו שאתה לא מצאת הרי שהוא עומד על כתפיך, וחלק מהקרדיט על המסקנות שלו הולך אליך. ואם אחרי דיון אתה מסכים שהניתוח שלו יותר טוב משלך, אז תפרסם איתו מאמר משותף שמסביר את זה, ואין בזה שום פחיתות כבוד. להיפך, ככה המדע מתקדם (או צריך להתקדם), והקולגות יכבדו אותך על זה. קצת פחות אגו בטווח הקצר יכול לשפר את מצב האגו בטווח הארוך 🙂

        אנשים מסתירים את הנתונים כי הם חוששים, וכי המערכת מאפשרת את זה. אם כתבי העת יודיעו שהם לא מקבלים מאמרים שמבוססים על מידע שאיננו פתוח לציבור, אז אנשים יביאו את זה בחשבון בהחלטה מתי לפרסם. זה לא שונה מהשיקול שאתה עושה לגבי כל תוצאה של מחקר שאתה עורך.

        אף אחד לא חייב להכנס לויכוח אינסופי. אם הדיון הוא מועיל ומקדם את הבנת הנתונים, אז כדאי להשתתף בו. אם לא, אז תשאיר את זה כמו שזה – אתה חושב ככה והיא חושבת אחרת, ושהקהילה תחליט. מי שמתנצח לשם ההתנצחות מהר מאד יוציא לעצמו שם רע של מישהו שמבזבז את הזמן של כולם, וסביר להניח שעם הזמן הוא ילמד להתמתן.

        ולענין האמוציות והשיקולים האנוכיים, אתה בוודאי צודק. אבל זה תפקידה של הקהילה כקהילה, לבנות כללים שמפחיתים את הנזק ככל הניתן. וכללים נכונים מתגמלים את האינטרס האנוכי של אלה שפועלים לטובת הציבור.

      • גיל  On 07/11/2011 at 2:16 pm

        נכון, כל פירסום יכול להביא לדיעות מנוגדות אבל לפחות ברוב המקרים יש הסכמה על התוצאות הבסיסיות, גם אם לא על הפרשנות שלהן. אני חושב שחשיפה בלתי ביקורתית של מאגרי המידע יכולים להוביל למלחמות אינסופיות על כל היבט של הנתונים שתסיח את הדעת מהתמונה הגדולה.

        המקרה שאתה מציין של שיתוף פעולה אכן הוא התסריט הטוב ביותר, אבל מה קורה אם יש חילוקי דיעות קשים על הצורה שצריך לנתח את הנתונים? האם כל אחד יוכל לנתח אותם ולפרסם אותם בצורה עצמאית? מה שאני אומר זה שהעובדה שמדע נעשה על ידי בני אדם יכולה להוביל לכל מיני תוצאות לא רצויות גם אם הרעיון בבסיסו נכון. אני לא חושב שאנשים חוששים בגלל שהם משקרים או מזייפים אלא שהם פשוט מעדיפים שלהם תהיה שליטה גדולה יותר על הנתונים שהם הפיקו. זו דרישה די לגיטימית בעיניי בסך הכל גם אם היא לא תמיד פועלת לטובת המדע. אם יהיו כללי אתיקה של מותר ואסור אז זה יקל על חוקרים לחלוק את המידע הזה.

        אגב, נדמה לי שבכתבי עת מובילים כמו סיינס אתה כן מחויב לחשוף את הנתונים והם מופיעים בתור נספח ברשת. גם בכמה כתבי עת ביולוגיים אני יודע שמאגרי המידע חשופים לכל.

        בפועל אגב, אני חושב שזה לא ממש משנה. רוב הנתונים לא יזכו לניתוח מחודש אלא רק כאלו שהם בנושאים שנויים במחלוקת. במקרים כאלו הרבה פעמים הנתונים הגולמיים כן נחשפים. לאנשים פשוט אין עניין גדול מדי בלבחון כל מאגר מידע של כל מחקר זניח.

      • ארך אפיים  On 07/11/2011 at 2:51 pm

        טוב, באיזשהו שלב צריך להפסיק לפני שזה נהיה דיון אינסופי 🙂 אבל אני חושב שדווקא יש אנשים שיבדקו תוצאות שאין עליהם מחלוקת. קוראים להם סטודנטים לתארים גבוהים, והאל הטוב ברא אותם לצורך הזה (טוב, לא רק לצורך הזה 🙂 ). זה יכול להיות תרגיל מצוין לסמינר, לקחת מאמר, לנתח אותו ולהציג תחקיר/תקציר למורה ולכתה, כולל הערות מתודולוגיות, ואם נמצאה טעות משמעותית, אז הנה מאמר שהסטודנט והמורה (והמחבר המקורי) יכולים לפרסם במשותף. הסטודנט יצא נשכר, המחקר יצא נשכר, ואם תשאל אותי גם החוקר המקורי יצא נשכר.

        כשהייתי מתרגל בטכניון לפני הרבה שנים, תלמיד מצא טעות במאמר חשוב, וכל הכתה הסתערה על זה. ההוכחה הסתמכה על משפט במאמר אחר, וגם לזה הם מצאו דוגמא נגדית, וככה הם המשיכו לחפש אחורה עד שהם מצאו את הטעות המקורית. זה לא היה מהותי מספיק להצדיק פרסום, אבל הכותב, מחשובי החוקרים בתחום, הודה לנו ופרסם תיקון, ולא נפלה שערה משערות ראשו של איש. היה תרגיל מרתק ומספק לכל הנוגעים בדבר.

      • גיל  On 07/11/2011 at 3:04 pm

        כן, זה אכן יכול להיות תרגיל טוב, אבל אתה שוכח שכבר היום יש לא מעט מאגרי מידע גלויים שאפשר לערוך עליהם המון ניתוחים סטטיסטיים וזה מה שעושים (שגם מניבים פירסומים מצד חוקרים שלא אספו את המידע). כמו שציינתי ואתה בעצמך ראית, אפשר למצוא טעויות סטטיסטיות רבות במאמרים גם בלי גישה ישירה לנתונים הגולמיים, וזה משהו חשוב ללמד סטודנטים.

  • הפנר  On 05/11/2011 at 3:39 pm

    סוף סוף… כל התגובות שלי מדברות על זה שהמחקרים שציטטת בעבר לא עומדים בפני עצמם.
    לפעמים דיברתי על חוסר מובהקות סטטיסטית, לפעמים על הסברים אלטרנטיביים לתופעות שנמצאו, לפעמים על השפעות זרות שלא נוטרלו, ולפעמים, סתם אינטואיטיבית היה נראה לי המחקר שצוטט תמוה מבלי שיכולתי לשים את האצבע על הסיבה לכך.
    מסתבר, שאני לא כזה עוף מוזר. :-).

  • ארן  On 05/11/2011 at 7:18 pm

    או המקרה שלחוקר יש גישה אידאולוגית מסויימת שגורמת לפברק נתונים

    bellesiles
    http://en.wikipedia.org/wiki/Michael_A._Bellesiles

    הוא הוציא ספר שטען שהיו הרבה פחות רובים בספר האמריקאי מכפי שמניחים. הוא ביסס את המחקר שלו על נתונים מצוואות (כמה צוואות כללו כלי נשק מתוך כלל הצוואות). מטבע הדברים בגלל הנושא של התיקון השני לחוקה האמריקאית מחד, והגישה של ליברלים נגד נשיאת נשק (ואחוז יותר גבוה של ליברלים באוניברסיטה כולל בלייל עצמו שהיה לו מכון מחקר נגד אלימות)

    חובב היסטורה וכלי נשק התחיל לפרק את המחקר שלו. וכשדרשו מבלייל את הנתונים הגולמיים שלו הוא טען שהמחברות שלו נהרסו בשיטפון שהיה במשרד שלו. בסופו של דבר פרס שהספר קבל בוטל, ההוצאה התנערה מהספר ובלייל התפטר מהמשרה שלו.

    • גיל  On 05/11/2011 at 8:22 pm

      לא שמעתי על המקרה הזה, אכן מעניין.

      • ארן  On 05/11/2011 at 9:12 pm

        אם מקרים כאלה מעניינים אותך אז הספר הזה עשוי לענין אותך

        Hoffer, Peter Charles. Past Imperfect: Facts, Fictions, Fraud — American History from Bancroft and Parkman to Ambrose, Bellesiles, Ellis, and Goodwin. New York: PublicAffairs, 2007.

      • גיל  On 06/11/2011 at 12:13 am

        אם כבר הזכרת, יש ספר שנקרא Betrayers of the truth שעוסק במדענים שזייפו תוצאות. הוא קצת ישן ולא כולל את הזיופים האחרונים אבל די מעניין.

  • מיכל  On 06/11/2011 at 1:26 am

    גיל יקר. הפוסט שלך עורר בי הרהורים לגבי עובדת היות הדוקטורט של מרטין לותר קינג – פלגיאט.

    • גיל  On 06/11/2011 at 9:37 am

      מיכל, זו עובדה ידועה ומוסכמת בקרב החוקרים, רק שהיא מוצנעת מאוד בכל הסיפורים עליו. אני חושב שזה די מצער. האישיות הבעייתית שלו (הוא נהג גם לבגוד באישתו על בסיס קבוע) לא בהכרח מקטינות את מה שעשה אבל חשוב שיספרו גם את הצד הזה בסיפור שלו.

      • מיכל  On 14/11/2011 at 4:30 am

        אבל זאת בדיוק הנקודה. אפשר להתווכח אם צריך או לא צריך לספר צד "זה" בסיפורו. אבל העובדה נחשפה שנים אחרי מותו רק בגלל העניין הרב שעורר באנשים.

      • גיל  On 14/11/2011 at 8:17 am

        נכון, הרבה פעמים דברים שקשורים לאנשים מפורסמים מתגלים מאוחר. במקרה שלו, מכיוון שלא היה מדובר בפירסום חשוב במיוחד למיטב הבנתי, וכיוון שבסופו של דבר הוא לא היה אקדמאי אז הנזק לאקדמיה היה קטן.

  • SilentMike  On 06/11/2011 at 2:51 am

    מאמר יסודי ומרשים. גם אני כתבתי על הנושא בשנה שעברה, אם כי לא בצורה כזו מקיפה.

    http://www.tapuz.co.il/blog/net/ViewEntry.aspx?EntryId=1649534

    • גיל  On 06/11/2011 at 9:37 am

      תודה, מייק, קראתי בזמנו את הפוסט שלך.

  • me  On 06/11/2011 at 7:28 am

    ולפעמים… יש גם כוחות פוליטיים/כלכליים, שלא אוהבים את תוצאות המחקר, ולכן מפעילים לחץ חזק (וחזק מאד) על החוקר, להתוודות על "זיוף" – גם כשלא היה באמת זיוף…

    • גיל  On 06/11/2011 at 9:38 am

      זה נכון. לא התייחסתי לזה במאמר הזה אבל תמיד חשוב לראות מי מממן את המחקרים. זה נוגע יותר למחקרים על תרופות או מחקרי בריאות שבחלקם ממומנים על ידי חברות התרופות אבל הם מוטים. אגב, הם לא מזויפים בהכרח (או אפילו ברוב מוחלט של המקרים) אבל התוצאות מוצגות ככה שיתאימו לאג'נדה של חברות התרופות.

  • אהרן  On 06/11/2011 at 3:48 pm

    מעניין עד כמה הסקרים והמחקרים בדקו את אמינות המחקרים בפסיכולוגיה – היו אמינים בעצמם…

    • גיל  On 06/11/2011 at 5:42 pm

      כן, אה? האמת היא שסביר שהמספר גבוה כמו שכתבתי בגלל שחוקרים לא ירצו להודות שזה מה שהם עושים.

  • SilentMike  On 07/11/2011 at 9:13 am

    אני חייב להגיד שאני לא מסכים איתך ביחס למידע גיל. מילא לשבת על הדאטה עד שאתה מפרסם מאמר או שניים. את זה אני מבין. אבל להמשיך לשבת עליו לנצח רק כדי שמישהו עם ראש טוב לא יוציא ממנו גם משהו בלי לעבוד שנתיים בשביל דאטה חדש זה קטנוני. וכמו שאפשר להסכים זה גם מזמין רמאויות. הדאטה שלך נותן לך אולי זכות ראשונים אבל לא זכות נצח. שיתוף זה חלק מהאתוס של המדע, והוא חיוני לאמינותו וליעילותו. ואם יש משהו בדאטה שאתה לא מצליח למצוא ומישהו אחר כן מצליח אז זה מצוין והעין לא צריכה להיות צרה. גם אם יהיו אנשים שיבנו קריירה על למצוא דברים שאחרים פיספסו ולתקן ניתוחים סטטיסטיים שגויים אין בכך פסול. גם אנשים כאלה תורמים במעשיהם לפרוייקט המדעי.

    • גיל  On 07/11/2011 at 9:47 am

      אני לא אומר שאני מסכים עם זה אבל אני יכול להבין מאיפה זה מגיע. זה באמת חשוד עם מישהו לא חולק את הדאטה שלו עם אף אחד אחר אבל שים לב שיש דרכים שונות לחלוק את הדאטה. למשל, אם חוקר אחר מעוניין להסתכל על הנתונים אז אין לי בעייה לחלוק איתו אותם, אבל כן תהיה לי בעייה לפרסם אותם בצורה פומבית. זה לא שהנתונים לא נחלקים בכלל עם עמיתים שלך אלא שתפוצה המונית קצת בעייתית. יכול להיות שאם היה חוק בנושא וכולם היו חייבים לפרסם אותם אז היה קל יותר לחוקרים לחלוק את המידע הזה, אחרת הם יכולים להרגיש פריירים שהם חולקים ואחרים לא.

      מה שאתה אומר בסוף עקרונית נכון, אבל מהכרה של מקרים דומים המציאות הרבה יותר מסובכת. כשיש אנשים שכל מה שהם רוצים זה להפריך את הממצאים שלך ויעשו שימוש בכל מיני ניתוחים סטטיסטיים שאתה לא חושב שהם נכונים, איך בדיוק תגן על עצמך? גם אם אתה 100% צודק, להכנס לויכוח אינסופי על מהות הניתוחים והפירוש של הנתונים יכול לגזול יותר מדי זמן. אני חושב שצריך לחלוק נתונים אבל גם צריך להגן על החוקרים שהנתונים שלהם ינותחו בהגינות. אין לי מושג איך זה אפשרי כרגע.

      • SilentMike  On 07/11/2011 at 10:05 am

        לפרסם לכולם זה אפשרי אבל לא נחוץ. מספיק לספק את המידע למי שרוצים אותו.

        בקשר לזה שיכולו להשתמש במידע שלך נגדך. יוכלו. אבל זה המשחק ואלה החוקים שלו. מותר לאחרים לנסות להפריך את טענותיך. ומי שרוצה שהתוצאות שלו יחזיקו כדאי לו לדאוג שיהיו טובות ומבוססות.

      • גיל  On 07/11/2011 at 10:11 am

        אני לא חושב שחוקר רציני מסרב לתת את הנתונים שלו לחוקר אחר, אז זה באמת חשוד.

        נכון, ברמה העקרונית אתה צודק שהכי טוב לחלוק את המידע עם כולם ואז ניתן לאחרים לשפוט מי צודק אם יש ויכוח. אבל הבעייה היא שמעורבים בזה גם הרבה אמוציות ושיקולים אנוכיים של חוקרים, ולא תמיד מה שנכון מבחינה מדעית שווה ערך למה שטוב לתועלת החוקר. אולי זה עצוב, אבל זה מה שקורה.

  • אפרת  On 07/11/2011 at 1:40 pm

    אם מישהו מתבסס על הנתונים שלך, הוא לא חייב לצטט אותך? וזה לא מוסיף משקל לפרסום אם מצטטים אותו? נראה לי שזה תשלום הוגן..

  • גיל  On 07/11/2011 at 1:45 pm

    הוא בהחלט חייב לצטט, אבל זה נכון לגבי כל מחקר שמתבסס על משהו שאני כותב. זה רווח קטן מאוד בסך הכל למרות שכל ציטוט חשוב.

    • ארך אפיים  On 07/11/2011 at 3:01 pm

      אז אפשר לשנות את מנגנון ההערכה של חוקרים. בין שני המדדים הקיימים (מספר פרסומים ומספר ציטוטים) אפשר להוסיף מדד שלישי, מספר הפרסומים שהשתמשו בנתונים הגולמיים שאספת, והחשיבות של המדד הזה יהיה באמצע בין פרסום לציטוט.

      ועוד משהו: בפיסיקה יש חוקרים מעשיים שעושים ניסויים, ותיאורטיקנים שכל הגותם מבוססת על ניתוח ובניית מודלים להסביר תוצאות שאחרים מדדו. אלה התמחויות שונות, ואני לא חושב שזה יזיק למדעי החברה אם תתפתח בהם אותו אותה התבנית. אבל מצד שני אני לא יודע כלום על מדעי החברה, אז אולי אני מפספס משהו. מה דעתך?

  • רשלנות רפואית בניתוח  On 15/07/2012 at 11:29 am

    אישית, אני לא מוכנה להאמין שקיימים מחקרים מדעים מזויפים אפילו לא מסיבה כלכלית. אי אפשר לקבל שהכל ב-100% מתנהל מסביב הגרוש. אני משוכנעת שעדיין ישנם אנשים הגונים ובמיוחד בקרב אנשי המדע.

    • גיל  On 15/07/2012 at 11:35 am

      תתפלאי כמה הם נפוצים. למעשה, קשה לדעת את היקף התופעה מכיוון שרק חלק קטן מהזיופים נתפס. עם זאת, כמובן שרוב החוקרים הגונים אבל כמו שכתבתי, זה קשור מאוד לפיתויים וללחץ לפרסם ממצאים חדשניים.

  • ע  On 17/07/2012 at 12:50 am

    אם הרבה לא נתפסים, זה אומר שמה? תוצאות המחקר נשמרות כהוויתן ונתפסות כאמינות לעד ?

    ומה על כל המחקרים שהביאו תוצאות שגויות? היכן ניתן למצוא אותם חוץ מבכתבי עת נדירים ?

    • גיל  On 17/07/2012 at 1:01 am

      בואי אגלה לך סוד. רוב המחקרים באקדמיה בעלי תרומה זניחה למדע ובכלל. אם מישהו מזייף תוצאות או מסיבה אחרת התוצאות שלו לא אמינות, אז למעט מאוד אנשים יהיה איכפת. לעומת זאת, אם מדובר במחקר פורץ דרך, כזה שיש לו משמעות עמוקה או בנושא שנוי במחלוקת, אז התוצאות של המחקר נבחנות בשבע עיניים וחשוב מכך, מנסים לשחזר את המחקר. כלומר, המדע עצמו מהווה מנגנון תיקון מצוין לזיופים, ואם מישהו זייף מחקר משמעותי, יעלו עליו די מהר. במחקרים אחרים יכול להיות שלא יעלו על זה אבל זה גם לא ישפיע לרעה כל כך.

  • ע  On 17/07/2012 at 12:51 am

    שגויות – כלומר לא צפויות.

Trackbacks

%d בלוגרים אהבו את זה: