שאלונים במדעי החברה

בעקבות תגובות חוזרות ונשנות לגבי תוקפם של כלי המחקר במדעי החברה, ובעיקר בעקבות הפוסט האחרון, החלטתי לעשות קצת סדר בכל הנושא של מדידת אישיות ושאלונים במדעי החברה.

הענף שעוסק במדידות פסיכולוגיות נקרא פסיכומטריקה. הוא עוסק לא רק במדידת אישיות, אלא גם במדידת עמדות, יכולות וידע באופן כללי. כל הנושא של מדידה הוא נושא מורכב מאוד שיש עליו קורסים שלמים והתמחויות בתארים מתקדמים ואני כמובן לא אוכל להתייחס לכולו. אני אשתדל להתייחס בשפה כמה שפחות טכנית למהות של השאלונים ואיך בונים אותם באופן כללי.

קודם כל חשוב להגיד דבר נורא בסיסי. רוב השאלונים שאתם נתקלים בהם במגזינים שונים אינם מדעיים. לפעמים הם איזו שהיא אדפטציה של שאלון מוכר, אבל בהרבה מקרים הם שאלונים שלא עברו את הבקרה הנדרשת משאלונים (ראו להלן). בניית שאלון תקף היא תהליך ארוך ומורכב, שדורש הרבה מחשבה והרבה זמן. אי אפשר להמציא שאלון יש מאין תוך דקות. לצערנו, יש אינפלציה של שאלונים בכל מקום ולכן חשוב לראות בכל מקרה על מה מדובר.

דבר שני שחשוב לזכור, שגם אם השאלון בנוי לתלפיות על פי כל הסטנדרטים המקובלים, הוא עדיין לא יהיה מושלם. שאלונים מנסים להסביר חלק מהשונות בין אנשים אבל אין שום שאלון בודד שיכול להסביר הכל. שאלונים גם אומרים משהו על אנשים מבחינה סטטיסטית. בהחלט יתכן שברמת האדם הבודד, השאלון יהיה שגוי לחלוטין.

עוד נקודה שראוי לזכור היא מה שאלונים לא אומרים. אפשר להשתמש בשאלונים טובים ולהסיק מהם מסקנות מרחיקות לכת שלא קשורות למה שהשאלון אמור לבדוק. יש הרבה שרלטנים שמנצלים את זה למטרות מסחריות. הרבה מכוני מיון, איבחון והשמה עושים הרבה מאוד כסף משאלונים כאלו, ובמקרים רבים מגיעים למסקנות בעייתיות בלשון המעטה (לא כל המכונים הללו שרלטנים כמובן ולא כולם מטעים בכוונה). הבעייה היא שהם עונים על צורך של אנשים וחברות שמחפשים גושפנקא מדעית להחלטות שהם לוקחים. במקום שיש צורך כזה יקום תמיד מי שיספק אותו בלי קשר אם זה אכן עובד או לא. כשאנשים צריכים לקחת אחריות על החלטות לגבי קבלה לעבודה או קידום עובדים, מאוד נוח לזרוק את ההחלטה על אחרים. אחרי זה קשה להאשים אותם שקיבלו החלטה לא נכונה כי הם הרי התבססו עליה מבחינה "מדעית". דוגמא פשוטה שתסבר את האוזן: בהרבה חברות נהוג לשלוח עובדים שעומדים בפני קידום לאיבחון שיעריך את היכולות שלו. אבל אין שום יתרון למכון מיון על היכרות אישית שיש לבוס עם העובד שהוא רוצה לקדם. אם מישהו מכיר אתכם אישית כמה שנים טובות, הסבירות שמבחן אובייקטיבי כלשהו יגלה לו משהו שהוא לא ידע קודם, קטנה מאוד.

פיתוח שאלון

השלב הראשון בפיתוח שאלון הוא שלב רעיוני. כל אחד מאיתנו רואה שבני אדם שונים זה מזה בתכונות שונות. לכל אחד יש תחושות אינטואטיביות וסובייקטיבות לגבי אנשים. אנחנו חושבים שאנשים מסוימים יותר אינטליגנטיים מאחרים, רואים שיש אנשים מופנמים יותר מאחרים, כאלה בעלי תכונות מנהיגותיות, אנשים שיש להם חוש הומור לעומת כאלו שלא וכו'. התחושות הללו לא חייבות להיות נכונות, אבל הן אלו שמניעות מדעני חברה לבחון את הנושא בצורה מעמיקה יותר.

אנשים שונים ינסו להסתכל על האישיות בדרכים שונים. כמו שהזכרתי במאמר הקודם, גישה אחת היא להסתכל על 5 תכונות שנעות על רצף מסוים (למשל, מופנמות-מוחצנות). גישה אחרת תהיה להסתכל על טמפרמנטים של אנשים. חשוב להגדיר מראש, האם אנחנו מנסים למצוא תכונות אישיותיות קבועות לאורך זמן, או שאנחנו מעוניינים למדוד מצבי רוח מתחלפים. כל אחד מהשאלונים שבודקים את הדברים הללו יכלול שאלות מסוג שונה.

אז איך עושים את זה? קודם כל יש צורך להגדיר בדיוק מה אנחנו מתכוונים למצוא. מה הכוונה כשאנחנו מתכוונים שמישהו מופנם או אינטיליגנט? יש לערוך הפרדה בין ההגדרות שרוב האנשים מגדירים (אם אכן הן קיימות) לבין ההגדרות של השאלון. בניגוד למה שמקובל לחשוב, זה בסדר גמור אם אנשים שונים מגדירים אותה תכונה בצורות שונות. אין שום בעייה עקרונית שיהיו שניים או יותר סוגי אינטליגנציה וכל אחת מהן תהיה נכונה (בכפיפות לדברים שאני מייד אזכיר).

עכשיו, כשרוצים לבדוק תכונות אישיותיות, חשוב שמימדים שונים של האישיות יהיו כמה שיותר מובחנים זה מזה. למשל, בהגדרות של ה-Big Five, יש הבדל עקרוני בין הגדרת המוחצנות לבין מושג הפתיחות. כמובן שבלתי אפשרי שתכונות שונות לא יהיה להן דבר במשותף, אבל הרעיון הוא שהן חייבות להיות מובחנות, אחרת הדבר דומה לבדיקה של אותה תכונה פעמיים.

עכשיו מגיע החלק הקשה. זה החלק שבו על החוקר לבוא עם כמה שיותר שאלות שלדעתו מרכיבות את התכונה הנבדקת. השאלות יכולות לבוא בצורות שונות: רב ברירתיות, סולמות מדידה שונים, שאלות פתוחות ועוד. השלב הזה יכול לכלול מאות שאלות, שרק מעטות ממנו יכנסו לגירסה הסופית. איך יודעים אלו שאלות נחשבות לטובות ואלו לא? כאן נכנסים כל מיני טכניקות סטטיסטיות שעוזרות לנו. למשל, אם אנשים עונים על שאלה מסוימת אותו הדבר בדיוק, אין ערך לשאלה כי היא אינה מבחינה בין אנשים שונים. נקודה נוספת היא כמובן לבחון שאנשים עונים כפי שהייתם מצפים מהם. אם אתם בוחנים יכולת מתמטית מסוימת, רצוי שאנשים יפגינו את היכולת הזו בתשובה לשאלות. יש שיטות סטטיסטיות שונות שעוזרות לאגד שאלות שונות שנמצאות במתאם גבוה אחת עם השנייה. אם במבחן שבודק יכולת מילולית יש מתאם גבוה אצל אנשים שענו נכון על הבנת הנקרא כמו גם על אוצר מילים, זה סימן טוב.

בדיקת מהימנות

אנחנו מעוניינים שהמבחן שלנו יהיה מהימן. יש שני סוגי מהימנות, מהימנות פנימית ומהימנות חיצונית. במהימנות פנימית אנחנו מצפים שאנשים יענו באותה צורה לשאלות דומות מאוד. בהרבה שאלונים יש שאלות כמעט זהות שמנוסחות בצורה שונה, רק כדי לבדוק אם הנבדק ענה בצורה אמינה. מהימנות חיצונית מתייחסת למה קורה כאשר ניתן לאותו נבדק את אותו מבחן אחרי שבוע, אחרי חודש או אחרי שנה. אם זו תכונת אישיות יציבה, נצפה שהוא יניב אותן תוצאות. מבחנים שמושפעים ממצבי רוח הם כאב ראש רציני לבוחנים.

תוקף

אנחנו לא סתם נותנים לאנשים לענות על השאלות, אלא מצפים שהשאלות הללו יאמרו משהו עליהם. מה זה בדיוק אומר, קשור לתוקף. אם השאלון שלנו מהימן וטוב, אבל לא בודק מה שהוא אמור לבדוק, אז התוקף הפנימי שלו נמוך. אבל נניח שזו לא הבעייה. תוקף חיצוני זה עניין הרבה יותר קשה לבחינה. מה בדיוק אנחנו מצפים שאנשים אינטליגנטיים יהיו יותר טובים בו מאנשים לא אינטליגנטיים? האם אנשים אינטליגנטיים הם אלו שמצליחים בלימודים? שמרוויחים יותר כסף? שיודעים לפתור בעיות בצורה מהירה יותר? בעלי ידע כללי רחב יותר? כל אחד מהדברים הללו חייבים להיבחן לחוד וביחד. ושוב, הגדרות שונות של אינטליגנציה יכולות להיות מתוקפות כנגד קריטריונים שונים ולא סותרות אחת את השנייה בהכרח. לפעמים יש לנו כבר כלי מדידה אחרים שאפשר לבדוק את התוקף מולם. אם מישהו טוב בראייה תלת מימדית, אז סביר שמבחן אחר שבודק אותו יניב תוצאות דומות. אפשר גם לבדוק התנהגויות של אנשים בפועל. אם מישהו מוגדר כמופנם על ידי מבחן מסוים, אפשר ללכת ולשאול את ההורים שלו, המורים או החברים שלו איך הוא מתנהג ולראות אם ההתנהגות שלו תואמת את מה שאנחנו מצפים ממישהו מופנם. התיקוף הוא החלק הקשה ביותר ולפעמים לוקח שנים עד שאפשר לדעת אם יש לו תוקף כלשהוא או לא.

אחרי שמסיימים לפתח מבחן מסוים על אוכלוסייה מסוימת, נקבעת הנורמה שלו. עכשיו, צריך להעביר אותו על אוכלוסייה אחרת ולראות אם הנורמה הזו משתנה. האם המבחן הזה יראה אותן תוצאות באוכלוסייה החדשה? אם נעביר אותו על אנשים בגיל שונה או בתרבות שונה, האם יהיו הבדלים מהותיים? אם מבחן מסוים מגלה יציבות בגילאים שונים (או על ידי בחינה של אנשים בגיל שונה, או על ידי מעקב לאורך שנים של אותם נבדקים), ובתרבויות אחרות מגיעים לתוצאות דומות, זה מעלה את הסבירות שיש כנראה שורשים אבולוציוניים לאותה תכונה.

לכל אחד מהנושאים שהזכרתי פה יש קורסים שלמים וטכניקות שונות. חוקרים מתווכחים ביניהם מה הדרך הטובה ביותר לבנות מבחן ולמי שמתעניין בתחום הזה של פסיכומטריקה תמיד תהיה עבודה (הרבה יותר קל אגב, פשוט לקחת מבחנים קיימים ולהעביר אותם לאנשים אחרים). גם פירוש התוצאות צריך שיעשה בזהירות המירבית. בניגוד למה שקוראים בספרות הפופולארית, המסקנות כמעט תמיד הרבה פחות חד משמעיות כשקוראים את הספרות המדעית הרלוונטית.

מה שכתבתי פה זה רק התמצית של התמצית, אבל הכרה של המושגים הללו יכולה לעזור לנו לבחון כל שלב לגופו ולהעריך אותו. אין מבחן מושלם ולעולם לא יהיה כזה. עם זאת, התקפה כללית על המבחנים בלי ביקורת ספציפית על כל אחד מהשלבים היא חסרת משמעות. אם אתם חושבים שמבחן מסוים לא טוב, אתם צריכים לומר למה הוא לא טוב בעיניכם או מה האלטרנטיבה שאתם חושבים שצריך להשתמש בה. הפסיכומטרי למשל, מבוקר תדיר על התוקף החיצוני שלו, אבל הוא המבחן הטוב ביותר שיש לנו להערכת הצלחה בלימודים גבוהים.

Both comments and trackbacks are currently closed.

תגובות

  • קורא  On 01/09/2007 at 6:57 am

    שבמדעי החברה מובהקות של 0.4-0.5 נחשבת מובהקות גבוהה מאוד, מה שהופך את זה ללא מדע בכלל וקשה בכלל לגזור ממובהקות כזאת מסקנות אמיתיות לגבי הנבחן ולגבי העולם.

  • גיל  On 01/09/2007 at 7:34 am

    מעולם לא נתקלתי במובהקות של 0.4 או אפילו קרוב לזה.
    בכל מקרה, לא מעשי לבקש אותה רמת דיוק כמו מהמדעים המדויקים. הרי בני אינם הם לא רובוטים. מה שחשוב להבין שגם אם לא מקבלים וודאות מוחלטת, המרחק מפה ועד לחוסר ידיעה מוחלט גדול מאוד.

  • עומר  On 01/09/2007 at 11:16 am

    כפי שגיל אמר, בוודאי התכוונת למתאם. ואם כבר במתאם עסקינן, מתאם של 0.5 אומר שרבע מהשונות מוסברת ע"י התכונה שנבדקה. אני חושב שהיכולת להסביר רבע מהשונות בהתנהגות היא מדהימה….

  • אריאל  On 01/09/2007 at 12:42 pm

    עם המבדקים הללו, זה השימוש שעושים בהם. אני ואתה מבינים שהם עובדים בצורה סטטיסטית, שהם מסבירים רק חלק מהדברים ושצריך עוד מבדקים כדי לאמת אותם. אבל בגלל שאנשי מדעי החברה משווקים את אותם מבדקים/שאלונים כאמת מוחלטת וכמבדק מדעי, אנשים מאמינים שיש להם איכות מדעית (כלומר, הם נכונים במאה אחוז, או קרוב לזה).
    אם הייתי אומר שכוח המשיכה מסביר רק רבע מהמקרים שתפוח נופל מהעץ, אף אחד לא היה מקבל את כוח המשיכה כאמת מוחלטת. הכוח של כלי מדעי זה באמינות המוחלטת שלו. עכשיו, אני ואתה יודעים שלכלים האלה אין את האמינות הזאת, ולמעשה הם רחוקים מאוד ממנה – אבל בגלל שהם משווקים ככלי מדעי, אנשים תולים בהם הרבה יותר מדי.
    אם נתת את הדוגמא של הפסיכומטרי, הרי שהמטרה היחידה שלו זה לנבא הצלחה בלימודים, אבל בהרבה מאוד מקומות ראיתי אנשים מתייחסים אליו כמדד לאינטליגנציה (או טיפשות, במקרה של תוצאות נמוכות), וזה רק דוגמא לשימוש לא נכון שנעשה במבדקים מהסוג הזה.
    בקיצור, אם נשתמש בקלישאה – הכוונות טובות, אבל כולנו יודעים איזה דרך רצופה בכונות טובות.

  • עומר  On 01/09/2007 at 1:38 pm

    לפי דבריך אתה לא מבין מתאם מהו! המשמעות של מתאם 0.5 אינה שרבע מהמקרים מוסברים ע"י כוח המשיכה, אלא שרבע מהשונות בין המקרים מוסברת ע"י כוח המשיכה….

  • אריאל  On 01/09/2007 at 2:02 pm

    אני מבין יופי, זה היה ניסוח קלוקל שלי בעיקר כי לא רציתי להיכנס למונחים של שונות וכו'. רציתי להעביר רעיון

  • גיל  On 01/09/2007 at 7:01 pm

    אינטליגנציה. הוא בודק אינטיליגנציה ספציפית שקשורה להצלחה בלימודים ולכן אי אפשר לומר שמי שלא מצליח בו לא אינטיליגנט.

    אנשי מדעי החברה לא עוסקים בשיווק המחקרים זו בדיוק הנקודה. הם מודעים מצוין למגבלות שלהם. הבעייה היא לא עם החוקרים אלא עם המכונים השונים שמעוותים אותם, העיתונים הפופוליסטיים וכו'.

    המבחן אכן מדעיים ויש להם איכות גדולה מאוד. כמו שעומר ציין, הסברת שונות של 0.25 היא משהו מרשים ביותר. אם אתה מצרף כמה מבחנים ביחד אתה יכול להגיע אפילו ליותר.

    הבעייה כפי שאני רואה אותה היא לא במבחנים עצמם אלא בציפיות הבלתי ריאליות שיש לאנשים. אני חושב שהם מבטאים חוסר הבנה בסיסי בשיטות המחקר של מדעי המחקר. דווקא אם היו אומרים לי שיש מבחן שבודק תכונה כלשהיא ב100% הייתי מאוד חשדן.

%d בלוגרים אהבו את זה: