אז יש לנו נתונים, מה עכשיו?

בין אמצע אוקטובר לתחילת נובמבר טוני בייטס פרסם באתר שלו שש סקירות על המאמרים/המחקרים שהתפרסמו בגליון Distance Education של אוגוסט השנה. מדובר במהדורה מיוחדת שהוקדשה במלואה לנושא ניתוח הלמידה (Learning Analytics). מפני שאין גישה חופשית לכתב העת, בייטס סקר את המאמרים די בהרחבה. (נדמה לי שברוב הספריות האקדמיות בארץ יש גישה לכתב העת.) חמש הסקירות הראשונות הוקדשו, כל אחת, לאחד מחמישה המאמרים שבגליון, ואילו בשישית בייטס ביקש לסכם את התובנות שלו ולהסיק מספר מסקנות.

בייטס רואה טעם באיסוף וניתוח נתונים על לומדים מפני שהוא מקווה שזה יוביל לשיפור הלמידה. אבל הוא מתרשם שהחוקרים של המחקרים שהתפרסמו בכתב העת התעניינו יותר באיסוף הנתונים מאשר בשימוש בהם כדי לשפר את הלמידה. בכמה מהמחקרים הוא מוצא נקודות מעניינות, אבל לרוב הוא חש שהם עוסקים באיסוף נתונים לשמו. השלב החשוב, של השפעה על הלמידה, נעדרת מהם. מספר פעמים בסקירות שלו הוא מביע את התחושה שהאיסוף נעשה בצורה תלושה מתיאוריה בנוגע לכיצד לומדים, וכתוצאה מהתלישות התאורטית הזאת ניתוח הלמידה נעשה עקר. הוא גם רומז שאין זה מקרה של השמטה בטעות או בשכיחה, אלא בתפיסה בסיסית של למידת המכונה שגורסת שהתשובות נמצאות בנתונים. הוא כותב:

Merely identifying statistical patterns of behaviour is not enough in itself to lead to better student learning. There is a gap between identifying patterns and the actions needed to identify or address the issues resulting from the identification of the pattern. However, this is the goal (or dream) of AI: that the patterns themselves are self-explanatory. They are not.

באופן די הגיוני בייטס מציין שלוש אוכלוסיות שעליהן היה ראוי, או לפחות אפשרי, שהנתונים ישפיעו: על הסטודנטים, על המרצים, או על אנשי המנהל. עבור כל אחת מהאוכלוסיות האלה הוא מציב את אותה השאלה – כיצד, כתוצאה מניתוח הנתונים שנאספים, הם צריכים לשנות את מה שהם עושים. הוא מציין שקורלציה וסיבתיות אינן אותו הדבר, והוא מדגיש שהטעות הגדולה של ניתוח הנתונים היא להניח שאם אכן מוצאים קורלציה זה באמת מסביר משהו. בנוסף, הוא חש שבמקום לנסות לענות על השאלה שהוא מעלה (כיצד, בעקבות הנתונים, צריכים להשתנות) העוסקים בניתוח הלמידה פשוט מחפשים את נתון הקסם שיוכל לחזות אם הסטודנט ילמד.

חשוב להדגיש שבייטס איננו שולל את העיסוק בניתוח הלמידה. הוא דווקא רואה בו ערך. הוא משבח את אחד המחקרים שבחן את ההשפעה של משחוּק בקורס אחד וכותב שבמקרה הספציפי הזה:

Learning analytics in this study was a means to an end, not an end in itself.

בהתייחסות שלו למחקר של האוניברסיטה הפתוחה של הממלכה המאוחדת שביקש לבחון מודלים שונים של הוראה על מנת לזהות מודלים שיובילו ללמידה יותר מוצלחת הוא מוצא שהמחקר עצמו היה מעניין ואף כדאי. עם זאת, משהו במחקר הזה אכזב אותו:

in terms of learning analytics identifying optimum learning design models, the researchers came out empty-handed.

אבל מעבר לנקודות האור האלה, הביקורת של בייטס די קטלנית. הוא חש שהרצון לאגור עוד ועוד נתונים משתלט עד שהחוקרים שוכחים שהסיבה שאוספים את הנתונים היא כדי להשפיע על כיצד המרצים מלמדים ו/או הסטודנטים לומדים:

When I read these papers, they seem so far removed from the reality of teaching and learning, either in a classroom or online. They are like machines running in their own universe that has nothing to do with the realities of teaching and learning. They are in most cases measuring the wrong things, mainly things that are both easy to count and are frequently occurring, but do not reflect phenomena that represent the actual learning or teaching process. Above all they do not respect the importance of human connections and agency.

ומעבר לכך, לפעמים הפספוס ממש גדול. בייטס כותב על אחד המחקרים שניסה לזהות מאפיינים אישיותיים של סטודנטים שנמצאים בסכנת כשלון. על פניו מדובר במטרה ראויה, אבל בייטס מדגיש שהמחקר לא ביקש להתערב אצל הסטודנטים אלא רק לחזות מראש מי עשוי להיות בסיכון. המצב הזה מטריד את בייטס כי בעיניו יש בכך הפקר חינוכי. הוא כותב:

Being ‘at risk’ is not an evil to be fixed but a source of hope. Identifying students at risk without relating the ‘risk’ to successful pedagogical interventions is unethical (talk to the medical profession about this). Students are individuals and as such need to be treated individually. Education is not a filtering exercise. This was not the intention of the study but the technology and the thinking behind it lends itself to that type of application.

אישית, אני ספקן יותר גדול מבייטס. הוא כן רואה פוטנציאל חיובי בניתוח הלמידה, ועל אף העובדה שאינני שולל את האפשרות הזאת, עדיין לא ראיתי הוכחות. כמו שבייטס כותב, המבחן של ניתוח הלמידה איננו בנתונים שמצליחים לאסוף, אלא בשימוש בנתונים האלה לשפר את ההוראה ואת הלמידה. עד היום נדמה לי שהאלגוריתמים אינם מגלים דברים שמורה טוב איננו מצליח לזהות. זאת ועוד: יש מקרים שבהם החיזוי באמצעות ניתוח הלמידה משרת את ההנהלות שיכולות לנפות לומדים פוטנציאליים מפני שהנתונים מצביעים על כך שהם עתידים להכשל במקום, כפי שבייטס מציע, לעודד התערבות חיובית שתעזור לסטודנט להצליח. עם זאת, הנכונות של בייטס לבחון לעומק כל אחד מהמאמרים/המחקרים האלה נובעת מכך שהוא כן רואה חיוב בניתוח הלמידה. ודווקא בגלל הגישה החיובית שלו כלפי התחום רצוי וחשוב לשים לב לביקורת שלו.