תרומה משמעותית

עברו חודשיים מאז שפרסמתי כאן מאמרון. הפעם האחרונה שכתבתי היתה ממש בתחילת ההסגר של מגפת הקורונה ומאז התקשיתי להתיישב ולכתוב. אני מניח שבכך לא הייתי שונה במיוחד מרבים אחרים שראו כיצד יום אחד זורם לתוך משנהו ופתאום גילו שהנה, עבר עוד שבוע מבלי ששמנו לב. אבל היתה לי סיבה נוספת – סיבה שקשורה באופן די ישיר לנושא התקשוב החינוכי שבו הבלוג הזה מתמקד. בפעם האחרונה שכתבתי כאן הבעתי את תחושתי שהסגירה הפיסית המאולצת של בתי הספר ושל מוסדות להשכלה גבוהה לא תביא לפריחה של שימוש יצירתי, או אפילו נבון, בתקשוב בתהליכי הוראה ולמידה. ניבאתי אז שבמקרה הטוב נהיה עדים למה שקצת יותר מאוחר זכה לכינוי emergency remote learning ושברוב המקרים נראה שהתקשוב בסופו של דבר יגויס לחיזוק המוכר והמסורתי בתהליכי הוראה.

לדעתי החזון העצוב הזה אכן התממש. על אף התקווה הגדולה שרבים הביעו אני מתרשם שהאימוץ המאסיבי של Zoom בסך הכל העתיק את הכיתה הפרונטלית לצג המחשב, ומול כל מרצה ששמח לגלות שהתקשוב מציע אפשרויות לימודיות/הוראתיות חדשות היו לפחות עוד שניים שגילו שהוראה איכותית באמצעות התקשוב דורשת מהם מאמץ רב מדי ושכדאי יותר פשוט להרצות דרך המסך.

אבל לא בגלל זה לא הצלחתי לכתוב. הקושי שלי נבע מקריאה של כמות עצומה של תחזיות בנוגע לעתיד החינוך. בין אלה היו תחזיות שתאמו לדעתי, והיו שמנוגדים לה. אבל הרוב המכריע של מה שמצאתי (וכאן אני מעיד גם על עצמי) היה פשטני למדי. גם כאשר הסכמתי עם דעתם של אלו שטענו שמהמגפה הזאת אנחנו לומדים שלעולם לא נוכל (או בגירסה אחרת, אסור לנו) לחזור למה שהכרנו לפניה, הכתבות האלו היו כבדות במליצות שהביעו משאלת לב במקום לבנות דעה מבוססת על עובדות בשטח. אלה שכתבו, למשל, שהלמידה מהבית הוכיחה שאין צורך בבתי הספר פיסיים התעלמו מהעובדה שהקריאה לפתיחת בתי הספר נבעה בעיקר מהצורך של הורים לחזור לעבודה כך שהשמרטפיות זוהתה כמרכיב המרכזי בתפקיד בית הספר. הרגשתי שאין שום טעם שאני אוסיף את קולי לתוך המקהלה הזאת שאולי שרה בקולות רמים, אבל לא מצליחה ליצור מוזיקה ערבה לאוזן. לצערי השתכנעתי שלרוב הגדול מאיתנו פשוט אין באמת מה להוסיף. כולנו (ושוב זה כולל גם אותי) הנהנו בהסכמה להצהרות שתאמו את דעתנו ונאנקנו בכעס כלפי אלה שסתרו אותה. החלטתי שאם אין לי משהו באמת מעניין להוסיף עדיף פשוט לשתוק. (אגב, אין זה אומר שלא הייתי עסוק במהלך ההסגר. בין היתר עסקתי בפרויקט אישי שכלל לא היה קשור לחינוך.) והנה, אתמול, בעקבות ציוץ של תמי נויטל, הגעתי למאמר שהיה שונה. מאמר שלא היה קשור ישירות למגפה, מאמר שלא חזה מהפכה חינוכית או שלל כל אפשרות כזאת, אך לעומת זאת היה באמת מעניין ומעורר מחשבה. סוף סוף היה לי על מה לכתוב.

ניל סלווין (Neil Selwyn) הוא חוקר חינוך אוסטרלי מאד מוערך. בכתיבה שלו הוא מציג גישה חיובית אך ביקורתית כלפי התקשוב. בסוף אפריל הוא התפרסם מאמר (שלצערי נמצא אחרי paywall) שמורכב מהחלפת מכתבי דואר אלקטרוני בינו לבין דרגאן גסוביץ (Dragan Gašević) חוקר בתחום ניתוח הלמידה (Learning Analytics). בדיון שהתנהל ביניהם סלווין מבקש להבהיר לעמיתו למה הוא חושש משימוש בנתונים בחינוך וגסוביץ משיב לו ומנסה לשכנע שעל אף העובדה שיש סיבות טובות לחשש הזה, השד איננו נורא כל כך. הפתיחות של שני החוקרים לטענות של העמית מרשימה במיוחד בדיון הזה. אין זה צריך להפתיע שבאופן טבעי אני מזדהה עם סלווין, אבל אחרי כל כך הרבה כתיבה שטחית סביב עתיד החינוך תענוג לקרוא דיון מעמיק.

סלווין מכיר בכך שאיסוף וניתוח של נתונים על סטודנטים ועל תהליך הלמידה שלהם יכולים, לפחות באופן תיאורטי, לסייע בקידום הלמידה שלהם. עם זאת, הוא מביע חשש מוכר – אמנם החוקרים עצמם מודים שמדע הנתונים, התחום שלהם, הינו מוגבל ואיננו מדע שלם (an incomplete science) אבל זה איננו מה שבא לביטוי בשטח. הוא שואל:

why are so many end-users apparently not willing to approach data-driven products and processes along similarly nuanced lines?

במילים אחרות, אולי אנשי המדע מודעים למגבלות התחום, אבל באופן עקבי מי שמשווק מערכות לניתוח נתונים למערכות חינוך מפריז ביכולותיהן. סלווין כותב שההתלהבות כלפי השימוש בנתונים בהשכלה הגבוהה נובעת מ:

a belief that data can provide the basis for powerful forms of individually-focused behaviour management.

הוא מקשר את זה לפופולריות שיש היום כלפי השימוש בדחיפוֹת קלות (nudges). הוא שואל אם גישה כזאת מתאימה לחינוך. גסוביץ משיב שאכן יש כאן בעיה, ומודה שהשימוש בלוחות מחוונים (dashboards) לא מוכיח את עצמו:

most of research shows that student-facing dashboards are actually associated negatively with intrinsic motivation and grade average points. Further research suggests that students, even high achievers, are unable to make accurate interpretations of statistics shown in dashboards, and that dashboards do not offer any guidance how to improve their learning strategy.

סלווין מרחיב על הנקודה הזאת. הוא מדגיש שההסתמכות על נתונים (כמו בלוחות מחוונים) מתמקדת במוטיבציה (או בהעדר המוטיבציה) של הלומד ואיננה מתחשבת בתנאים הסביבתיים והחברתיים שמקשים על הצלחתו בלימודים:

That said, I guess that many critics will always be suspicious of how data science focuses on the notion of students’ ‘agency’. … Social scientists are usually much more concerned with issues of structure than matters of agency. It is one of the basic tenets of social science thinking that structure is the flipside of agency – you can’t talk about one without the other.

מדובר במבנים חברתיים מושרשים היטב שמגבילים את ההזדמנויות שעומדות לרשות קבוצות מסוימות. סלווין מדגיש שההשכלה הגבוהה איננה מגרש שבו נתוני הפתיחה שווים, כך שאין זה נכון שכל מה שדרוש כדי להצליח הוא לקבל את ההחלטות הנכונות. בגלל זה הוא חושש שההסתמכות באיסוף וניתוח נתונים:

perpetuates the logic that if a student continues to fail after having had their feedback and diagnostics, then it is clearly due to their own faulty decision-making and behaviours.

כדוגמה חיובית לשימוש בניתוח הלמידה גסוביץ מביא את Georgia State University. הוא מסביר שבעקבות השימוש בנתונים האוניברסיטה ראתה עליה של 7% של מסיימי תואר, כולל עליה משמעותית אצל סטודנטים מאוכלוסיות חלשות. הנתונים האלה בהחלט מרשימים, אבל גסוביץ מוסיף הערה מאד מעניינת:

analytics-based technology is only one component of Georgia State’s altered support for students. There has been much higher investment (about 17 times higher than has been invested in technology) in human advisers, coordination among different academic units, and continuing interaction with students.

אז בעצם מה שאנחנו רואים כאן איננו בהכרח פונקציה של שימוש נבון בנתונים, אלא שילוב של אותם נתונים כמרכיב אחד, ואפילו לא המרכזי, לתוך מערך שלם שנועד לשפר את הישגי הסטודנטים.

גסוביץ לא משכנע את סלווין, שנשאר ספקן בנוגע ליעילות ולכדאיות העיסוק בניתוח הלמידה. אבל בסיום ההתכתבות ביניהם מתרשמים שבעקבות ההסברים המנומקים של גסוביץ, והרצינות שבה הוא מתייחס לביקורת, הוא רוכש יותר כבוד לתחום, ולעוסקים בו, מאשר קודם. ואני מודה שזה נכון גם מבחינתי. ומעל לכל, כאשר בחודשיים האחרונים כל כך הרבה מילים נשפכו על סוגיה כל כך כללית כמו “עתיד החינוך”, תענוג לקרוא דיון אינטליגנטי שבהמשך הדרך באמת עשוי להשפיע.

לפעמים בהחלט אפשר ללמוד מנתונים!

מי שקורא את הבלוג הזה (אם אכן יש מישהו שעושה זאת) עשוי להתרשם שאני בז למגמה של איסוף נתונים וניתוחם בחינוך. חשוב לי להבהיר שזה איננו נכון. אני אמנם ספקן בנוגע ליכולת של המחקר הכמותי להבהיר דברים חשובים בנוגע לאפקטיביות של תהליכי הוראה ולמידה למיניהם, אבל אם וכאשר מחקרים כאלה מצביעים על מה מוצלח ומה פחות אינני מתכחש למידע הזה, גם אם הוא סותר את התפיסות החינוכיות שלי. מה שאני מרבה לבקר כאן הוא הנסיון לגייס את האיסוף המסיבי של נתונים, וניתוחים באמצעות למידת המכונה (machine learning), על מנת לנבא את ההצלחה או את הכשלון של תלמידים, או על מנת לבנות תוכניות לימודים מותאמות אישית לכל תלמיד. זאת ועוד: במרבית המקרים שבהם האמצעים האלה כן מצליחים לזהות צעדים טובים ויעילים מתברר שאותם צעדים היו ברורים למורה המנוסה ללא הגיוס המסיבי של כוח מחשוב.

כאשר איסוף הנתונים משרת את שיפור ההוראה והלמידה הוא בוודאי מוצדק. תמיד רצוי למצוא קורלציה בין גורם כלשהו ותוצאה לימודית – ובמיוחד אם אפשר לזהות לא רק קורלציה, אלא השפעה ברורה של אותו גורם על הישגי הלמידה. זה כמובן מה שלמידת המכונה (ואחותה הפחות או יותר תאומה, הבינה המלאכותית) מנסה לעשות. התקווה של ה-AI היא שסוד שאיננו נגלה לעין מסתתר אי-שם בנתונים, סוד שיתגלה רק על ידי איסוף וניתוחם, כך שבאופן קסמי אותה AI תביא לשיפור בציוני כל התלמידים במבחנים סטנדרטיים. (כאן המקום לציין שעל אף העובדה שאינני מוצא קשר משמעותי בין ציונים במבחנים סטנדרטיים לבין למידה של ממש אני יכול להבין למה משתמשים בציונים האלה כמדד של הלמידה.) הנסיון הכמעט אובססיבי למצוא את הגורמים המוסתרים, גורמים שרק מחשב חזק יכול למצוא, מעוור את המחפשים לגורמים “פשוטים” יותר, גורמים שזיהויים איננו דורש כוח חישובי אדיר.

על גורם כזה נמסר השבוע בכתבה על מחקר חדש באתר של אוניברסיטת ליידס (Leeds) אשר באנגליה. כותרת הכריזה:

Skipping breakfast linked to lower GCSE grades

הכתבה מתייחסת למחקר של חוקרים מליידס שהתפרסם החודש בכתב העת Frontiers in Public Health. יש להודות שכותרת כזאת איננה באמת “חדשות”. הקורלציה הזאת די מוכרת, והחוקרים עצמם אינם טוענים שהם גילו משהו שאיננו ידוע. במשפט הפותח של המחקר שלהם הם כותבים:

Studies indicate that breakfast positively affects learning in children.

במילים אחרות, אין במחקר הזה גילוי פורץ דרך, אלא חיזוק של משהו שכבר מזמן ידוע. גם אני דיווחתי מספר פעמים על הקורלציה הזאת. לפני כשנתיים קישרתי כאן למאמרון של פיטר גרין שדיווח על מחקר בארה”ב שהצביע על קשר בין תלמידים רעבים לבין קשיים בלימודים. וגם בפברואר השנה כתבתי על מאמר של חוקר אנגלי שהתייחס למחקר שהצביע גם הוא על הקשר הזה.

מה ששונה במחקר החדש הזה לעומת המחקרים הקודמים הוא ההתמקדות בארוחת בוקר. הכתבה מצטטת את החוקרת הראשית של המחקר שבאופן מאד ברור מכריזה:

Our study suggests that secondary school students are at a disadvantage if they are not getting a morning meal to fuel their brains for the start of the school day.

אם הקורלציה בין רעב והישגים כבר ידועה, מה כן חשוב במחקר החדש הזה? ידוע שהתזונה של תלמידים ממשפחות ברמה סוציו-אקונומית נמוכה נחותה לעומת התזונה של עמיתיהם ממשפחות ברמה סוציו-אקונומית גבוהה. לאור זה אפשר היה לשער שהנתון של אי-אכילת ארוחת בוקר איננו אלא חלופה של רמה סוציו-אקונומית שידועה כמדד די מהימן של הסיכויים להצליח בלימודים. המחקר הזה דווקא ניסה לבודד את נושא ארוחת הבוקר מהתמונה החברתית הכללית של התלמידים, ובדק תלמידים שאכלו, וגם שלא אכלו, ארוחות בוקר מאותה רמה סוציו-אקונומית. החוקרים מציינים ש:

Low/middle socio-economic status (SES) adolescents who rarely consumed breakfast were significantly less likely to achieve higher Mathematics grades compared to low/middle SES adolescents who frequently consumed breakfast.

במילים אחרות, המחקר מצא שבתוך אוכלוסייה דומה היתה לארוחת הבוקר השפעה חיובית על הלמידה (או לפחות על הציונים במבחנים). למידע הזה יכול להיות השפעה משמעותית מאד על הלמידה בבתי הספר, וזאת במיוחד לאור הקביעה של אותה חוקרת שבאנגליה ש:

an estimated half a million children [are] arriving at school each day too hungry to learn

פיטר גרין, במאמרון שלו מלפני שנתיים שקישר למחקר האמריקאי, סיים עם קביעה מבישה – שעוד היום אנחנו עדיין זקוקים ל:

actual proof that students do better when they are well fed.

זה היה נכון לפני שנתיים, וזה נכון גם היום. מדובר בסוג הקורלציות שאפשר למצוא גם בלי השקעה של מיליוני דולרים וכוח מחשוב מסיבי. ובכל זאת, טוב לדעת שהחוקרים בליידס ממשיכים לעקוב אחר הקשר הזה, ועוד יותר חשוב, שהם ממשיכים להביא אותו לתודעת הציבור. בוודאי לא היה מזיק לו האנשים שמשקיעים הון בתקשוב מתקדם כדי למצוא מה גורם להצלחה בלמידה היו משקיעים לפחות חלק מהכסף שלהם לדאוג לכך שתלמידים לא יגיעו רעבים לבית הספר.

אז יש לנו נתונים, מה עכשיו?

בין אמצע אוקטובר לתחילת נובמבר טוני בייטס פרסם באתר שלו שש סקירות על המאמרים/המחקרים שהתפרסמו בגליון Distance Education של אוגוסט השנה. מדובר במהדורה מיוחדת שהוקדשה במלואה לנושא ניתוח הלמידה (Learning Analytics). מפני שאין גישה חופשית לכתב העת, בייטס סקר את המאמרים די בהרחבה. (נדמה לי שברוב הספריות האקדמיות בארץ יש גישה לכתב העת.) חמש הסקירות הראשונות הוקדשו, כל אחת, לאחד מחמישה המאמרים שבגליון, ואילו בשישית בייטס ביקש לסכם את התובנות שלו ולהסיק מספר מסקנות.

בייטס רואה טעם באיסוף וניתוח נתונים על לומדים מפני שהוא מקווה שזה יוביל לשיפור הלמידה. אבל הוא מתרשם שהחוקרים של המחקרים שהתפרסמו בכתב העת התעניינו יותר באיסוף הנתונים מאשר בשימוש בהם כדי לשפר את הלמידה. בכמה מהמחקרים הוא מוצא נקודות מעניינות, אבל לרוב הוא חש שהם עוסקים באיסוף נתונים לשמו. השלב החשוב, של השפעה על הלמידה, נעדרת מהם. מספר פעמים בסקירות שלו הוא מביע את התחושה שהאיסוף נעשה בצורה תלושה מתיאוריה בנוגע לכיצד לומדים, וכתוצאה מהתלישות התאורטית הזאת ניתוח הלמידה נעשה עקר. הוא גם רומז שאין זה מקרה של השמטה בטעות או בשכיחה, אלא בתפיסה בסיסית של למידת המכונה שגורסת שהתשובות נמצאות בנתונים. הוא כותב:

Merely identifying statistical patterns of behaviour is not enough in itself to lead to better student learning. There is a gap between identifying patterns and the actions needed to identify or address the issues resulting from the identification of the pattern. However, this is the goal (or dream) of AI: that the patterns themselves are self-explanatory. They are not.

באופן די הגיוני בייטס מציין שלוש אוכלוסיות שעליהן היה ראוי, או לפחות אפשרי, שהנתונים ישפיעו: על הסטודנטים, על המרצים, או על אנשי המנהל. עבור כל אחת מהאוכלוסיות האלה הוא מציב את אותה השאלה – כיצד, כתוצאה מניתוח הנתונים שנאספים, הם צריכים לשנות את מה שהם עושים. הוא מציין שקורלציה וסיבתיות אינן אותו הדבר, והוא מדגיש שהטעות הגדולה של ניתוח הנתונים היא להניח שאם אכן מוצאים קורלציה זה באמת מסביר משהו. בנוסף, הוא חש שבמקום לנסות לענות על השאלה שהוא מעלה (כיצד, בעקבות הנתונים, צריכים להשתנות) העוסקים בניתוח הלמידה פשוט מחפשים את נתון הקסם שיוכל לחזות אם הסטודנט ילמד.

חשוב להדגיש שבייטס איננו שולל את העיסוק בניתוח הלמידה. הוא דווקא רואה בו ערך. הוא משבח את אחד המחקרים שבחן את ההשפעה של משחוּק בקורס אחד וכותב שבמקרה הספציפי הזה:

Learning analytics in this study was a means to an end, not an end in itself.

בהתייחסות שלו למחקר של האוניברסיטה הפתוחה של הממלכה המאוחדת שביקש לבחון מודלים שונים של הוראה על מנת לזהות מודלים שיובילו ללמידה יותר מוצלחת הוא מוצא שהמחקר עצמו היה מעניין ואף כדאי. עם זאת, משהו במחקר הזה אכזב אותו:

in terms of learning analytics identifying optimum learning design models, the researchers came out empty-handed.

אבל מעבר לנקודות האור האלה, הביקורת של בייטס די קטלנית. הוא חש שהרצון לאגור עוד ועוד נתונים משתלט עד שהחוקרים שוכחים שהסיבה שאוספים את הנתונים היא כדי להשפיע על כיצד המרצים מלמדים ו/או הסטודנטים לומדים:

When I read these papers, they seem so far removed from the reality of teaching and learning, either in a classroom or online. They are like machines running in their own universe that has nothing to do with the realities of teaching and learning. They are in most cases measuring the wrong things, mainly things that are both easy to count and are frequently occurring, but do not reflect phenomena that represent the actual learning or teaching process. Above all they do not respect the importance of human connections and agency.

ומעבר לכך, לפעמים הפספוס ממש גדול. בייטס כותב על אחד המחקרים שניסה לזהות מאפיינים אישיותיים של סטודנטים שנמצאים בסכנת כשלון. על פניו מדובר במטרה ראויה, אבל בייטס מדגיש שהמחקר לא ביקש להתערב אצל הסטודנטים אלא רק לחזות מראש מי עשוי להיות בסיכון. המצב הזה מטריד את בייטס כי בעיניו יש בכך הפקר חינוכי. הוא כותב:

Being ‘at risk’ is not an evil to be fixed but a source of hope. Identifying students at risk without relating the ‘risk’ to successful pedagogical interventions is unethical (talk to the medical profession about this). Students are individuals and as such need to be treated individually. Education is not a filtering exercise. This was not the intention of the study but the technology and the thinking behind it lends itself to that type of application.

אישית, אני ספקן יותר גדול מבייטס. הוא כן רואה פוטנציאל חיובי בניתוח הלמידה, ועל אף העובדה שאינני שולל את האפשרות הזאת, עדיין לא ראיתי הוכחות. כמו שבייטס כותב, המבחן של ניתוח הלמידה איננו בנתונים שמצליחים לאסוף, אלא בשימוש בנתונים האלה לשפר את ההוראה ואת הלמידה. עד היום נדמה לי שהאלגוריתמים אינם מגלים דברים שמורה טוב איננו מצליח לזהות. זאת ועוד: יש מקרים שבהם החיזוי באמצעות ניתוח הלמידה משרת את ההנהלות שיכולות לנפות לומדים פוטנציאליים מפני שהנתונים מצביעים על כך שהם עתידים להכשל במקום, כפי שבייטס מציע, לעודד התערבות חיובית שתעזור לסטודנט להצליח. עם זאת, הנכונות של בייטס לבחון לעומק כל אחד מהמאמרים/המחקרים האלה נובעת מכך שהוא כן רואה חיוב בניתוח הלמידה. ודווקא בגלל הגישה החיובית שלו כלפי התחום רצוי וחשוב לשים לב לביקורת שלו.

אולי פעם אחרונה ודי

בדיקה שערכתי בבלוג הזה מראה שהזכרתי את חברת Knewton, חברה שפיתחה תשתית ללמידה מותאמת אישית, שמונה פעמים. הפעם הראשונה היתה ביולי 2013. כבר באותו מאמרון ראשון הרמתי גבה בנוגע ליומרה של יזמי החברה. מאז לא מצאתי סיבה לסגת מהספקנות (בלשון המעטה) שהבעתי כלפיה. כאן בבלוג, ובמסגרות נוספות, נהגתי לצטט את חוסה פריירה (Jose Ferreira), המייסד של Knewton, שהתרברב שבעתיד הלא רחוק הכלי שהחברה מפתחת יאפשר לה למסור לתלמיד מה כדאי לו לאכול לארוחת בוקר, בהתאם לשיעורים שהוא לומד באותו יום, כדי למקסם את הלמידה שלו (ראו כאן, למשל).

Knewton היתה בין היזמויות הבולטות ביותר בתחום הלמידה המותאמת אישית, אם כי נדמה לי שהיה נכון יותר לכנות את הגישה שלה “הוראה מותאמת אישית”. הרי, הכלי לא שחרר את התלמיד לעסוק בתחומים שמעניינים אותו, אלא ביקש להתאים את קצב מסירת המידע שהמערכת קבעה כדרוש לתלמיד ליכולת הקליטה שלו. בעיני הבעיה של הכלי לא היתה רק בעובדה שהוא לא עבד (אם כי הוא באמת לעולם לא עבד), אלא שביסודו של דבר הוא לא היה חינוכי.

כאשר כתבתי על החברה בפעם האחרונה, באוקטובר 2018, היה כבר ברור שהמציאות איננה תואמת את ההבטחה. אותו מאמרון סקר דיון ציבורי שאורגן על ידי EdSurge על התרומה של למידת מכונה (machine learning) לחינוך. בדיון ההוא מדען data של Knewton הודה שעל אף הציפיות הגדולות, ההבטחה עדיין רחוקה מלהתממש. ועל אף ההודעה הזאת החברה לא נסוגה מה-“חזון” של ייעול העברת ה-“ידע” הדרוש לתלמיד.

השבוע למדנו שהמו”ל החינוכי Wiley רכש את כל נכסי החברה – בסכום שלא פורסם אבל תואר כמכירת חיסול. במהלך השנים Knewton גייסה מעל $180 מיליון, כנראה על הבטחה ויומרה מלבד. משקיעים הוקסמו מההגזמה הפרועה של החברה וציפו לרווחים נאים. אבל בסוף הם גילו מה שמבקרים חינוכיים טענו כבר שנים.

באוקטובר 2015, בתגובה לכתבה על Knewton באתר NPR שבו המייסד פריירה הכריז:

We think of it like a robot tutor in the sky that can semi-read your mind and figure out what your strengths and weaknesses are, down to the percentile.

מיכאל פלדשטיין טען שמדובר בתרופת סרק (snake oil). פלדשטיין, כמובן, לא היה היחיד לטעון כך, אבל כצפוי הדעה המלומדת של אנשי חינוך לא שכנעה את המשקיעים.

ועכשיו מה שכבר מזמן היה ברור לאנשי חינוך סוף סוף נהיר גם למשקיעים שהפסידו כסף רב בתקוות השווא לכלי קסם שיאפשר להושיב כל תלמיד מול מסך מחשב ו-“ללמד” אותו בקצב האישי שלו. כתבה על המכירה ב-Inside Higher Ed מביא את דבריו של פיל היל (שותף של פלדשטיין) שמעלה את הסברה שלו בנוגע לרכישה:

The company simply didn’t work out, that’s the long and short of it. My guess is that the pressure to sell was driven by investors who realized the jig was up.

אבל העובדה שהיום Knewton איננה אלא צל של עצמה, איננה אומרת שאין יזמים חדשים שחולמים את אותו החלום. יש בוודאי לא מעטים שעוד מתכוונים להגשים אותו.

ג’ון וורנר, גם ב-Inside Higher Ed, מודה שההודעה על Knewton גורמת לו מידה מסויימת של שמחה לאיד, לא רק בגלל ההגזמה אשר בטיעונים של פריירה, אלא מפני שהרעיון הבסיסי של קידום הלמידה באמצעות ניתוח אלגוריתמי של נתונים מסיביים מתבסס על חדירה לפרטיות התלמיד ומצמצם את הלמידה למדידה של נתונים שאינם באמת משקפים למידה:

Often, even if the technology worked exactly as advertised it looks corrosive, as with the latest trend to track “biometric” inputs to see if students are “paying attention.” Attention is not a proxy for learning, but because it’s what can be tracked, we treat it that way.

וורנר מציין שברוב הגדול של היזמויות ה-“חינוכיות” המטרה היא להחליף את המורה, והוא מדגיש שחשוב להתנגד למהלך הזה, מהלך שלרוב, כפי שציינתי כאן מספר פעמים, מוצע עבור אוכלוסיות נחלשות ולא עבור מי שיכול לשלם בעד חינוך איכותי אמיתי.

לפני שלוש שנים, חצי שנה אחרי הביקורת שלו כלפי Knewton התפרסםה, מיכאל פלדשטיין חש צורך למתן את הביקורת שלו כלפי יזמויות חינוכיות. הוא הבהיר שלא כל יוזמה היא אחיזת עיניים. הוא כתב:

if you want better learning science, then don’t push vendors out of academe. Instead, push them in. Make them show their work. Make them subject their research to peer review. Vendors should be accountable for their claims.

הוא בוודאי צודק. לא כל מי שמבקש להרוויח בחינוך באמצעות כלים או פרויקטים דיגיטליים עושה זאת מתוך התעלמות מהידע הרב על למידה שנצבר במהלך הדורות. הרצון להרוויח איננו הופך יוזמה לפסולה. אך מה לעשות, ופעמים רבות מדי הבטחות ריקות ללא ביסוס מחקרי או תיאורטי מגייסות כסף רב ובהמשך (כמה מפתיע!) הן נכשלות בגדול. פלדשטיין, אגב, התייחס להשכלה הגבוהה, שם הסיכוי למצוא אנשי אקדמיה שיזהו את הבלוף גדול יותר מאשר ב-K12. אבל ההמלצה של פלדשטיין הגיוני עבור שתי הזירות – לא להסתנוור מהחומר הפרסומי אלא לדרוש נתונים והוכחות. לעתים קרובות מדי הבלוף מתגלה מאוחר מדי לא רק מפני שהוא נמסר במעטפת של סמכותיות ובטחון מופרז, אלא מפני שהאחראים לחינוך רוצים להאמין שמה שמוכרים להם היא באמת תרופת פלא, ואין להם הכלים להבדיל בין השניים.

הסיפור של Knewton הוא אמנם איתות לכך שסופן של לפחות חלק מהיזמויות המפוקפקות בחינוך עתידות להיעלם, אבל אפשר להיות בטוחים שיש אחרות שמחכות להזדמנות למלא את החלל שנוצר. אולי לא אצטרך לכתוב שוב על Knewton, אבל לצערי יהיו וודאי אחרות שעליהן אצטרך לכתוב דברים דומים.

לפעמים המחקר מאשר את השכל הישר

אינני זוכר בדיוק כיצד הגעתי למאמר של קית טוני (Keith Tunney) ב-Journal of Education for Teaching:

Humanising as innovation in a cold climate of [socalled-evidence-based] teacher education

אני יודע שזה היה לפני שבועיים, אבל מעבר לכך – אינני יודע. יכול להיות שזה היה דרך ציוץ של מישהו שאחריו אני עוקב, או דרך קישור באחד הבלוגים שאני קורא, או אולי פשוט מצאתי קישור אליו בדף ווב שאיכשהו התגלגלתי אליו. איך שלא יהיה, משהו בכותרת משך אותי, והחלטתי לאתר אותו דרך הספרייה ולקרוא אותו. לפי השם שערתי שאמצא במאמר התייחסות לשימוש בנתונים בחינוך, וציפיתי גם להתייחסות לדיגיטליות כך שבמידה לא קטנה הוא השיק לכמה מהתחומים שמעסיקים אותי. כמו שקורה לעתים די קרובות, גיליתי שהתוכן עניין אותי פחות מאשר ציפיתי. המאמר מעניין, אבל לטעמי בעייתי. מדובר בנסיון להראות שמול האווירה הקרה והמנוקרת של איסוף נתונים וניתוחם עדיף להציג נרטיב שבאמצעותו אפשר לקבל תמונה מקיפה ומלאה יותר על תלמידים ועל הלמידה שלהם. בשבחו את הנרטיב על פני הנתונים טוני טוען שאם אנחנו באמת רוצים לקדם את התלמיד כאדם עלינו לראות אותו לא דרך הסטטיסטיקה אלא כמכלול של סיפורים. אינני מתנגד לגישה הזאת. להפך, אני מאד מסכים איתה. אבל הרגשתי שעל מנת להבהיר את הנקודה החשובה, ובמידה לא קטנה המובנת מאליה, טוני מגייס רטוריקה אקדמית כבדה. לטעמי הלשון האקדמי של המאמר היתה מיותרת ואפילו פגעה ברעיון הבסיסי.

זה כמובן איננו סיבה לפסול את המאמר. לא כל מה שאנחנו קוראים מלהיב אותנו או גורם לנורה להידלק מעל לראש או מביא אותנו לצהול בקול רם “איזה יופי!”. וחשוב אולי להוסיף שבביבליוגרפיה של המאמר מצאתי מספר מאמרים שנראים לי כדאיים לקריאה בהמשך. אבל הנקודה החשובה היא שהיה משהו במאמר שכן תפס אותי.

בשלב מסויים במאמר טוני מדווח על מחקרים שנערכו על ידי גופים רשמיים באנגליה שבחנו את הכדאיות של תכנית לארוחות חינם ותכנית של הגשת ארוחות בקר בבתי הספר לתלמידי כיתות יסוד. הוא כותב:

An econometric study into universal FSM by the National Centre for Social Research (NatCen, 2012) found that over a period of two years children made an additional two months’ progress in comparison to a control group. This concurs with similar gains in attainment found for breakfast programmes by the Institute for Fiscal Studies (IFS, 2017). In comparing the evidence offered by these two studies, the IFS study (2017) focused mainly on outcome measures such as attainment, attendance, and behaviour, whereas additionally, the National Centre for Social Research [NatCen] (2012, no page) pilot study included qualitative case studies to ‘document the experiences and views of teachers, pupils and parents/carers’. 

טוני דווקא מביא את הנתונים המרשימים האלה על ההתקדמות הלימודית של התלמידים במסגרת דיון על סוגי הנתונים שנחשבים משמעותיים בעיני מערכות החינוך. הוא כותב שפרויקטים כאלה בדרך כלל נערכים לפי ההשפעה שלהם על הישגים לימודיים בלבד. אבל הוא טוען שצריכים גם לקחת בחשבון שלפרויקטים כאלה ערך אנושי בסיסי. ומעבר לכך הוא מסביר שבפרויקטים האלה היה ערך נוסף: היה בהם ערך חברתי בכך שהתלמידים ישבו יחד כדי לאכול והם גם תרמו לשיפור הקשר בין ההורים לבין בתי הספר. לדעתו, כאשר מתמקדים בהישגים הלימודיים בלבד הערך ההומניסטי הבסיסי אשר בפרויקטים האלה הולך לאיבוד. טוני מדגיש שהבדיקה הסטטיסטית הקרה מפספסת את מה שהסיפור הנרטיבי מסוגל להראות.

אני מסכים איתו. ללא ספק יש כאן נקודה חשובה. אבל דווקא תוך כדי ההקפדה על הראייה ההוליסטית הרחבה נתון סטטיסטי לא פחות חשוב הולך לאיבוד. מערכות חינוך עסוקות מאד בבדיקה של האפקטיביות של התערבויות רבות ומגוונות. רבים טוענים, למשל, שציונים של תלמידים משתפרים כאשר מאריכים את הזמן שבו התלמיד נוכח בכיתה (ולכן הם מצדיקים קיצור ההפסקות בבתי הספר). יש גם מי שטוען שהציונים משתפרים כאשר מורים מקדישים זמן שיעור למבחני הכנה לפני מבחנים חשובים . ויש, כמובן, קבוצה שלמה שמבקשת להראות (או לפחות מקווה להראות) שהשימוש בכלים טכנולוגיים דיגיטליים בכיתה משפר את הלמידה. החיפוש אחר התערבויות שישפרו הישגים לימודיים הוא תעשייה שלמה. והנה, דרך טוני אנחנו מגלים שיש לפחות שני מחקרים שמראים שתלמידים שזוכים לארוחות מזינות מצליחים ללמוד טוב יותר מאשר תלמידים רעבים. מי היה מנחש!

להקריב את החינוך על מזבח ההכשרה

לפני כמעט שנה הרשת החברתי/המקצועית לינקדאין (LinkedIn) רכשה את חברת לינדה (Lynda) שבונה ומפיצה קורסים מקוונים בתחום ההכשרה המקצועית – בעיקר בנושאים טכנולוגיים. לינקדאין שילמה מיליארד וחצי דולרים עבור לינדה, והסכום האסטרונומי הזה גרם לרבים לתהות – מה ראתה לינקדאין בלינדה שהיה יכול להצדיק הוצאה כל כך גדולה. מספר פרשנים ניסו להסביר את הרכישה כצעד מאד מקובל – לא פעם חברות מבוססות מוציאות כסף רב כדי לרכוש חברות קטנות יותר. אבל במקרה הזה היה נראה שמשהו לא הגיוני. לחברת לינדה אמנם היה שם טוב בתחומו, אבל היא לא בהכרח היתה הבולטת ביותר בתחום, וקשה היה להאמין שכדאי להוציא עליה סכום כל כך גדול. רוב מי שהתייחס לרכישה חשב שלינקדאין העריכה שהעתיד נמצא בקורסים מקוונים להכשרה מקצועית והיתה מוכנה להשקיע כדי להכנס לתחום ולהתבסס בו.

מיכאל פלדשטיין ראה את הרכישה באור קצת שונה. הוא הסכים שלינקדאין אכן רצתה לחדור לתחום הקורסים המקוונים, אבל הוא זיהה נקודה אחרת שהפכה את הרכישה לכדאית. במאמרון שהתפרסם סמוך לרכישה פלדשטיין ציין שהעיסוק המרכזי של לינקדאין מתרכז סביב נתונים. כרשת מקצועית (להבדיל מרשת חברתית “סתם”) לינקדאין עוסקת ביצירת קשרים בין בעלי מקצועות המחפשים עבודה לבין מקומות העבודה, ולפי פלדשטיין ללינקדאין המידע הרב והמדויק ביותר בתחום. הוא טען שהחיבור בין הקורסים של לינדה לבין המידע של לינקדאין יאפשר לה להעריך באופן מאד מדויק את הצרכים המקצועיים של חברי הרשת במציאת עבודה, ולייעץ למקומות העבודה לגבי מי כדאי לקבל לעבודה. לכן הוא ראה בחיבור בין כמות אדירה של מידע מהימן לבין קורסים שניתן להציע לפי הצורך חיבור מנצח:

LinkedIn is the only organization I know of, public or private, that has the data to study long-term career outcomes of education in a broad and meaningful way. Nobody else comes close. Not even the government. Their data set is enormous, fairly comprehensive, and probably reasonably accurate. Which also means that they are increasingly in a position to recommend colleges, majors, and individual courses and competencies. An acquisition like Lynda.com gives them an ability to sell an add-on service—“People who are in your career track advanced faster when they took a course like this one, which is available to you for only X dollars”—but it also feeds their data set.
במילים אחרות, פלדשטיין ראה ברכישת לינדה על ידי לינקדאין השקעה שבעיקר עוסקת במידע – המידע שלינקדאין תקבל מניתוח הנתונים על הלומדים בקורסים של לינדה, ובהמשך המלצות טובות יותר על מה כדאי ללמוד, תהפוך את הרשת לחברה השולטת בתחום החשוב הזה. הוא פסק:
The primary value of the acquisition wasn’t content. It was data. It was providing additional, fine-grained nodes on the career graphs of their users.
הניתוח של פלדשטיין די שכנע אותי. בין כל אלה שהתייחסו לרכישה, הניתוח שלו היה היחיד שהצליח להסביר את הכדאיות אשר בהוצאת סכום כל כך גדול: הדגש ההולך וגדל על נתונים בחינוך. ובכל זאת, פלדשטיין רק הסביר את הכדאיות של הרכישה. הוא לא בחן האם היא טובה או רעה לחינוך. פלדשטיין בקיא מאד בצד העסקי של התקשוב בחינוך, אבל הוא גם בעל גישה חינוכית שבוחן את ההשפעות של ההתפתחויות בתחום על הלמידה ועל החברה באופן כללי. ודווקא במקרה הזה נדמה לי שההתייחסות שלו היתה לפן העסקי בלבד. לדעתי היה חשוב לשאול כיצד החיבור בין נתונים מאד מדויקים לבין קורסים מקצועיים ממוקדים ישפיע על הלמידה ועל החינוך. השבוע אבי ורשבסקי כתב על החיבור הזה, וההתייחסות המעניינת, והחינוכית, שלו היא הסיבה שאני חוזר לנושא הזה כמעט שנה אחרי הרכישה. (דבריו של ורשבסקי התפרסמו השבוע בבלוג של MindCet, אבל הם הופיעו באנגלית לקראת סוף 2015 בחוברת של MindCet.)

ורשבסקי כותב על בעיית הרלוונטיות של ההשכלה הגבוה, בעיה שרבים שמבקשים לחולל שינוי בתחום מעלים:

האוניברסיטאות מנותקות משוק התעסוקה ועד כמה בית הספר לא מכין אותנו ל”עולם שבחוץ”.
הוא מסביר שהחיבור בין לינקדאין לבין לינדה יוצר מסלול של “עוקף אוניברסיטה”, מצב שבו ה-“עולם שבחוץ” קובע אילו כישורים דרושים למקומות העבודה ומכתיב את אלה כמטרות החינוך. אם מאיסוף מתונים וניתוחם לינקדאין תזהה את הכישורים הדרושים לשוק העבודה היא תוכל להציע, דרך לינדה, את הקורסים שיענו על הצרכים שהיא מזהה. ובדרך הזאת ההשכלה הגבוהה הופכת להיות לא יותר מאשר פס יצור לצורכי “העולם שבחוץ”:
דרך הרשת שלינקדאין מציעה, מועסק פוטנציאלי יכול לכוון במדויק למעסיק אצלו הוא רוצה לעבוד. באמצעות לינדה הוא יכול לתפור לעצמו בדיוק את ההכשרה הדרושה לו כדי להתקבל לעבוד.
זאת ועוד: מעסיקים יוכלו לקבל מידע מדויק לא רק על מה שנלמד, אלא על ההישגים של הלומדים, העובדים הפוטנציאליים, על מנת לבחור את המועמד המתאים ביותר למשרה. ורשבסקי מדגיש שבמערכת הסגורה הזאת:
אין פער בין שלב הלמידה לשלב העבודה.
יש חפיפה מסויימת בין דבריהם של פלדשטיין ושל ורשבסקי אבל הדגשים שלהם שונים. פלדשטיין מתמקד בכמויות האדירות של מידע שלינקדאין יכול לצבור, והיתרון שזה מעניק לה כדי להוביל בתחום החינוך/ההכשרה. ורשבסקי מתמקד בדרך שבה החיבור בין לינקדאין ולינדה יוצר מערכת שמלווה את הלומד מבית הספר ועד למקום העבודה.

סביר להניח שיזמים לא מעטים רואים ברכישה הזאת הצלחה אדירה (ובוודאי גם חשים קנאה כלפי ההצלחה הזאת). לעומת אלה, ורשבסקי רואה את הרכישה דרך עיניים חינוכיות ומזהה בעייתיות. יתכן מאד שמדובר ב-“הצלחה”, אבל זאת הצלחה כלכלית ולא בהכרח חינוכית. הוא מזכיר לנו שהכנת התלמיד לעולם התעסוקה הינה רק אחד מתוך מגוון תפקידים שמערכת חינוך אמורה למלא. הייעול בהתאמת “תכנית לימודים” למשרה עתידית מטשטש תפקידים אחרים של החינוך, שאחד החשובים מאלה הוא בניית אדם עצמאי שמסוגל לתפקד בעולם כתורם ויוצר.

ורשבסקי מסכם:

כניסה של אלטרנטיבה כזו טומנת בחובה איום לבית הספר ולערכים שהוא מייצג, וגם הזדמנות למוסדות האלה להשתנות מן היסוד בכך שיתנו מענה לאתגר הזה.
למרבה הצער, הקביעה המאד לא מעודדת הזאת נראית לי די קולעת למציאות. גם לפני החיבור של לינקדאין עם לינדה במידה רבה מערכות חינוך פעלו יותר על מנת לספק את הידיים העובדות של התעשייה מאשר על מנת לסייע לאדם להכיר את העולם ולגבש את מקומו בו. זה התפקיד המרכזי והאמיתי של מערכת חינוכית, ואם לפני החיבור בין לינקדאין ולינדה היה קשה למערכת למלא את הייעוד הזה, אחרי החיבור הסיכוי שהיא תעשה זאת עוד יותר קטן.

לא, אינני שולל את השימוש בנתונים

כאשר אנחנו שומעים היום על “התאמה אישית” במסגרות חינוכיות הכוונה איננה לאפשר ללומד לכוון את הלמידה של עצמו, אלא כמעט תמיד “להתאים” את הקניית המידע שמערכת החינוך קבעה כנחוץ לקצב שהלומד יכול לעמוד בו. המטרה נשארת להביא כל תלמיד לאותם הישגים, לאותה נקודת סיום, כאשר במקום שהמורה בכיתה יכוון את עצמו לממוצע של קצב הלימוד ויכולות ההבנה של הכיתה שלו (ובמצב הזה, כמובן, יש מי שיתפוס מהר וגם מי שייכשל) כל תלמיד יקבל חומרי לימוד שיקדמו אותו לפי יכולתו. אין חדש בתפיסה הזאת. כבר שנים בישראל יש תכניות ל-“הוראה מותאמת” שמדגישות את הצורך לאפשר לכל תלמיד להתקדם בקצב שלו. אבל נדמה שעם ההתקדמות העצומה של כלים תקשוביים לאסוף ולנתח נתונים ההתאמה האישית (personalization) הומצאה מחדש. היום הגישה שגורסת שהלומד מסוגל, ואף צריך, להחליט החלטות בנוגע ללמידה של עצמו מפנה את מקומה לעליונות הנתונים שיודעים טוב יותר מהמורה ומהתלמיד מה טוב (ו-“מתאים”) לתלמיד.

על אף העובדה שהתקשוב מגויס היום ל-“התאמה” שמכוונת כמעט באופן בלעדי לצרכים של המערכת, ולא של הלומד, אין ספק ששימוש נבון בנתונים יכול לתרום רבות להכוונה העצמית של הלומד. לפני כשבוע ג’רד סטיין במאמרון בבלוג שלו ביקר את גישת ה-“התאמה אישית” הרווחת והעמיד מולה גישה שהיא ממוקדת לומד:

student-centered learning practices tend to share a common (if sometimes unspoken) goal: to develop learners’ capability for self-directed, lifelong learning by granting more control and responsibility for the learning process
סטיין כתב על פרויקט שמוביל דייוויד ווילי – Lumen Learning – שלדעתו כן מצליח לנצל את יכולות התקשוב לצרכי הלומד. הוא מצטט ממאמרון של ווילי שהתפרסם כמה ימים קודם בו הוא מסביר את הבעיה בגישה הרווחת:
There is no active role for the learner in this “personalized” experience. These systems reduce all the richness and complexity of deciding what a learner should be doing to – sometimes literally – a “Next” button. As these systems painstakingly work to learn how each student learns, the individual students lose out on the opportunity to learn this for themselves. Continued use of a system like this seems likely to create dependency in learners, as they stop stretching their metacognitive muscles and defer all decisions about what, when, and how long to study to The Machine.
ווילי מדגיש שמערכות כאלו מונעות את יכולתו של הלומד להכיר את הרגלי הלמידה של עצמו ומפתחות אצלו תלות במנגנון התקשובי. בכך הן מזיקות לפיתוח הלומד העצמאי. הוא מציין שהן עושות זאת מפני שהן משרתות את הצרכים של ספק כלי התקשוב, ולא את הלומד. הוא כותב שבמהלך השנה האחרונה בפגישות עם מרצים ועם סטודנטים הצוות שלו מנסה:
to develop an approach that – if you’ll pardon the play on words – puts the person back in personalization
הוא כותב שכמו עם מערכות מתוקשבות אחרות הגישה של הצוות שלו מתבססת על בניית מודל של מה שהלומד יודע. אבל להבדיל ממערכות שבהן ההחלטות על הצעדים הבאים נמצאות בידי המכונה, המערכת של ווילי משקפת ללומד את מצב הלמידה של עצמו ומבקשת ממנו להחליט על צעדיו הבאים בהתאם למידע הזה. השימוש ב-“מכונה” להמליץ, אבל לא לקבוע, נמצא ביסוד הגישה שלו. לפי ווילי:
We believe very strongly in this “machine provides recommendations, people make decisions” paradigm.
הוא איננו משלה את עצמו שכל לומד יידע להחליט את ההחלטות הנכונות עבור עצמו, אבל הוא איננו מוותר על המטרה הזאת. המערכת שהוא בונה איננה מוציאה את הלומד מתהליך הלמידה מפני שהיא “יודעת” טוב יותר מה טוב עבורו. היא מבקשת לשפר את היכולת של הלומד לקבל החלטות נבונות בנוגע ללמידה שלו. סטיין מסכם את הגישה הזאת בצורה מאד ברורה:
First, Lumen is acknowledging that though developing learners’ understanding of the material is critical, there is a higher, more profound goal of learner autonomy.

Second, Lumen is using the power of learning analytics to improve learning habits through self-reflectiveness as a means to travel on the path toward autonomy.

גם מיכאל פלדשטיין מתייחס למאמרון של ווילי, וכמו סטיין הגישה של ווילי מוצאת חן בעיניו. פלדשטיין מתאר את השלבים שהם המתאימים למערכת המלצות מתוקשבת שמפתחת את האוטונומיה של הלומד. לדעתו מערכת כזאת צריכה להציג ללומד מה הן המיומנויות ו/או הידיעות שהלומד טרם רכש והיא צריכה להציג בפניו את העדויות שהובילו לאבחון הזה. בהמשך היא צריכה להביא המלצות לצעדים הבאים שרצוי שהלומד ינקוט יחד עם הסבר על למה היא מביאה את ההמלצות האלו. הוא כותב:
There are lots of ways that a thoughtful user interface designer can think about progressively revealing some of this information and providing “nudges” that encourage students on certain paths while still giving them the knowledge and freedom they need to make choices for themselves.
הדגש אצל פלדשטיין, כמו אצל סטיין ואצל ווילי, הוא על החופש של הלומד להחליט בעצמו. לשם זה הם רוצים לאפשר לו גישה למידע שמאפשר לו לקבל החלטות נבונות. למרבה הצער, המערכות המתוקשבות ל-“התאמה אישית” של היום “יודעות” מה טוב עבור הלומד. מפתחי המערכות האלו משרתות תפיסה הוראתית שבה רצונות הלומד אינם חשובים – הרי מראש ברור אילו ידיעות הלומד צריך לרכוש, ובסך הכל מטרתן היא ייעול תהליך הרכישה. אפשר לקוות שבכל זאת אפשר יהיה לרתום את התקשוב למטרה יותר חינוכית כמו זאת שעליה מצביעים ווילי, סטיין ופלדשטיין. בידיים הנכונות איסוף הנתונים וניתוחם יכולים לשרת מטרה כזאת … אם כי עדיין לא ראינו שזה קורה.