תיארתי את האמירות של מנכ”ל Knewton, חוסה פריירה, כיוהרה. לא פקפקתי ביכולתו לאסוף מידע רב כל כך, רק שאלתי אם זה מה שהחינוך באמת צריך. לא שאלתי אם הניתוחים שעל פיהם Knewton מבקשת להכין תכנית לימודים אישית לכל תלמיד ותלמיד יהיו נכונים ושימושיים. פיליפ קר, בבלוג שלו שעוסק בעיקר בהוראת האנגלית כשפה שנייה, שואל את השאלה הזאת. הוא מדווח על ספר חדש, מתחום העסקים, וטוען שהאלגוריתמים שלפיהם מנסים לקבוע כיצד תלמידים צריכים ללמוד אינם מאפשרים לנו להסיק מסקנות ברורות עבור למידתם:
A new book by Stephen Finlay, Predictive Analytics, Data Mining and Big Data (Palgrave Macmillan, 2014) suggests that predictive analytics are typically about 20 – 30% more accurate than humans attempting to make the same judgments. That’s pretty impressive and perhaps Knewton does better than that, but the key thing to remember is that, however much data Knewton is playing with, and however good their algorithms are, we are still talking about predictions and not certainties.
קר, אגב, גם מציין שבאותו ספר, פינלאי מצביע על ההבדל בין סיבתיות, מה שגורם לתופעה מסויימת, לבין קיומו של מתאם בין תופעות. קר כותב:
Certain students may have learnt maths best between 8.40 and 9.13, but it does not follow that they learnt it best because they studied at that time.
יש נטייה לראות בהסתמכות על אלגוריתמים גישה אובייקטיבית, ולא לבחון את הנחות היסוד שנמצאות מאחורי השאלות ששואלים, או מאחורי ההחלטה לאסוף נתונים מסויימים ולהתייחס דווקא אליהם. קרל פיש, במאמרון מלפני כשלושה שבועות, כותב על כך שאחד הנושאים שעליהם כבר נאספו נתונים רבים מאד הוא השעה הרצויה לפתיחת בית הספר. מחקרים רבים מאששים את הטענה שתלמידים לומדים טוב יותר כאשר יום הלימודים מתחיל בשעה מאוחרת יותר. לאור זה, ולאור המרדף הבלתי-פוסק אחר נתונים שיכולים להשפיע על ההוראה ועל הלמידה, תמוה בעיניו שלנתון החשוב הזה אין השפעה על מערכות החינוך. פיש כותב:
So I find it interesting in this age where schools are increasingly “encouraged” to be data-driven (at least when we’re talking about test scores), that this set of data doesn’t appear to be driving anything (except decreased health, increased accidents, and decreased learning for our students). While I frequently question data-driven decision making related to test scores (because I question the quality and meaningfulness of the data itself), in this case I think the data is pretty clear-cut: our students are not getting enough sleep, and it’s adversely affecting their well being.
אולי ההתערבויות ה-“לימודיות” של Knewton מבוססות על נתונים אמינים, אבל הן גם נובעות מההנחה שתלמידים אמורים לשבת בשקט במשך יום לימודים ארוך. הן אינן מערערות את ההנחות הבסיסיות שעליהן בתי הספר מתנהלים היום. במילים אחרות, לא מדובר באלגוריתמים אובייקטיביים, אלא בכאלה שמיישרים קו עם גישה חינוכית שולטת. לא משם יגיע השינוי.