צעד קטן (ואולי לא כל כך קטן) בכיוון הנכון

אחרי מספר לא קטן של עריכות, המאמרון הנוכחי הזה הצטמצם עד למאמרון יחסית קצר. ספק אם מישהו יתלונן על כך. בתחילת הכתיבה מצאתי את עצמי מתאר את ההיסטוריה של ההשגחה הדיגיטלית במבחנים, אבל הבנתי שתיאור כזה מיותר היות וסקרתי את הנושא הזה באופן די ממצה לפני כמעט שנתיים – כאן ו-כאן.

במאמרונים ההם כתבתי על החדירה לפרטיות, ועל כיצד ההשגחה האלגוריתמית (ולפניה האנושית דרך מצלמת המחשב) יוצרת אצל הנבחן את התחושה שהוא נמצא, באופן תדיר, תחת עין פקוחה. לדעת רבים ההשגחה הזאת מניחה, מלכתחילה, שמטרת הסטודנט איננו להבחן ביושר ובאופן לגיטימי אלא שהוא מחפש דרך לרמות. לא התכחשתי (או לפחות לא באופן מלא) לכך שיש סטודנטים שמחפשים דרכים לרמות, אבל ציינתי שלדעתי הנזק אשר בהשגחה מרחוק, ובמיוחד האלגוריתמית, עולה בהרבה על היתרונות.

ביוני של 2021 כתבתי שוב על נושא ההשגחה במבחנים, וציינתי שמספר מוסדות להשכלה גבוהה החליטו לבטל את ההשגחה האלגוריתמית ובמקום זה להביע אימון ביושר הסטודנטים. אבל לעומת זאת הוספתי שהחברה הסינית שפיתחה את TikTok משווקת מנורת שולחן ביתית שמצלמת את הילד שיושב לידו ומעבירה מידע על מה שהוא עושה להורים. במילים אחרות, לצד האימון של מוסדות מסוימים, הטכנולוגיה “מתקדמת” לקראת פיקוח עוד יותר צמוד ופולשני.

אבל כפי שכבר ציינתי, כל זה כבר ישן. מה שחדש הוא פסק דין של בית משפט פדרלי במדינת אוהיו שעליו דווח לפני שבועיים ב-Chronicle of Higher Education (בנוסף לדיווחים נוספים). סטודנט באוניברסיטה במדינת אוהיו תבע את האוניברסיטה שלו על חדירה לפרטיותו ועל הפרת הזכות אשר בחוק להיות מוגן בפני “חיפושים בלתי סבירים”. התביעה הוגשה בעקבות זה שבתחילת מבחן הסטודנט נדרש לסרוק את חדרו עם מצלמת הטלפון שלו כדי שההשגחה תוכל לוודא שאזור המבחן “נקי”. השופט פסק ש:

room scans — a component of many online-proctoring services — violate the Constitution.

להגנתה, האוניברסיטה טענה שסריקת החדר נחשב נוהג סטנדרטי בהשכלה הגבוהה והשעל פי רוב הסטודנטים מסכימים לבצע אותה. אבל כזכור השופט פסק לטובת הסטודנט. בנוסף, השופט ציין שהאוניברסיטה לא הגישה ראיות לכך שסריקות מהסוג הזה באמת מסייעות למניעת הרמאות.

ביסודו של דבר המשפט הזה נותן ביטוי לתפיסות חינוכיות שונות ואף מנוגדות. אפשר, למשל, לטעון במידה לא קטנה של צדק שאף אחד איננו מערער על כך שעל מנת להעריך סטודנטים בצורה נאמנה בעת מבחן חשוב לוודא שזה באמת הסטודנט עצמו שנבחן ושהוא איננו נעזר באמצעים שיאפשרו לו, בדרך זאת או אחרת, לרמות. אבל מאחורי ההסכמה הכללית הזאת יש בכל זאת ויכוח סביב השאלה אם המבחן הוא בכלל הדרך הנאותה להעריך למידה. בתקופת הקורונה הוויכוח העקרוני הזה ננטש ובמקומו כמעט כולם התמקדו בשאלות הניהוליות של שמירה על תואר המידות בעת המבחן.

ואולי עכשיו אנחנו עדים לתזוזת המטוטלת בכיוון השני. בעיני חלק נוסף של פסיקת השופט מהווה תפנית חשובה וחיובית בפרשה של ההשגחה האלגוריתמית. בכתבה ב-Chronicle אנחנו קוראים:

The judge also wrote that online proctoring wasn’t the only way for the university to protect academic integrity. “Without question, other procedural safeguards would advance the same purposes — indeed, Cleveland State employs some of them,” he wrote. They include alternatives to tests, like assigning a final project or paper, which “might minimize or eliminate the need for remote scans.” Privacy advocates have also suggested open-book exams and honor codes.

במילים אחרות, השופט שקל את החדירה לפרטיות הסטודנט מול החשיבות של פיקוח על תואר המבחן ופסק לטובת הפרטיות. הוא גם העיר (בצורה די חינוכית שאני מודה די הפתיעה אותי) שקיימות דרכים טובות יותר, ופלשניות פחות, להעריך את הלמידה.

פסק הדין עצמו הוא ללא ספק צעד בכיוון הנכון. וכך גם דברי השופט שהדגישו את הערך החינוכי אשר באמצעי הערכה אחרים. לעתים קרובות מדי אנחנו מאפשרים לטכנולוגיה להכתיב לנו את סדר היום החינוכי. כאשר אנחנו עושים זאת אנחנו מוצאים את עצמנו עסוקים בשאלות של פיקוח בעת מבחן במקום לשאול כיצד אפשר ליצור דרכי הערכה טובות ואמינות יותר. תודה לשופט במשפט הזה שהראה לנו שאפשר להעמיד סדר עדיפויות חינוכי, ואנושי, יותר.

כיצד להכין ילדים לחיים בהשכלה הגבוהה

בנובמבר לפני שנה כתבתי כאן פעמיים (כאן ו-כאן) על כלים להשגחה מרחוק במבחנים. ציינתי מספר כלים – מהצפייה בנבחנים על ידי בודקים אנושיים ועד לשימוש באלגוריתמים והבינה המלאכותית (או מה שמתיימר להיות AI) שמטרתם להבטיח שסטודנטים לא ירמו. המאמרונים האלה היו, נדמה לי, בין הראשונים שהתייחסו לנושא הזה בעברית. המשכתי לעקוב אחרי הנושא אבל תוך זמן קצר מה שהתחיל כנושא שנכנס תחת לרדאר והיה צורך להציף אותו נעשה לנושא שזוכה לכותרות רבות בעיתונות הכללית. כמעט אי אפשר היה לאסוף את כל הכתבות שהתפרסמו בנושא, ולמען האמת גם לא היה צורך. התייחסו לנושא ממגוון היבטים – מהיבט הפרטיות של הנבחן, מהיבט ההטיות של האלגוריתמים שהתקשו לזהות סטודנטים לא לבנים וראו בכל חריגה ממה שהוגדר כנורמה נסיון לרמות, מהיבט הנהלות מוסדות החינוך שחשו צורך לפקח על מבחנים שנעשו מרחוק, מההיבט החינוכי שעודד דרכי הערכה מוצלחים יותר מאשר מבחנים, ועוד. ההשכלה הגבוהה לא הצליחה לגבש גישה אחידה לנושא, אבל כל כך הרבה נכתב עליו שכבר לא ראיתי סיבה שאני אמשיך לעשות זאת.

תקופת המגפה היתה, כידוע, שעתה היפה של יזמים חינוכיים-טכנולוגיים למיניהם. לא רק ה-Zoom פרח בעקבות הסגירה הפיסית של מוסדות הלימוד. כלים רבים נוספים זכו לאימוץ. כתבה מקיפה ב-The New Yorker מסוף מאי מציינת שבאופן כללי השימוש בכלים להשגחה במבחנים גדל מאד, כאשר בנוגע ל-Proctorio:

Proctorio’s list of clients grew more than five hundred per cent, from four hundred in 2019 to twenty-five hundred in 2021, according to the company, and its software administered an estimated twenty-one million exams in 2020, compared with four million in 2019.

סביר להניח שהחזרה לשגרה בהשכלה הגבוהה תפגע בהמשך הגדילה של הכלים האלה, אם כי בארה”ב ובאירופה החזרה הזאת איטית ויתכן שמוסדות רבים יגלו שהם אינם רוצים את השגרה שהם הכירו לפני המגפה, כך שההשגחה מרחוק עוד עשויה להתבסס היטב כחלק בלתי-נפרד מההוויה הלימודית.

גם הסטודנטים עשויים לגלות שהם אינם מעוניינים בשגרה הקודמת. בתחילת החודש ג’וסטין רייך (Justin Reich) רמז בציוץ שהלמידה מרחוק היטיב עם סטודנטים רבים שעשויים להסס לחזור למה שהיה:

Students walked out of Plato’s Cave this year and saw the light of the sun. They snacked when they were hungry. They peed when the urge struck. They cuddled stuffies. They took naps. What will happen when schools make them stare at shadows again?

אבל לצד ההיבטים החיוביים האלה של הלמידה מרחוק שרייך מציין, חשוב לזכור את ההתנגדות שסטודנטים רבים הביעו כלפי ההשגחה האלגוריתמית. ההתנגדות הזאת היתה עזה מספיק עד שמספר מוסדות ביטלו את החוזים שלהם עם החברות שניהלו עבורם מבחנים. כתבה ב-Vice מנובמבר 2020 דיווחה על מספר מוסדות, ביניהם מוסדות בעלי מוניטין, שכבר אז חיפשו תחליפים להשגחה האלגוריתמית שנחשבת פולשנית מדי. הכתבה הביאה דוגמאות של ההתנגדות של מוסדות, תוך כדי הרצון לבנות אימון בין סגל ההוראה והסטודנטים:

Stanford University and McGill University, in Montreal, both have outright bans on proctoring software. In Stanford’s honor code, the faculty body commits to its “confidence in the honor of its students by refraining from proctoring examinations … [and] will also avoid, as far as practicable, academic procedures that create temptations to violate the Honor Code.”

לעומת זאת יש בכל זאת מוסדות רבים שעדיין אינם רואים דרך אחרת להעריך את הישגי הסטודנטים שלהם מלבד מבחנים, ולכן הם עדיין מזינים את הפריחה ההולכת וגדלה של כלי ההשגחה האלה. ויכול להיות שבסין מוצאים את הדרך להכשיר את השטח להמשך השימוש בהם. הרי אם כבר מגיל צעיר תלמידים יתרגלו להשגחה, סביר להניח שכאשר הם יהיו סטודנטים הם לא יתנגדו להם. כתבה מסוף מאי ב-Wall Street Journal מדווחת ש:

A Smart Lamp That Watches Kids When They Study Is a Hit in China

בכתבה אנחנו למדים שחברת האם של TikTok משווקת מנורה המצוידת בטכנולוגיות רבות. מהתיאור אפשר, אפילו, לשכוח שהיא אמורה (גם) להאיר:

The lamps come equipped with two built-in cameras—one facing the child and another offering a bird’s-eye view from above—letting parents remotely monitor their children when they study. There is a smartphone-sized screen attached to each lamp, which applies artificial intelligence to offer guidance on math problems and difficult words. And parents can hire a human proctor to digitally monitor their children as they study.

הרבה נכתב על הפיקוח הקפדני שחודר לתוך חיי היום-יום של אזרחי סין. יש שטוענים שהתמונה שמצטיירת במערב מוגזמת, ויש גם עדויות שאזרחי סין אינם חשים מאוימים מהעדר הפרטיות שלעיניים מערביות נראה כחדירה פסולה לתחום הפרט. כך או כך, מתיאור המנורה אפשר להתרשם שחברות סיניות מפתחות טכנולוגיות שלעיניים מערביות נראות בעיתיות ביותר. טכנולוגיות אלו מאפשרות פיקוח מתמיד בכל שעות היום, ולא רק במרחב הציבורי אלא גם בתוך הבית הפרטי. הנה, בנוסף לעזרה בשיעורי הבית שהמנורה אמורה להעניק, כבר מגיל צעיר התלמיד שיושב לידה לומד – אם באמצעות טכנולוגיה או אם באמצעות עין אנושית – שהוא תמיד נמצא תחת השגחה.

ואם מכשירים כמו המנורה הזאת יובאו למערב, חברות להשגחה אלגוריתמית כמו Proctorio יכולות להפסיק לחשוש מהתנגדות הסטודנטים. הרי עד שהם יגיעו למוסדות להשכלה גבוהה הם כבר יהיו מורגלים לחלוטין לפיקוח כזה.

יש בכל זאת מי שמרוויח

אחד הנושאים שעולים שוב ושוב סביב השפעת מגפת הקורונה על החינוך הוא כמות ה-“למידה” שתלמידי בתי הספר “מפסידים”. ההערכות שונות, אם כי באופן עקבי נדמה שכולם משוכנעים שהלמידה נפגעה, ויש גם אלה שמתריעים על נסיגה אצל התלמידים. לא ברור מה זה באמת אומר. האם האפקטיביות של ההוראה מרחוק, דרך ה-Zoom, היתה ירודה, ולכן אי אפשר היה להספיק את כל מה שהיה מתוכנן שהתלמידים ילמדו? או אולי השהות הממושכת של התלמידים בבית, מחוץ לבתי הספר הפיסיים, גרמה להם לשכוח דברים שהם כבר למדו? באופן כללי כל הערכה כזאת בעייתית. הרי גם כאשר התנאים הם אופטימליים – המורה מצוין, עזרי הלימוד משובחים, הכיתה ממושמעת – לא ברור כיצד מודדים למידה. לטוב או לרע, יש מוסכמה הטוענת שהמערכת זקוקה למבחנים כדי לדעת אם התלמידים באמת למדו את מה שהמערכת ציפתה שילמדו. אבל כדי שמבחנים כאלה יהיו אמינים הם צריכים להיערך בתנאים שמבודדים משתנים כמו ההשפעה החיובית או השלילית של הבית בזמן שלמדו שם בגלל הקורונה.

מדינות רבות מבקשות לבדוק את מצב הלמידה, או ליתר דיוק, את גודל הפסד הלימודים. אתר האינטרנט של תחנת טלוויזיה של מדינת פלורידה מדווח על מערך מבחנים כזה במדינה. הכתבה מצטטת את מנכ”ל משרד החינוך של המדינה:

“The science and data told us that we were likely to see an exacerbation of achievement gaps, those students who are traditionally disadvantaged for a variety of reasons are likely to suffer the most,” said J. Alex Kelly, the chief of staff for the Florida Department of Education. “The data we are seeing in Florida and in other places are that the poor and marginated tend to suffer the most when schools are closed.”

זה איננו צריך להפתיע. גם מבחינת הגישה למחשבים ולאינטרנט, וגם מבחינת היכולת של המשפחה והסביבה לעזור, היה צפוי שאוכלוסיות חלשות יסבלו יותר מאשר אוכלוסיות מבוססות. אבל האם המדינה באמת זקוקה למבחנים כדי לבדוק את גודל הפער או הפיגור שנוצר? בכתבה מדווחים שפלורידה מאריכה את תקופת המבחנים – כנראה כדי לאפשר לבתי הספר לצמצם את הפערים. אבל יש דרכי הערכה אחרות. סביר להניח שהמורים עצמם מסוגלים להעריך את מצבם של התלמידים שלהם בלי המבחנים. יוצא שהתלמידים מפסידים פעמיים – פעם ראשונה מפני שבתי הספר היו סגורים, ופעם שנייה מפני שצריכים להתכונן למבחנים במקום לנצל את הזמן שבו הם חוזרים לבתי הספר כדי ללמוד. סטיבן סינגר (Steven Singer) טוען שלסדר העדיפויות המוזר הזה שמעמיד את המבחן מעל ללמידה של ממש יש הסבר פשוט, ועצוב. מאמרון חדש בבלוג שלו נפתח עם הצהרה שבאופן מכוון מבקש להיראות אבסורדי:

We’ve got to be able to tell how badly the pandemic is affecting student learning.
So let’s give standardized tests.

לפי סינגר, יותר מאשר הזמן שמוקדש למבחנים, שבסך הכל יגלו את מה שצריך להיות ברור לכל – שבדרכים ובמידות שונות המגפה פגעה בכולם, הדגש על מתן מבחנים הוא בעצם מענק כספי לחברות הגדולות שמפיצות את המבחנים האלה. סינגר מסביר:

States spend more than $1.7 billion every year on testing. In 45 states, assessments at the primary level alone cost taxpayers $669 million.

זאת ועוד: בנוסף למבחנים החברות האלו משווקות חומרי לימוד משלימים שאמורים לשפר את תוצאות התלמידים במבחנים. סינגר מעלה את הסברה שיש להן אינטרס באחוז גבוה של נכשלים כדי שאפשר יהיה למכור עוד ועוד מחומרי העזר.

אבל אין צורך להתפס בתיאוריות קשר כדי להבין שבזמן שהתלמידים הפסידו היו אחרים שהרוויחו. ב-Chronicle of Higher Education גולדי בלומנסטיק (Goldie Blumenstyk) סוקרת את המצב הנוכחי בהשכלה הגבוהה ומציינת שדווקא בתקופה שבה מוסדות נאלצות לקצץ בתקציביהם, ההשקעות בטכנולוגיות “חינוכיות” הולכות וגדלות:

Ed-tech companies raised a record $2.2 billion in venture and private-equity capital across 130 deals in 2020, according to EdSurge, which tracks those figures in its funding database. Last year’s total was up nearly 30 percent over the $1.7 billion invested in 2019, across 105 deals. And that doesn’t count the additional hundreds of millions invested already in 2021, or the potential gusher of new capital being raised by education-focused private-equity funds or by the now-trendy Wall Street vehicles known as SPACs, or special purpose acquisition companies, that have no actual operations (yet).

בלומנסטיק איננה שוללת את האפשרות שחלק מהכסף הרב הזה יושקע בפרויקטים כדאיים, אבל היא כן מדגישה שמעט מאד כסף מושקע בפרויקטים שמבקשים לבחון מה אפקטיבי ומה לא. נוצר מצב שבו חברות טכנולוגיות מבקשים לשווק את מוצריהם למוסדות חינוך בעיקר מפני שהם חדשים, ולא מפני שהם באמת מסייעים להוראה וללמידה.

אכן, זאת כנראה תקופה מבטיחה עבור משקיעים בטכנולוגיות חינוכיות. לפני שבועיים EdSurge דיווח על רכישת NearPod על ידי Renaissance Learning בסכום של $650 מיליון. יש לי הכרות מצומצמת בלבד עם NearPod אבל מההכרות הזאת אני מתקשה להבין כיצד כלי שהוא בסך הכל נחמד יכול להיות שווה סכום כל כך גדול. אבל תקופת הקורונה הגבירה את הביקוש בכלים שמבטיחים שיעורים מן המוכן, וזה דבר ש-NearPod מציע. מנכ”ל החברה מצוטט בכתבה:

The pandemic really accelerated the need for teachers to find ways to continue doing things that were once easily done in classrooms

השינוי הזה בדרכי ההוראה מעניק הזדמנויות ליזמים. כך גם עם מייסד אקדמיית קהאן. פיטר גרין (Peter Greene) כותב על יוזמה חדשה של סלמן קהאן – מערך חינמי של הדרכה אישית (tutoring). קהאן מדגיש (כצפוי) שיש כאן מענה לשעות הלימוד הרבות שהלכו לאיבוד בגלל המגפה. אמנם במקרה הזה מדובר ביוזמה ללא מטרת רווח, אבל כפי שגרין מציין, לשותפים של קהאן במיזם החדש רקורד מכובד בקידום החינוך הפרטי. סביר להניח שהמשקיעים ימצאו הדרך להרוויח ממנו, ותוך כדי כך הם גם יביאו לצמצום החינוך הציבורי הממלכתי. גרין מזכיר לנו שעל אף ההערכה הרבה שקהאן זוכה לה בציבור הרחב, הערך הלימודי של האקדמיה שלו רחוק מלהיות מוכח:

Sal Khan is the co-founder of this; the guy who somehow convinced people that canned instruction that will never clarify itself, take questions, or do anything except repeat, is revolutionary. Sigh. If you stood in your classroom and just repeated a lecture or demo, and every time a student asked a question you just said the exact same thing you just said, you’d be spending time in the principal’s office. But do the same thing on YouTube and now you’re a visionary.

גרין כותב עם מנה גדושה של ספקנות ועוקצנות, אבל נדמה שהיא די מוצדקת. יש מי שעתיד להרוויח מהשפעת הקורונה על החינוך, וזה כנראה לא יהיו התלמידים והלמידה.

הרהור נוסף (ופחות קודר) על אימוץ ההשגחה האלגוריתמית

אודה, אני שמח שהמאמרונים שמתפרסמים כאן מעוררים מחשבה, ואולי אפילו הסכמה, אצל אחרים. עם זאת, כפי שציינתי כבר מספר פעמים, על פי רוב המרחב הזה מסייע לי לזכך את החשיבה שלי – חשיבה שנמצאת, כמובן, בהתגבשות מתמדת. דרך הכתיבה אני מבהיר את המחשבות ואת הדעות שלי לעצמי, אבל צריך להיות ברור שגם כאשר אני מסיק כאן “מסקנות” נשארות עדיין שאלות והתלבטויות.

כך היה עם המאמרון הקודם שהתפרסם כאן. הוא היה אצלי בתהליך של דגירה במשך מספר חודשים, וככל שאספתי כתבות הקשורות להשגחה אלגוריתמית היה לי ברור שאני צריך לכתוב על הנושא. אבל היה לי גם ברור שעל אף החדירה לחייהם הפרטיים של סטודנטים שהיא מהווה, הסיכוי לעצור את האימוץ של כלים של השגחה האלגוריתמית קטן מאד. מוסדות לימוד, הרי, לא יוותרו על מבחנים, ובמציאות הנוכחית זה אומר שהם יפנו לאמצעי השגחה, אפילו במחיר של חדירה לתחום הפרט. עדיף היה, כמובן, שבתי הספר והאוניברסיטאות יאמצו דרכי הערכה חלופיות, אבל כפי שכבר כתבתי, הסיכוי שזה יקרה בקרוב קטן מאד.

אבל אם אין לי משהו חדש להוסיף בנושא הזה, למה אני כותב עליו שוב, וזמן קצר כל כך מהמאמרון הקודם? הסיבה איננה קשורה לשינוי בדעה שלי, אלא בשינוי בתחזית הקודמת שלי. השינוי הזה בא בעקבות שתי כתבות שקראתי זמן קצר אחרי שהקלקתי על “פרסום”.

הכתבה הראשונה הופיעה באתר Business Insider. על פי רוב כתבות שמתייחסות לתקשוב החינוכי באתרים מעולם העסקים מעלות לי את סעיף. בדרך כלל הן נטולות כל הבנה חינוכית ורק בוחנות כיצד ניתן להרוויח מפיתוחים טכנולוגיים בעולם החינוך. הכתבה הזאת שונה. ממש מהכותרת הארוכה שלה מורגשת גישה שקולה:

Tech companies promised schools an easy way to detect cheaters during the pandemic. Students responded by demanding schools stop policing them like criminals in the first place.

הכתבה מתייחסת בכובד ראש לעמדות של סטודנטים ואנשי סגל שמתנגדים להשגחה האלגוריתמית. מול העמדות האלה היא גם מביאה את דבריו של מנכ”ל Proctorio, אבל היא לא נוקטת עמדה לכאן או לכאן. במקום זה היא הוגנת מאד (אפילו עם נטייה לטובת הטענות של הסטודנטים). זאת ועוד: במשך החודשים האחרונים אספתי קישורים רבים על הנושא הזה, ובכתבה הזאת מצאתי לא רק רבים מאלה שאני אספתי, אלא גם מספר לא קטן של קישורים נוספים שאליהם לא הגעתי. הכתבה היא נקודת זינוק מצוינת למי שמבקש להכיר את הסוגיה הזאת לעומק.

בכתבה השנייה אור קשתי מדווח ב-“הארץ” על חילוקי דעות בין משרד החינוך לבין ראמ”ה. הוא כותב:

הרשות הארצית למדידה והערכה (ראמ”ה), הפועלת במסגרת משרד החינוך, ממליצה למורים שלא לקיים מבחנים מרחוק. זאת, בניגוד לבכירים אחרים במשרד, אשר טוענים כי אפשר וצריך לבחון כך תלמידים, בעיקר בחינוך העל-יסודי, על רקע מועד החורף של בחינות הבגרות האמור להתחיל בעוד כחודשיים.

אם הבנתי נכון את הטענה של בכירי המשרד, הסיבה המרכזית שבגללה בתקופת הקורונה כן צריכים לערוך מבחנים מרחוק היא שבהמשך הדרך יהיו לתלמידים עוד מבחנים ולכן חשוב שהם יתרגלו להבחן. אם מישהו חשב שהקורונה פועלת כמנוף לערוך שינויים בדרכי ההוראה והלמידה בבתי הספר, הנה עדות שזה לא קורה. הרי לפי המשרד אסור לשנות משהו עכשיו כי בקרוב נוכל לחזור למה שתמיד הכרנו.

למען האמת, חילוקי הדעות אינם מפתיעים אותי. אנשי ראמ”ה, או לפחות אלה שאני הכרתי במהלך השנים, הם אנשי חינוך שהלמידה חשובה להם. הם אמנם אמונים על “מדידה” (המונח מופיע בשם הרשות) אבל המדידה הזאת באה על מנת לשפר את דרכי ההוראה והלמידה. מדובר באמצעי ולא במטרה בפני עצמה. זה בא לביטוי בחלופות שלפי קשתי מופיעות במסמך פנימי:

בין השאר ממליצים בראמ”ה לשתף תלמידים בבחירת כלי ההערכה והמדידה; להשתמש במגוון שיטות להערכת מיומנויות (כמו עבודת צוות או למידה עצמית); ולהעדיף חלופות למבחנים המוכרים (כגון מטלות ביצוע, פורטפוליו ועבודות חקר).

קשתי מתאר באופן די ברור את חילוקי הדעות ואת מקורם:

ואולם, הדיונים הנערכים במשרד הציפו גם ויכוח פנימי —  בין אלה הרואים בקורונה הזדמנות לעדכן את התנהלות בתי הספר לבין גורמים שמרניים יותר, המנסים עדיין להיצמד לדפוסים המוכרים, בין השאר בנימוק שמורים ותלמידים כאחד יתקשו להסתגל למציאות חדשה.

המאמרון הקודם שפרסמתי כאן הסתיים בנימה די פסימית. הבעתי את החשש שבתי הספר והמוסדות להשכלה גבוהה לא יאמצו הערכה חלופית ולכן, מפני שהסטודנטים יצרכו להבחן מרחוק, ההשגחה האלגוריתמית תמלא את הצורך הזה. אני כותב את המאמרון הנוסף הזה כדי להביע קצת יותר אופטימיות. האינטרס של אתר Business Insider איננו קידום הלמידה אלא קידום הרווחים של עסקים מסחריים. צריך להיות ברור שההשגחה האלגוריתמית פותחת נתיב מבטיח לרווחים בחינוך. לאור זה מעודד לקרוא כתבה באתר הזה שבוחנת את הנושא בצורה שקולה והוגנת. כמו-כן, נעים (אם כי לא כל כך מפתיע) לקרוא שבמקום לאמץ את ההשגחה מרחוק, ראמ”ה ממליצה על הערכה חלופית. אמנם ההמלצה נעשית, לפחות בחלקה, משיקולים טכניים ותקציביים ולא רק חינוכיים, אבל יש כאן עידוד ברור, ומבורך, של ההערכה החלופית. אכן, שתי נקודות אור.

כיצד (מרחוק) נוודא שלא מרמים?

סביר להניח שהדבר הראשון שעולה לראש כאשר חושבים על הוראה מרחוק בעידן הקורונה הוא ה-Zoom והתלמידים והסטודנטים שיושבים בבית ו-“זוכים” ליום ארוך של שיעורים דרך צג המחשב. העיתונות מלאה בסיפורים על המציאות החדשה הזאת שאליה התרגלנו במהירות שיא. לפי כמה מאלה המורים מצליחים ליצור אוירה חיובית ותומכת כך שהתלמידים מצליחים להתגבר על אי-הנוחות ואפילו ליהנות מהשיעור. אבל יש גם סיפורים אחרים, ונדמה שהם הרוב, שבהם התלמידים והסטודנטים נאלצים לשבת מול צג המחשב שעות ארוכות ומייגעות ללא למידה. במקרה הטוב ה-Zoom הוא ממלא מקום סביר אבל בוודאי רחוק מאד מלהיות פתרון. כתבתי כבר (ואפילו יותר מדי) שבעיני המציאות הזאת די עגומה, ובוודאי איננה מעודדת למידה.

אבל שיעורים הם רק חלק ממכלול הלמידה/הוראה. במרבית מוסדות הלימוד בסיום של קורס יש גם הערכה, וברוב המקרים “הערכה” היא מילה נרדפת למבחן. הצורך להעריך את הלמידה בקורסי MOOC הביא לפריחה בחברות שהציעו פתרונות של השגחה (proctoring) מרחוק במבחנים. עוד ב-2013 ב-Chronicle of Higher Education סטיב קולוביץ (Steve Kolowitz) כתב על כמה מהנסיונות האלו שהיו, כנראה, בין הראשונים. קולוביץ תיאר את ProctorU – חברה שהעסיקה משגיחים אנושיים שישבו שעות ארוכות מול צגי המחשב של החברה וצפו בסטודנטים שנבחנו דרך המחשבים שלהם בבית. הגרסאות המוקדמות של הכלים האלה התבססו על הון אנושי – עובדים שצפו בנבחנים. קולוביץ כתב:

Watching people take tests can be dull work. Three proctors interviewed by The Chronicle said most incidents were routine, often the result of a misunderstanding. But occasionally a student will try to outwit the system—or simply throw proctors for a loop.
One student tried to fool ProctorU by attaching a sticky note just below his Webcam, so that the proctor couldn’t see it. But the proctor caught the student’s eyes drifting to the note and made him hold up a mirror to his monitor, busting him. Now the mirror check is part of the company’s regular protocols.

באופן דומה, עוד ב-2015 האתר Campus Technology דיווח על תוכנית משותפת של edX ו-Arizona State University (הידועה כחלוצה בעניינים תקשוביים) שבמסגרתה הועסקה חברה חיצונית שהתמחתה בהשגחה מרחוק כדי לטפל במבחנים. מדובר היה בהשגחה מרחוק בלבד, ולא בהשגחה מקוונת או פיקוח אלגוריתמי. הכלי המשגיח (המכונה היום RPNow) פעל על ידי הקלטת הסטודנט בחדרו במהלך המבחן ובדיקת ההקלטה על ידי מה שהחברה כינתה certified human proctors. במילים אחרות (ולא מצאתי מידע ברור או מפורט) הקלטות המבחנים נשלחו, כנראה, להודו או לפקיסטן, שם עובדים שקיבלו משכורת רעב צפו בהן כדי לוודא שהסטודנטים לא רימו את המערכת.

אבל בעידן הקורונה, כאשר בכמעט כל בתי הספר והמוסדות להשכלה גבוהה הסטודנטים נמצאים בבית, צריך להיות ברור שאין אפשרות לבסס את ההשגחה על עובדים שצופים בנבחנים – אם בזמן אמת או בהקלטה. גם מספר המבחנים, וגם הפיתוי לנצל את המרחק מעיני הבוחן, גדולים מדי. יש צורך בתוכנות שמסוגלות לצפות בנבחנים ולזהות פעילות חשודה. היום החברה המובילה בתחום הזה הוא כנראה Proctorio שבאתר שלה מצהירה על עצמה בתור:

A Comprehensive Learning Integrity Platform

בתחתית כמעט כל דף של אתר החברה מופיע תיאור מורחב יותר:

Proctorio serves to improve lives by increasing access to quality education. Developing new educational technologies while protecting academic integrity allows institutions to securely deliver high-quality learning to more people than ever before.

אם לתרגם את המילים הגבוהות האלו למונחים יותר יום-יומיים, האלגוריתמים של החברה מצליחים לזהות פעילות חשודה של סטודנטים בעת המבחן. Proctorio, וחברות דומות, כבר אינן זקוקות לעובדים שיצפו בסטודנטים בזמן המבחן, או מאוחר יותר בהקלטות. היא מסבירה שבמקום זה:

Proctorio uses machine learning and facial detection technologies to achieve consistent and reliable monitoring and validation of test-taker identities and activity.

כאשר מספר המבחנים שנערכים מרחוק הולך ותופח אפשר להבין את המוסדות שמחפשים פתרון להשגחה במבחנים שלה. אבל קשה לא להרגיש שיש כאן, כמו עם מספר הולך וגדל של סוגיות הקשורות לנתונים שנאספים דרך הרשת, חדירה מדאיגה לתחום הפרט. לפני חודש כתבתי כאן על כתבה של ג’וסטין רייך (Justin Reich). באותה כתבה רייך הביע חששות כלפי המגמה של השגחה אלגוריתמית, וציון שבעיניו מדובר ב:

a truly insidious development.

הוא הסביר:

Remote-proctoring software has dark origins in the development of malware to secretly control computers remotely. Forcing students to install such malware — connecting their bedrooms to the panopticon — is too high a price to pay for exam security in Psychology 101.

האם המצב כל כך מדאיג כפי שרייך מתאר אותו? האם ההשגחה האלגוריתמית באמת מאיימת על פרטיות הסטודנטים? התשובה כמובן תלויה במי ששואלים. שיי סוואגר (Shea Swauger), ספרן באוניברסיטה של קולורדו, מתנגד באופן חריף להשגחה הזאת. בכתבה ב-Technology Review של MIT הוא מתאר כיצד כלים כאלה פועלים:

When you begin, the software starts recording your computer’s camera, audio, and the websites you visit. It measures your body and watches you for the duration of the exam, tracking your movements to identify what it considers cheating behaviors. If you do anything that the software deems suspicious, it will alert your professor to view the recording and provide them a color-coded probability of your academic misconduct.

הוא מוסיף שפעולות ביתיות ויום-יומיות כמו ילדים שנכנסים לחדר בזמן המבחן או הצורך לצאת לשירותים יכולות להעלות חשד ולהתריע על נסיון לרמות. עוד יותר בעייתית בעיניו היא הנטייה של תוכנות מהסוג הזה להגדיר התנהגויות של אנשים לבנים וסטרייטים כהתנהגויות נורמטיביות וכך להגדיר כל אחד שנראה או מתנהג אחרת מההגדרה הזאת כחריג, ואת ההתנהגויות שלו כחשודות.

כל זה בהחלט נשמע די מאיים, אבל לפי חברת Proctorio הביקורת הזאת מוגזמת. לטענתם הם כן מתחשבים בחריגויות והחדירה לפרטיות איננה משמעותית כל כך. החברה דווקא רואה את עצמה כממלאת תפקיד חיובי וחיוני לציבור. בתגובה לכתבה ב-Inside Higher Ed שהתייחסה לכתבה מוקדמת יותר של סוואגר (מחודש אפריל) החברה מסבירה:

It may be important to note that there is a potential threat to society when students are not expected to meet integrity standards set forth by their institution. The healthcare setting is a prime example of this. When a healthcare provider is not held to the highest standards of academic integrity, people’s lives are at risk. By protecting academic integrity, institutions can rest assured that the value of their degrees, and future patients, are protected. 

במילים אחרות, בכך שהיא פועלת במרץ כדי למנוע רמאות במבחנים החברה בעצם עושה שירות חשוב לציבור. ההשגחה שלה פועלת כביצור אחרון העומד בפני ההפקרות של סטודנטים שלא חוסכים שום מאמץ כדי לרמות. בלי ההשגחה הזאת סטודנטים ירמו, ובגלל זה יעברו את המבחנים שלהם על אף העובדה שהם לא באמת למדו את החומר הנדרש. וכמובן שבהמשך הדרך הסטודנטים האלה יתקבלו למשרות עבודה שהם אינם מסוגלים למלא כמו שצריך, והחברה כולה תשלם את מחיר.

סוואגר מסיים את הכתבה שלו ב-Technology Review בהערה שהיא בעצם תגובה לחזון האימה הזה של Proctorio. הוא מדגיש שלא כל הסטודנטים רמאים, ושהרמאות במבחנים איננה בעיה עד כדי כך נפוצה. לדעתו, במקום לבלש בחשדנות אחר סטודנטים עדיף לסמוך עליהם.

אין לי הרבה נסיון עם השגחה במבחנים ואינני יכול לקבוע עד כמה סטודנטים מנסים לנצל את העדר ההשגחה כדי לשפר את הציונים שלהם בדרכים לא כשרות. ברור לי שזה קורה, אם כי אני נוטה לחשוב שמדובר בתופעה הרבה פחות נפוצה מאשר חברות כמו Proctorio מציגות אותה. כמו רבים אחרים, אני משוכנע שיש דרכים טובות יותר להעריך את הלמידה של סטודנטים מאשר מבחנים. כמו רייך אני מאד חושש מהחדירה לתחום הפרט – חדירה שכבר מזמן הפכה למובנת מאליה ואפילו צפויה ומקובלת. הבעיה היא שלא נראה לי שבעתיד הנראה לעין בתי ספר ומוסדות להשכלה גבוהה יאמצו שיטות הערכה חלופיות. בגלל זה סביר להניח שהם ימשיכו לפנות לחברות כמו Proctorio בשביל “פתרון” לבעיית הרמאות. ואנחנו נמשיך לראות שכלים להשגחה אלגוריתמית, ולא כלים שבאמת יכולים לסייע בתהליך הלמידה, יהיו אלה שמגדירים את התחום של התקשוב החינוכי.

כך לומדים היום!

בתחילת החודש Texas Christian University השעתה כתריסר סטודנטים מלימודיהם בטענה שהם רימו בהכנות שלהם לקראת מבחן. לפי האוניברסיטה, הסטודנטים הצליחו לקבל את השאלות למבחן. דיווח על הפרשה הזאת הגיע לאתר של ה-Dallas Morning News, ומשם ל-Chronicle of Higher Education, שם אני קראתי עליה לראשונה. גם אם הדבר בהחלט איננו מקובל, על פי רוב דיווחים על קבלת שאלות למבחן אינם מסוג הדבר שזוכה לכתבה באתר כמו ה-Chronicle of Higher Education. בגלל זה יש טעם לשאול כיצד פרשה שהיא בסך הכל די בנאלית הצליחה לעשות זאת. התשובה נמצאת בכתבה המקורית על הפרשה שהתפרסמה באתר עיתון הסטודנטים של האוניברסיטה:

Chair of Communication Studies Melissa Schroeder said in this case a faculty member learned that questions from an “active test” had been taken “without authorization” and turned in to Quizlet study notes.

במילים פשוטות יותר, הסטודנטים השתמשו בכלי הפשוט והמוכר היטב – Quizlet. אבל “תשובה” כזאת רק מעוררת שאלה נוספת: מה פתאום Quizlet מעורר חשד? מדובר בכלי שמאפשר למשתמשים לחולל משחקים זעירים (בדרך כלל Flash Cards) שעוזרים להם לזכור את החומר הנלמד (או להתכונן למבחן מבלי להקדיש זמן ללימוד החומר של הקורס). הרבה לפני העידן הדיגיטאלי סטודנטים השתמשו בעזרים כאלה. Quizlet איננו עושה משהו מיוחד, ובוודאי לא מציע פדגוגיה חדשה. הוא בסך הכל נותן ביטוי דיגיטאלי לשיטה להכנה למבחנים שהיא מוכרת היטב. ובכל זאת יש בכלי תוספת משמעותית – הכרטיסים שנוצרים על ידי משתמש אחד לצרכים הממוקדים שלו נעשים זמינים לסטודנטים אחרים שאולי רוצים ללמוד את אותם התכנים. ובנקודה הזאת הסטודנטים הסתבכו. האוניברסיטה ראתה בפעילות הסטודנטים התנהגות פסולה ולא אתית. מול הטענה של האוניברסיטה לטי מרטינז, עורכת הדין של כמה מהסטודנטים, תיארה מצב די הגיוני:

According to Martinez, tutors employed by the school directed some of her clients to the Quizlets. Others found the information online, not knowing it would be on the tests.
She claims that previous test questions had been reused without his clients’ knowledge.

לפחות באופן חלקי, אפילו להנהלת האוניברסיטה הטענות האלו נראו הגיוניים. חמישה ימים אחרי הדיווח הראשון על הפרשה ה-Dallas Morning News שוב דיווח, הפעם שההשעיות בוטלו, אם כי עדיין נרשמו לסטודנטים ציונים של נכשל. אפשר להגיד שמישהו באוניברסיטה הבין שמדובר בסערה בכוס מים. אבל הסיפור הקטן הזה דווקא מצביע על שינוי משמעותי שהדיגיטאליות מחוללת בהשכלה הגבוהה. הכתבה ב-Chronicle of Higher Education מציינת ש:

Quizlet boasts 30 million active users around the world. Search the name of a specific course and it’s very possible you’ll find a nearly exact replica of your study guide and old test materials.

ואכן, סביר מאד להניח שעבור קורסים רבים לא קשה למצוא אי-שם ברשת, באמצעות Quizlet או בדרכים אחרות, חומרי עזר שיכולים לסייע לסטודנטים להתכונן למבחן. כמו-כן, צפוי גם שבין חומרי העזר האלה יימצאו שאלות למבחנים בקורסים דומים. Quizlet, כמובן (ודי בצדק) מתנער מאחריות. הכתבה ב-Chronicle מביאה את דבריה של נציגה של Quizlet שטוענת:

The misuse of our platform to develop bad habits, such as cheating or cutting corners on assignments, is disappointing.

אבל בכלל לא ברור שיש כאן “הרגל מגונה”. הרי יש הבדל עצום בין “רמאות” לבין “לחתוך בפינות”. יש בוודאי סטודנטים רבים ש-“חותכים בפינות” בקורסים שלהם בכך שהם מנסים לעבור את הקורס במינימום של השקעה, ו-Quizlet בוודאי יכול לעזור להם לעשות זאת. אבל ב-Quizlet טוענים שהכלים שלהם מיועדים לעזור לסטודנטים ללמוד, ועל אף העובדה שאני מניח שהמטרה המרכזית של החברה היא להרוויח כסף, אין לי סיבה לפקפק בכך שהחרבה חושבת שהכלים שהיא מציעה עוזרים ללמידה. אין סיבה לחשוב שכוונותיה אינן טובות.

בסופו של דבר הנושא המעניין כאן איננו השימוש שהסטודנטים עשו ב-Quizlet, אלא הקושי של האוניברסיטה להבין שהדיגיטאליות מציעה דרכים שונות מהמקובל “ללמוד”. עורכת הדין של הסטודנטים טוענת:

In this modern day, it is incumbent for Universities to adapt to changes in technology and for professors to change their tests.

הכתבה ב-Chronicle מצטטת מרצה באוניברסיטה במדינת ניו המפשייר שמחדדת עוד יותר את הנושא. היא מכריזה:

It’s not Quizlet that allows students to go out and find answers to any fact-based question; it’s the internet that allows them to do that easily. Students have taken the technology and used it for what the technology is able to do.

רצוי לזכור שהיום מו”לים של ספרי לימוד מפיקים חומרים דיגיטאליים רבים שזוכים להפצה רחבה, והם מקווים שמרצים ישתמשו בכמה שיותר מהחומרים שהם מפיצים בקורסים שלהם. נוצר מצב שבו יותר ויותר סטודנטים יעלו חומרי עזר ל-Quizlet שיתאימו לסטודנטים ביותר ויותר מוסדות.

בחשבון ה-Twitter שלו רוג’ר שאנק (Schank), שמשתדל לא להחמיץ אף הזדמנות לעקוץ במערכות החינוך המאובנות בעיניו, מגיב לכתבה ב-Chronicle בציניות האופיינית לו:

stop giving tests? nah; then you might have to re-think education; too hard

פרשה כזאת מעידה על כך שההשכלה הגבוהה עדיין מתקשה להתמודד עם המציאות החדשה שהדיגיטאליות יוצרת. יתכן שאי-שם בעתיד היא כן תתמודד, אבל שאנק כנראה צודק שהיא תימנע מלעשות חשיבה לעומק.

מדכא, אבל לא מפתיע

לפני כשבועיים אליוט סולוואי וקתי נוריס פרסמו מאמרון שבו הם דיווחו על שני מקרים שבהם שימוש איכותי בתקשוב בבתי ספר נבלם. במקרה השני מחוז שעבר מהשימוש במכשירי iPad למחשבי Chromebook גילה שמשאבי רוחב הפס של המחוז לא היו מתאימים לצרכים החדשים שנוצרו. סולוואי ונוריס מסבירים שמפני שהיישומים שעל מכשירי ה-iPad פעלו כיישומים עצמאיים, דרישות רוחב הפס שלהם היו קטנות לעומת הדרישות של היישומים הווביים שבמחשבי ה-Chromebook. אבל, כפי שהם מוסיפים, המחוז לא דאג למציאות האחרת:

The school board didn’t allocate the money for the networking upgrade because the school board thought that the only real difference between iPads and Chromebooks was that the latter had an attached keyboard. Apparently, no one had explained the networking needs of Chromebooks to the board.
והתוצאה? מכשירים נהדרים שבאמצעותם ניתן להפעיל יישומים לימודיים איכותיים, אינם מנוצלים כמו שצריך. וזה מוביל, כמובן לתסכול מצד המורים והתלמידים.

מדובר בסיפור די עצוב, אבל אפשר להבין את הקושי. הנהלות של מחוזות אינן בהכרח מבינות שיכולת ההתחברות של תלמידים רבים למשאבים אי-שם ברשת נשענת על מערך טכנולוגי ענף ומורכב. אפשר לקוות, ואולי אפילו לצפות, שיסיקו מסקנות וילמדו מהנסיון. יתכן, כמובן, שהמסקנה שיסיקו תהיה שעדיף להמשיך עם רוחב פס מצומצם ולוותר על חלק מהשימוש הלימודי של הכלים, אבל … אפשר לקוות.

המקרה הראשון הוא המעניין יותר, וגם המדכא יותר. הפעם לא מדובר במקרה של העדר ידע טכנולוגי, אלא במקרה של סדר עדיפות חינוכי עקום. ואת זה, למרבה הצער, הרבה יותר קשה לתקן.

סולוואי ונוריס מדווחים על פרויקט שבו הם היו מעורבים – פרויקט שנסוב סביב השימוש במערך של כלים שיתופיים (כלים שהם עצמם היו מעורבים בפיתוחם) על גבי מחשבי Chromebook בקורסי לשון בבית ספר תיכון. מנהל בית הספר אישר את רכישת המחשבים כדי לאפשר את הפעלת הפרויקט. הם כותבים:

In June, the pilot project was deemed a huge success. The teachers had put a tremendous amount of effort into creating new, inquiry-oriented curriculum materials that exploited the collaboration software. Student engagement in classwork was up — as was student achievement. The principal was pleased and told the teachers that they would be able to use the carts of Chromebooks again in 2016-2017.
אבל מה שסוכם בסוף שנת הלימודים נתקל במציאות אחרת עם פתיחת שנת הלימודים החדשה. מחשבי ה-Chromebook שנרכשו במיוחד עבור הפרויקט של שני המורים כבר לא הועמדו בראש ובראשונה לרשותם כמו שהובטח, אלא הפכו לנחלת הכלל, עם סדר עדיפות שהציב את הפרויקט בעדיפות נמוכה:
Of course, there were all sorts of rules about when a cart could be signed out and for how long it could be signed out. The icing on the cake rule on cart sign out was this: Those using the computing devices for state testing purposes had priority. State tests, district tests, and even classroom tests had priority over curricular use of the computing devices. In effect, then, there was no way the two English teachers would have the kind of access in 2016-2017 to computing devices for their students that they had enjoyed in 2015-2016.
אפשר אולי להבין שמורים אחרים, שראו שהמחשבים היו בשימוש בבית הספר ירצו גם הם להשתמש בהם. ולכן אפשר גם להבין שקשה היה למנהל לעמוד בהבטחתו. אבל זה איננו מה שקרה במקרה הזה. לא נוצר תחרות לשימוש פדגוגי, אלא ניתנה עדיפות להכנות לקראת מבחנים – ולא רק המבחנים הסטנדרטיים החשובים והמשמעותיים, אלא מבחנים באופן כללי. זאת ועוד: סולוואי ונוריס מוסיפים שמפני שכישורי הקלדה נחוצים למבחנים הסטנדרטיים, גם השימוש במכשירי ה-Chromebook לאימון בהקלדה קיבל עדיפות על השימוש בפרויקט. הם מציינים בפליאה:
Typing practice gets priority over curriculum!
אז מה ניתן ללמוד מכל זה? למען האמת, לא הרבה חדש. עצוב שבעיני מנהל בית ספר השימוש בכלים דיגיטאליים כדי להכין את התלמידים למבחנים עדיף על שימוש בכלים האלה לצרכים פדגוגיים, אבל בארה”ב של היום זה איננו צריך להפתיע. עוד בשנת 2013 כאשר בלוס אנג’לס הוחלט לרכוש מכשירי iPad עבור כלל התלמידים (פרויקט שממספר סיבות הוכתר ככשלון חרוץ) ציינתי שההחלטה לרכוש את המכשירים היתה החלטה שהתקבלה באופן מזורז, ולא התייחסה בעיקר לאיכויות של הכלים. כפי שהוסבר אז בלוס אנג’לס טיימס:
Officials said they opposed a delay in part because new state and national tests will be taken on computers, and they don’t want Los Angeles students to lack the necessary experience with them.
מאז אולי מצאו שמחשבי Chromebook עדיפים על מכשירי iPad (בלוס אנג’לס בזמנו גילו שבלי מקלדות נפרדות התלמידים התקשו להשתמש במכשירים במבחנים) אבל סדר העדיפות נשאר כפי שהיה. קודם כל מבחנים, ורק אחרי זה (אם בכלל) למידה.

ואולי בכל זאת בית הספר עושה משהו נכון?

אין זה סוד שאני, כמו אנשי חינוך רבים אחרים, מודאג מהדגש ההולך וגדל שמערכות חינוך שמות על מבחנים. בפני עצמו, מבחן איננו דבר פסול. הוא יכול לשקף את המידה שבה תלמיד קלט את המידע שמורה ניסה להקנות, וכמו-כן הוא יכול להעיד על האפקטיביות של ההוראה של המורה. במידה, כמובן. קיימות דרכי הערכה אחרות, ולא פעם אפקטיביות יותר, אבל היום נדמה שבמסגרות לימודיות רבות המבחן נעשה לאמצעי ההערכה הבלעדית. יש, אמנם, סוגים שונים של מבחנים, אבל הרווח ביותר הוא המבחן שנעשה לבד ובשקט, וללא שום עזרים או מקורות מידע חיצוניים. מצפים מהתלמיד לזכור כל מה שעליו לדעת. באופן מאד בעייתי, מספר השעות בשיעור המוקדשות למבחנים כאלה, ולהכנה לקראתם, מתחרה עם שעות ה-“לימוד” הרגילים, ורבים מהמבחנים האלה הם “high stakes” – יש להם השפעה משמעותית מאד על המשך חייהם של התלמידים ועל הפרנסה של המורים.

רבים מצביעים על הנתק שקיים בין מערכות חינוך שלכאורה אמורות להכין תלמידים לעולם התעסוקה (מטרה שמבחינתי האישית איננה בין המרכזיות של החינוך) לבין מה שבאמת קורה היום בשוק העבודה. מציינים שבמקומות העבודה של היום מעודדים את העובדים לשתף פעולה, לעזור זה לזה, ולדעת לאן לפנות כדי למצוא תשובות לבעיות שבהן נתקלים. וזה, כמובן, בניגוד למתרחש בבית הספר. שם, כפי שבמיוחד בא לביטוי במבחנים, מצפים מהתלמיד לזכור כל מה שחשוב בלי להעזר בעמיתים ובלי האפשרות לפנות למקורות זמינים. לאור זה, שואלים למה, אם מערכת החינוך אמורה להכין את התלמיד “לעולם האמיתי”, היא נאחזת בתרבות מבחנים מלאכותית שאיננה משקפת כיצד העולם של היום פועל.

לאחרונה קריקטורה שממחישה את אי ההתאמה הזאת הופיעה במספר די רב של אתרים:

הקריקטורה איננה חדשה –ג’ון דה-רוסיאה (John de Rosier) שבמשך כ-13 שנים היה הקריקטוריסט של עיתון ה-Times Union בעיר אלבני שבניו יורק פרסם אותה באפריל של 2012. (כחצי שנה מאוחר יותר דה-רוסיאה פוטר מהעיתון, כנראה בגלל קיצוצים שהם נחלתם של עיתונים רבים.) כבר אז היא הופיעה במספר לא קטן של אתרים, ועכשיו היא זוכה שוב לעדנה. אינני יודע אם משהו מיוחד הוביל לתפוצה המחודשת הזאת. למיטב ידיעתי לא התרחש אירוע מיוחד שעורר את חידוש ההפצה.

לפני כשבוע פגשתי את הקריקטורה שוב, הפעם בכתבה ב-Huffington Post שהביאה:

בכתבה הזאת בנג’מין הארדי מבקש להסביר למה תלמידים שמצטיינים בבית הספר אינם בהכרח העובדים המוצלחים במקומות העבודה החשובים של היום. (בשנתיים האחרונות הארדי פרסם כתבות רבות ב-Huffington Post, אם כי נדמה לי שזאת הראשונה שקראתי.) הוא טוען שהתלמידים שמקבלים ציונים גבוהים הם אלה שלמדו כיצד להחזיר למורים את התשובות הרצויות, לעשות את מה שמצפים מהם. הארדי טוען שההתנהגות הזאת איננה ההתנהגות שהיא נחוצה בשוק העבודה של היום. הוא מסביר:
A “socialized” mindset, which reflects the lowest stages of conscious development, was exactly what was needed to succeed in an industrial model of work. However, as Kegan and Lahey explain, the world doesn’t need obedient and compliant factory workers anymore. Rather, the world, and every organization, needs people to raise their conscious awareness.

Rather than being “socialized,” the world needs “self-authoring” individuals who are independent thinkers who take responsibility over their own work and lives. People at this stage of development trust themselves enough to make mistakes, they take initiative, and they are self-directed learners.

לפי הארדי, התלמידים שהם לכאורה הבינוניים הם אלה שבוחרים לא ליישר קו עם הציפיות של בית הספר, ובכך הם מפגינים יצירתיות ועצמאות – התכונות שהן באמת החשובות בשוק העבודה של היום. יכול להיות שהארדי צודק, אם כי נדמה לי שהוא מציג אידיאליזציה של הבינוניות שאיננה שונה במהות מהאידיאליזציה ההפוכה שתלמידים מצטיינים הם אלה שמיועדים להצלחה. אבל ללא קשר לאמיתות של הטענות של הארדי, ברור שהיכולת להשיב למבחנים באופן מוצלח איננה מדד של הצלחה עתידית. הטענה שהצלחה במבחנים הינה “real-world skill” בהחלט די מגוחכת.

ואולי לא? צריך להיות ברור לכולם שעל אף העובדה שמהללים אותם וטוענים שהן המבוקשות בשוק העבודה, תכונות כמו יצירתיות או חשיבה מחוץ לקופסה אינן תואמות חלק גדול מאד ממקומות העבודה שנפתחים לבוגרי בתי הספר. זאת ועוד: כתבה חדשה ב-The Outline רומזת שאפילו בתחום ההיי-טק לא תמיד מחפשים את התכונות האלו.

לפני כחודש מתכנת מוכר ומוערך העלה ציוץ ב-Twitter בו הוא ציין שכאשר הוא זקוק לקוד מסויים, במקום לשלוף אותו מהראש הוא עורך חיפושים עבורו ברשת. הציוץ הזה היה, כנראה, בתגובה לנוהג בראיונות עבודה לחברות היי-טק – לבקש ממועמדים לפתור בעיה בלוח שבחדר הראיון. לפי הכתבה:

This interview style, widely used by major tech companies including Google and Amazon, typically pits candidates against a whiteboard without access to reference material — a scenario working programmers say is demoralizing and an unrealistic test of actual ability.
בעקבות הציוץ הראשון הזה מתכנתים מוצלחים נוספים העידו שגם הם אינם שולפים קוד מהזכרון, אלא מחפשים ברשת.

אינני בקיא בנעשה בחברות היי-טק, אבל קשה לא לזהות כאן דמיון למתרחש בבתי הספר. שוב מהכתבה:

People spend weeks preparing for this process, afraid that the interviewer will quiz them on the one obscure algorithm they haven’t studied
הכתבה מקשרת לכתבה ב-Medium שממחישה עוד יותר את הדמיון בין הנוהג למבחנים בבתי הספר:
Meanwhile, a cottage industry has emerged that reminds us uncomfortably of SAT prep. An individual can spend thousands of dollars learning the cultural norms necessary to get themselves into a desk at a technology firm. Research tells us the SAT doesn’t effectively predict college or career outcomes, and we believe current interview practices do not currently predict future success within a company.
דה-רוסיאה חשב שהוא עשה צחוק כאשר הוא כינה את היכולת להבחן באופן מוצלח כישור של העולם האמיתי. אבל צוחק מי שצוחק אחרון. מתברר שבאותו “עולם אמיתי” היכולת להבחן היא כישור די נחוץ. יכול להיות שזה בכלל איננו צריך להפתיע. מערכת החינוך ושוק העבודה הם פנים שונות של אותה חברה. על אף ההכרזות הרבות שמערכת החינוך מיושנת ואיננה מכינה את תלמידיה כראוי לשוק העבודה של היום, אותם מקומות העבודה, אפילו אלה שנחשבים המתקדמים ביותר, אינם משתחררים מהדפוסים שהוטמעו בנו עם הצלצול של בית הספר.

לפחות אפשר לצחוק

מידי פעם אני מרשה לבלוג הזה לחרוג קצת מהעיסוק הבלעדי בתקשוב בחינוך, אם כי במקרים האלה אני בכל זאת מנסה לקשר את מה שאני כותב לנושא המרכזי הזה. וכך גם הפעם. בעצם, החיבור איננו מאולץ מדי, וזה מפני שהנושא שעליו אני כותב הוא מבחנים סטנדרטיים במערכת החינוך – הרי מבחנים הם היום עסק מאד רציני (ורווחי) שבמידה רבה נשען על תקשוב. אי לכך, על אף העובדה שהפעם הפן התקשובי איננו מהותי למה שאני כותב, אפשר להגיד שבכל זאת יש לו מקום בבלוג הזה. זאת ועוד: המבחן שעליו אני כותב כאן מדגים עד כמה מבחן יכול לעמוד בניגוד גמור ללמידה. אבל מספיק עם ההקדמות … לסיפור!

שרה הולברוק (Sara Holbrook) היא משוררת לא במיוחד מוכרת בארה”ב. בכתבה שהיא פרסמה לפני כמעט שלושה שבועות ב-Huffington Post היא משערת שדווקא מפני שהיא איננה מפורסמת מערך המבחנים של Pearson במדינת טקסס בחר לכלול שני שירים שהיא כתבה במבחן בהבנת הנקרא לכיתות ז’ ו-ח’ (שיר אחד בשנת 2013, ושיר אחר בשנת 2014) – הרי זול יותר לקבל את הזכויות להשתמש בשירים שלה מאשר לקבל אותן עבור השירים של משוררים יותר מפורסמים.

כבר בפתיחת הכתבה שלה הולברוק מודה שהיא לא הצליחה לענות נכון על השאלות שבמבחן אודות השירים שלה, ושזה כמובן גרם לה לחשוש שהיא פשוט איננה מספיק חכמה:

When I realized I couldn’t answer the questions posed about two of my own poems on the Texas state assessment tests (STAAR Test), I had a flash of panic – oh, no! Not smart enough. Such a dunce. My eyes glazed over.
אבל מעבר לתחושה הזאת, שהיא כמובן איננה אלא העמדת פנים, היא גם מרחמת על התלמידים שאמורים לענות על השאלות שבמבחן, ועל המורים שבמקום לעזור לתלמידיהם ליהנות משירה נאלצים להכין אותם למבחן. הולברוק מתנצלת מול התלמידים והמורים שהשיר שעליהם לקרוא ולנתח במבחן הוא שיר מאד דכאוני. ולעצמה היא מתרצת שהסיבה לכתיבת השיר בזמן שהיא כתבה אותו היה הצורך להישרד. ואם בהישרדות מדובר:
Teachers are also trying to survive as they are tasked with teaching kids how to take these tests, which they do by digging through past tests, posted online. Forget joy of language and the fun of discovery in poetry, this is line-by-line dissection, painful and delivered without anesthetic.
הולברוק מדווחת שחודש מוקדם יותר, בשעת ערב מאוחרת, מורה מטקסס פנה אליה וביקש עזרה בפינוח פירוש השיר, או לפחות הפירוש המצופה של מחברי המבחן. בעקבות הפנייה הזאת היא נחשפה לאחת השאלות במבחן ששאלה על הסיבה לחלוקת השיר לשני בתים. כיאה למבחן “אמריקאי, היו ארבע תשובות אפשריות, והמורה אפילו ציין שבחומרי ההכנה צויינה התשובה הנכונה. אבל משום מה בדפי ההכנה למבחן השיר הופיע ללא חלוקה לבתים, כך שאפילו כאשר התשובה הנכונה היתה לפניו המורה לא ידע כיצד להנחות את התלמידים שלו. הולברווק קראה את השאלה, ואת התשובות האפשריות. היא כותבת שהסיבה הבסיסית לחלוקה הנכונה לבתים (שהיא שלחה למורה) קשורה לעובדה שהיא קוראת את השיר בקול רם, וכך היא מחלקת בקריאה שלה – תשובה שלא היתה בין התשובות המוצעות במבחן. בשלב הזה אפשר פשוט לחייך או לצחוק. הרי ידוע לכולם שלעתים די קרובות שאלות במבחנים חסרות הגיון. אבל עבור הולברווק זה כבר לא סתם עניין של צחוק:
These test questions were just made up, and tragically, incomprehensibly, kids’ futures and the evaluations of their teachers will be based on their ability to guess the so-called correct answer to made up questions.
במילים אחרות, קל מאד לצחוק על המבחנים הסטנדרטים האלה בטקסס – מבחנים שמכילים שאלות על שירים שמבלבלות ומביכות את המשוררת של אותם השירים. אין זה אומר ששירים אינם פתוחים לפרשנות שונה מאשר זאת שבכוונת המשורר. משורר איננו בהכרח הפוסק האחרון על המשמעות של שיריו. אבל כאשר קוראים את השאלות שהולברוק מביאה מהמבחנים בטקסס מבינים שהבעיה איננה פרשנות, אלא הדרך שבה משתמשים בשיר. במבחן שואלים, למשל, “איזו שורה בשיר מבטאת את תחושת המשוררת ש…” או “מה הסיבה המשכנעת ביותר לכך שהמשוררת משתמשת באותיות גדולות בשורה …”. השאלות האלו אינן מעודדות את התלמידים ליהנות מהשיר, אלא “לנתח” אותו, ומטרת הניתוח הזה איננה הבנה טובה יותר של השיר, אלא פשוט ההוכחה שהתלמידים יודעים להשיב על שאלות במבחן.

הולברוק מקשרת למאמרים שמצביעים על כך שמבחנים סטנדרטיים אינם באמת בודקים את הידע של תלמידים. היא גם מקשרת למאמר על חוקר שטוען שהדרך הבטוחה ביותר לחזות את התוצאות במבחנים כאלה של בית ספר היא לבדוק את הרמה הסוציו-אקונומית של השכונה שבה בית הספר נמצא. אבל הדברים האלה די ידועים. התרומה המשמעותית של הולברוק לסוגיה הזאת היא הזעקה של משוררת מסוגלת לזעוק:

Idiotic, hair-splitting questions pertaining to nothing, insufficient training, profit-driven motives on the part of the testing companies, and test results that simply reveal the income and education level of the parents – For this we need to pay hundreds of millions of dollars and waste 10-45 days of classroom time each year to administer them? More if you consider the amount of days spent in test prep?
שוב, אין חדש בטענות של הולברוק. מורים, הורים, וחוקרים רבים כבר הביאו עדויות ומחקרים שמראים לא רק שמבחנים סטנדרטיים אינם באמת מדד של למידה אלא גם שהם מזיקים לה. אבל כמשוררת הולברוק איננה צריכה להביא עובדות, אלא להאיר על המציאות מזוית אחרת. הכתיבה שלה לא תצליח למגר את הנגע של המבחנים הסטנדרטיים, אבל אולי היא כן מצליחה להמתיק את הגלולה ומאפשרת לנו לצחוק … כל הדרך לכשלון החינוך – כשלון שהוא מובטח אם הוא ימשיך להסתמך על המבחנים האלה.

האם הבינה המלאכותית המשוחררת תתפרע?

סטיבן קראשן הוא פרופסור אמיריטוס בבית הספר לחינוך של האוניברסיטה של דרום קליפורניה. הוא גם בלשן עם פרסומים רבים על תהליך רכישת הקריאה. דרך סטיבן דאונס הגעתי לסדרה של מאמרונים שקראשן פרסם בימים האחרונים שמתייחסים לחוברת PDF חדשה בת 60 עמודים על בינה מלאכותית בחינוך שפורסם על ידי חברת פירסון:

פירסון נחשבת החברה הגדולה ביותר בעולם בענייני חינוך. במשך שנים היא היתה בין המו”לים הגדולים ביותר של ספרי לימוד, ובשנים האחרונות היא חודרת לתחום המבחנים המקוונים. היום היא מרחיבה את העיסוק ה-“חינוכי” שלה – במידה רבה בכיוון של שילוב של מבחנים לתוך ספרי לימוד דיגיטאליים. נדמה לי שהחוברת החדשה אמורה לשקף את הכיוון הזה, ולהצביע על לאן המגמה הזאת עשויה להתפתח.

כפי שכבר אפשר היה להתרשם בעבר, אינני בין אוהבי פירסון. בגלל זה אוזני היתה קרויה לביקורת החריפה של קראשן על החוברת. אבל דווקא גם בגלל זה ראיתי לנכון לקרוא את החוברת במלואה ולהתרשם ממנה בעצמי ולא סתם לאמץ את הגישה של קראשן באופן עיוור. כזכור, מדובר בחוברת בת 60 עמודים, אם כי שליש מהם מכילים איורים או כותרות, הקדמות וביבליוגרפיה. גם בטקסט עצמו יש שוליים מאד רחבים. קל להסיק שבמידה רבה מדובר בחוברת פרסומית. זאת ועוד: מחברי החוברת מגדירים את הבינה המלאכותית בחינוך (AIEd) בצורה מאד רחבה כך שהיא כמעט חופפת לכל מה שנעשה בתקשוב בחינוך באופן כללי. בנוסף, דוגמאות רבות בחוברת יונקות מנסיונות ה-CAI מלפני דור ויותר, כך שבמידה רבה ה-AIEd נתפסת כ-CAI המסורתי שהיום משתכללת בעזרת תוספת של ניתוח נתונים. לפי מחברי החוברת, בלב ה-AIEd:

is the scientific goal to “make computationally precise and explicit forms of educational, psychological and social knowledge which are often left implicit.” In other words, in addition to being the engine behind much ‘smart’ ed tech, AIEd is also a powerful tool to open up what is sometimes called the ‘black box of learning,’ giving us deeper, and more fine-grained understandings of how learning actually happens (for example, how it is influenced by the learner’s socio-economic and physical context, or by technology.)
חשוב לשים לב שהקטע באותיות נטויות שבטקסט למעלה לקוח ממאמר של ג’ון סלף משנת 1999. במילים אחרות, ל-AI החינוכי של פירסון שורשים עמוקים בהוראה הממוחשבת המסורתית. מחברי החוברת אמנם מתייחסים להתפתחויות ולשינויים בעולם התקשוב, אבל לכל אורכה שורשי ה-CAI מורגשים. קראשן רגיש מאד לרמזים האלה, ונדמה לי שהרגישות הזאת מוצדקת.

במאמרון הראשון בסדרה קראשן מצטט מעמוד 36 של החוברת:

With ongoing AIEd analysis of a student’s learning activities, there will be no need for the stop-and-test approach that characterises many current assessments. Instead of traditional assessments that rely upon evaluating small samples of what a student has been taught, AIEd-driven assessments will be built into meaningful learning activities, perhaps a game or a collaborative project, and will assess all of the learning (and teaching) that takes place, as it happens.
הקטע הזה אמנם מזכיר משחקים ופרויקטים שיתופיים, אבל בעיני קראשן אלה רק כיסוי למעקב מתמיד. קראשן מזכיר לנו שלפי החזון של פירסון:
new competency-based programs, now in development, will replace standardized testing
הוא מציין שבתגובה לתלונות של הורים על המספר ההולך וגדל של מבחנים שמוטלים על ילדיהם בפירסון התחילו לדבר על צמצום מערך המבחנים. אבל לפי קראשן הצמצום הזה נובע משילוב המבחנים לתוך ספרי הלימוד עצמם. הוא טוען שהחזון של פירסון איננו פחות מעקב, אלא ההפך – התלמידים “יזכו” להיבחנות מתמדת:
Imagine: real time data always available from every classroom on the planet.

This will make testing fever worse than ever. We can expect daily reports about schools, school districts, states and countries announced on radio, television, newspapers, and on dedicated internet websites, just like sports news, announcing how much progress has been made in mastering modules. This will result it even more testing pressure on the schools.

בעמוד 34 של החוברת המחברים מתארים כמה מההתערבויות שה-AIEd מאפשרת (קראשן מצטט רק חלק מהפיסקה הזאת):
The increasing range of data capture devices – such as biological data, voice recognition, and eye tracking – will enable AIEd systems to provide new types of evidence for currently difficult to assess skills. For example, a practice-based learning experience that incorporates elements of problem solving or collaboration might be assessed using a combination of data sources including voice recognition (to identify who is doing and saying what in a team activity) and eye tracking (to explore which learner is focusing on which learning resources at any particular moment in time).
מצד אחד המידע שנאסף מההתערבויות האלו בוודאי יכול למפות את הידע ואת הכישורים שתלמידים רוכשים, אבל קשה לא להרגיש שהתלמיד נמצא תחת זכוכית מגדלת (במקרה הטוב) במהלך כל יום הלימודים, וגם כל הזמן שספר הלימוד נמצא בידיו. קראשן, שמלכתחילה איננו סומך על כוונות פירסון, מהרהר שיותר מאשר המעקב הזה מיועד לעזור לתלמיד, זאת בעצם דרך לפקח עליו. כמו-כן, מפני שפירסון אוספת ואוגרת עוד ועוד מידע (חשוב, בוודאי) אודותיו, והמידע הזה שימושי רק אם הוא מרוכז תחת מטריה אחת, זאת דרך להבטיח שבמהלך לימודיו כל חומרי הלימוד שלו יבואו מפירסון:
This and other intrusions are designed to make sure students are focused on just the task in front them right now, and are participating in exactly the way the Pearson wants them to participate.
אחרי קריאת החוברת כולה, וגם את כל המאמרונים של קראשן שהתייחסו אליה (יש ארבעה) שאלתי את עצמי אם החששות של קראשן מוצדקים. הרי על אף בעייתיות לא מבוטלת, נדמה לי שיותר מאשר החוברת חושפת תכניות זדוניות של פירסון, היא מציגה התייחסות די לא מעמיקה, אפילו רדודה, של החברה לשילוב “הבינה המלאכותית” לתוך החינוך. ואולי במקום חזון פשוט יש כאן חומר פרסומי שתופס טרמפ על מונח חם בחדשות כדי לגרום לנו לחשוב שהמרכול הדי משומש שמוכר לנו כבר שנים רבות הוא בעצם חדש ומהפכני.

נכון לפרסום המאמרון הזה כמעט ולא מצאתי התייחסויות אחרות לחוברת של פירסון. אינני יודע אם זה מפני שרבים טרם ראו אותו, או מפני שמי שקרא אותו לא התרשם ולא הרגיש שיש טעם להתייחס. ב-Education Week טום ונדר ארק פרסם מאמרון בו הוא כינה את החוברת “חשובה”. היה צפוי שהחוברת תמצא חן בעיני ונדר ארק. אפשר להגיד שכותרת המאמרון שלו:

היתה כמעט צפויה – ונדר ארק ידוע כאחד שמתלהב מהיוזמות הדיגיטאליות של חברות גדולות. אין בכך שום פסול, אם כי במקום שהמאמרון שלו יתייחס לחוברת וירחיב על הרעיונות שבה הוא פשוט מתקצר אותה.

באתר של NPR אנייה קמנץ כותבת על החוברת וגם מדווחת על ראיון שהיא ערכה עם אחת מכותביה. ההתייחסות של קמנץ ביקורתית, אבל להבדיל מקראשן היא איננה מוצאת כוונות נסתרות בעייתיות. קמנץ מציינת שכאשר מדובר בהקניית יכולות רגשיות סביר להניח שמורים אנושיים טובים יותר מאשר מכונות ואלגוריתמים, אבל בעיניה אין זה אומר שבחינוך תמיד יעדיפו אנשים על מכונות. היא כותבת:

to beat people out for jobs, computer systems don’t necessarily have to be better at those jobs…. Because they work, more or less, for free.
מחברי החוברת אינם מבטלים את מקומם של המורים בנעשה החינוכי. הם אפילו מדגישים ששילוב מוצלח של הבינה המלאכותית בחינוך דורש שיתוף פעולה עם מורים. ובכל זאת, מורגש שבעתיד במקרה הטוב המורים עשויים לסייע לאלגוריתמים יותר מאשר האלגוריתמים לשרתו את המורים. קמנץ בוודאי צודקת כאשר היא מציינת שכתוצאה מהצלחת ה-AIEd, אם כי לא בהכרח מהחזון שלה, ההשפעה של המורים (האנושיים) על תהליך הלמידה תצומצם. היא צודקת גם בקביעה שעם חדירת ה-AIEd אנחנו עתידים לראות ריבוד מעמדי: תלמידים ממשפחות בעלות אמצעים יזכו למורים אנושיים ואילו תלמידים עניים ישבו מול צגי מחשב והתקדמותם בלימודים תיקבע על ידי אלגוריתמים.

הביקורת של קמנץ איננה חריפה כמו זאת של קראשן. היא אמנם מזהה נקודות מדאיגות בחוברת של פירסון, אבל להבדיל מקראשן היא איננה חוששת לשלום תלמידי בתי הספר אם וכאשר הרעיונות שבחוברת ייושמו. אבל כאשר מצרפים את הביקורת של קמנץ לזאת של קראשן התמונה העתידית של הבינה המלאכותית בחינוך נראית הרבה פחות נוצצת מאשר זאת שחברת פירסון מציירת. דווקא לא צריכים להיות פרנואידיים על מנת להרגיש שסדר היום האלגוריתמי של הבינה המלאכותית בחינוך עלול להרע לתלמידי בתי הספר.