על חלום כזה אפשר לוותר

לפני חודשיים ה-Learning Agency Lab, חברה פרטית במדינת אריזונה, יחד עם Georgia State University, הכריזו על תחרות להכנת אלגוריתם שיוכל להעריך את הכתיבה של תלמידים בגילאי חטיבות הביניים והעליונה. מטרת התחרות:

to spur the development of open-source algorithms that help struggling students dramatically improve in writing

בעוד שלושה שבועות שלב ההרשמה לתחרות תסתיים, ולפי דף ה-kaggle של התחרות נכון לעכשיו יש מעל 1600 צוותים שהכריזו על השתתפותם בתחרות.

זאת איננה התחרות הראשונה שנערכת במטרה לבנות אלגוריתם שיוכל לקרוא ולהעריך את הכתיבה של תלמידים. במהלך השנים היו רבים כאלה. פיטר גרין (Peter Greene), במאמרון בבלוג שלו, מכנה את השאיפה לאלגוריתם כזה “החלום שמסרבת למות”. גרין מצטט מדף התחרות שמוסר שנכון ליום קיימים מגוון כלים אוטומטיים למתן משוב על כתיבה, אבל כולם מוגבלות. לזה גרין מגיב בעוקצנות:

Primarily they are limited because they don’t work very well.

האם יש סיכוי שמי שיזכה בפרס של התחרות הנוכחית אכן יצליח במה שעד עכשיו נכשלו? מפעילי התחרות חושבים שהסיכוי לכך טוב, וזה משום שהם מעמידים לרשות המתחרים מאגר עצום של דוגמאות כתיבה של תלמידים – מאגר שלפי מפעילי התחרות כבר עבר בדיקה והערכה אצל “מומחים” בתחום הערכת כתיבה של תלמידים. מדובר בשני מאגרים – אחד עם 25,000 חיבורי תלמידים, והאחר עם 7,000. הערכת הכתיבה של האלגוריתם המנצח תצטרך להתאים להערכה של המומחים האנושיים.

מנהלי התחרות מסבירים את הערך החשוב אשר בבניית אלגוריתם מוצלח:

If successful, you’ll make it easier for students to receive feedback on their writing and increase opportunities to improve writing outcomes. Virtual writing tutors and automated writing systems can leverage these algorithms while teachers may use them to reduce grading time. The open-sourced algorithms you come up with will allow any educational organization to better help young writers develop.

גרין מתייחס לתחרות בכללותה עם מידה גדושה של ציניות. עבורו האלגוריתם איננו קורא (ובוודאי איננו “מבין”) את מה שהתלמיד כותב. עבור האלגוריתם החיבורים אינם כתיבה, אלא נתונים שניתן לנתח, וצריך להיות ברור שניתוח נתונים איננו דומה לקריאה אנושית. אלגוריתמים בסך הכל יכולים לבחון את אוצר המילים, את תקינות המשפטים ואת מבנה החיבור באופן כללי. בין זה לבין קריאה של ממש יש פער עצום, וגרין סבור שהתחרות לא תוכל להניב כלי מוצלח. זאת ועוד: מבחינתו יש בעיה רצינית יותר מאשר העובדה שהאלגוריתם איננו באמת בוחן כתיבה. מה שחמור יותר הוא עצם ההסתמכות על אלגוריתם שמנתק את הכתיבה האנושית מהעין האנושית שאמורה לראות אותה. לדעתו כשלון התחרות, ותחרויות דומות, מובטח:

particularly as long as some folks believe that data crunching machines can uplift young humans.

אני נוטה להסכים עם גרין, אם כי כבר פעמים רבות התברר לנו שהנבואה שהמחשב לעולם לא יוכל לעשות את מה שהאדם עושה התגלתה כמשאלת לב ואפילו כתקוות שווא. פעם אחר פעם גילינו שיש דברים “אנושיים” שהמחשב דווקא כן יכול לעשות. הרי בודק האיות ואפילו בודק התחביר של Word כבר מובנים מעליהם אצלנו. לאור זה לא מומלץ לנבא שאלגוריתם לא יוכל לעזור לתלמידים לכתוב. אבל נדמה לי שיש בתחרות הזאת בעיה יותר גדולה מאשר היכולת או העדר היכולת של המחשב לבדוק את הכתיבה של תלמידים.

לעתים קרובות התנופה לבניית כלים שיוכלו לקרוא ולהעריך את הכתיבה של תלמידים מתהדרת במונחים של שוויון הזדמנויות. כך גם עם התחרות הנוכחית. באתר התחרות מספרים לנו שתלמידים משכבות חלשות אינם לומדים לכתוב בצורה שמאפשרת להם להתקדם – הן בלימודים והן בעולם העבודה:

Unfortunately, low-income, Black and Hispanic students fare far worse, with less than 15 percent considered proficient writers.

לאור זה, פועל יוצא של המצב הזה הוא הצורך לקדם את התלמידים האלה כדי שהם יידעו לכתוב טוב יותר. ואכן, מוסרים לנו ש:

One way to help students improve their writing is to give students more opportunities to write and receive feedback on their writing.

ובהמשך ישיר של אותה פסקה אנחנו קוראים על הקושי אשר בדבר: כיצד נותנים לתלמידים האלה את המשוב הדרוש? וכאן נכנס ההערכה האוטומטית:

However, assigning more writing to students places a larger burden on teachers to generate timely feedback. One potential solution is the use of automated writing evaluation (AWE) systems, which can evaluate student writing and provide feedback independently.

אין צורך לקרוא בין השורות כדי להבין שיש כאן ריבוד מעמדי מאד ברור: ילדים משכבות אוכלוסייה מבוססות כנראה ימשיכו לזכות במשוב אנושי, ואילו ילדים משכבות חלשות יקבלו את העזרה שהטכנולוגיה מספקת. המצב הזה מעלה שאלה מעניינת: אם טכנולוגיות חינוכיות כל כך רצויות, כיצד נסביר שמכוונים אותן דווקא לאוכלוסיות החלשות? הרי ברור שהשכבות המבוססות יכולות לשלם עבור הקידמה הטכנולוגית. הבתים וכלי הרכב של השכבות האלו מצוידים בחומרות ובתוכנות החדישות ביותר. למה, אם כן, איננו שומעים דרישה מהורי השכבות האלו שהחיבורים של ילדיהם ייבדקו באמצעות אלגוריתם? זה איננו סוד שהשכבות האלו מעדיפות מגע אישי. הרובוטים החינוכיים (או ליתר דיוק ה-“הוראתיים”) פותרים את הבעיה עבור אלה שאינם יכולים לדרוש את המגע האנושי, ומשום מה מציגים את הפער המעמדי הברור הזה כדאגה לשכבות החלשות שבעצם “זוכים” לחידושים שהקידמה הטכנולוגית מציעה.

רצוי לשים לב לכך שמעבר למס השפתיים לדאגה לזמן של המורה, מטרת התחרות איננה להקל על המורה. יתכן אפילו שיש כאן מטרה סמויה – לצמצם את הצורך במורה. במסווה של סיוע לתלמידים חלשים מוציאים את המגע האנושי מהתמונה החינוכית באופן כללי, ומעבירים את הכסף שבעבר הגיע למורים לחברות הטכנולוגיות.

נדמה לי שכולם מסכימים שכדי שתלמידים ילמדו לכתוב כתיבה מוצלחת חשוב שהם יקבלו משוב. אינני שולל את המשוב הטכנולוגי כמו זה שב-Word. אמנם מעולם לא בדקתי את Grammarly, אבל אני מוכן להאמין שבאמצעותו תלמידים יכולים לקבל משוב שעוזר לשפר את כתיבתם. אבל במקרים האלה המשוב מגיע ישירות לתלמיד תוך כדי הכתיבה ומאפשר לו לשפר את הכתיבה שלו – כתיבה שבהמשך אמורה להגיע לעיניים אנושיות. התחרות הנוכחית מבקשת להוציא את העיניים האלו מהתהליך הזה. בדרך הזאת מבטלים את השאיפה לתקשורת אשר בגללה אנחנו כותבים. אם אף אחד לא יקרא את מה שתלמידים כותבים, למה שיכתבו בכלל? אבל בעיני מפעילי התחרות, בשביל אוכלוסיות חלשות “עיני” האלגוריתם כנראה מספיקות. ממילא אנחנו רוצים שהתלמידים האלה יידעו לכתוב כדי שהם יוכלו לקבל משרות עבודה סבירות, ולא מפני שמישהו באמת מעוניין בדעתם או רוצה לדעת מה שיש להם להגיד.

אז יש לנו נתונים, מה עכשיו?

בין אמצע אוקטובר לתחילת נובמבר טוני בייטס פרסם באתר שלו שש סקירות על המאמרים/המחקרים שהתפרסמו בגליון Distance Education של אוגוסט השנה. מדובר במהדורה מיוחדת שהוקדשה במלואה לנושא ניתוח הלמידה (Learning Analytics). מפני שאין גישה חופשית לכתב העת, בייטס סקר את המאמרים די בהרחבה. (נדמה לי שברוב הספריות האקדמיות בארץ יש גישה לכתב העת.) חמש הסקירות הראשונות הוקדשו, כל אחת, לאחד מחמישה המאמרים שבגליון, ואילו בשישית בייטס ביקש לסכם את התובנות שלו ולהסיק מספר מסקנות.

בייטס רואה טעם באיסוף וניתוח נתונים על לומדים מפני שהוא מקווה שזה יוביל לשיפור הלמידה. אבל הוא מתרשם שהחוקרים של המחקרים שהתפרסמו בכתב העת התעניינו יותר באיסוף הנתונים מאשר בשימוש בהם כדי לשפר את הלמידה. בכמה מהמחקרים הוא מוצא נקודות מעניינות, אבל לרוב הוא חש שהם עוסקים באיסוף נתונים לשמו. השלב החשוב, של השפעה על הלמידה, נעדרת מהם. מספר פעמים בסקירות שלו הוא מביע את התחושה שהאיסוף נעשה בצורה תלושה מתיאוריה בנוגע לכיצד לומדים, וכתוצאה מהתלישות התאורטית הזאת ניתוח הלמידה נעשה עקר. הוא גם רומז שאין זה מקרה של השמטה בטעות או בשכיחה, אלא בתפיסה בסיסית של למידת המכונה שגורסת שהתשובות נמצאות בנתונים. הוא כותב:

Merely identifying statistical patterns of behaviour is not enough in itself to lead to better student learning. There is a gap between identifying patterns and the actions needed to identify or address the issues resulting from the identification of the pattern. However, this is the goal (or dream) of AI: that the patterns themselves are self-explanatory. They are not.

באופן די הגיוני בייטס מציין שלוש אוכלוסיות שעליהן היה ראוי, או לפחות אפשרי, שהנתונים ישפיעו: על הסטודנטים, על המרצים, או על אנשי המנהל. עבור כל אחת מהאוכלוסיות האלה הוא מציב את אותה השאלה – כיצד, כתוצאה מניתוח הנתונים שנאספים, הם צריכים לשנות את מה שהם עושים. הוא מציין שקורלציה וסיבתיות אינן אותו הדבר, והוא מדגיש שהטעות הגדולה של ניתוח הנתונים היא להניח שאם אכן מוצאים קורלציה זה באמת מסביר משהו. בנוסף, הוא חש שבמקום לנסות לענות על השאלה שהוא מעלה (כיצד, בעקבות הנתונים, צריכים להשתנות) העוסקים בניתוח הלמידה פשוט מחפשים את נתון הקסם שיוכל לחזות אם הסטודנט ילמד.

חשוב להדגיש שבייטס איננו שולל את העיסוק בניתוח הלמידה. הוא דווקא רואה בו ערך. הוא משבח את אחד המחקרים שבחן את ההשפעה של משחוּק בקורס אחד וכותב שבמקרה הספציפי הזה:

Learning analytics in this study was a means to an end, not an end in itself.

בהתייחסות שלו למחקר של האוניברסיטה הפתוחה של הממלכה המאוחדת שביקש לבחון מודלים שונים של הוראה על מנת לזהות מודלים שיובילו ללמידה יותר מוצלחת הוא מוצא שהמחקר עצמו היה מעניין ואף כדאי. עם זאת, משהו במחקר הזה אכזב אותו:

in terms of learning analytics identifying optimum learning design models, the researchers came out empty-handed.

אבל מעבר לנקודות האור האלה, הביקורת של בייטס די קטלנית. הוא חש שהרצון לאגור עוד ועוד נתונים משתלט עד שהחוקרים שוכחים שהסיבה שאוספים את הנתונים היא כדי להשפיע על כיצד המרצים מלמדים ו/או הסטודנטים לומדים:

When I read these papers, they seem so far removed from the reality of teaching and learning, either in a classroom or online. They are like machines running in their own universe that has nothing to do with the realities of teaching and learning. They are in most cases measuring the wrong things, mainly things that are both easy to count and are frequently occurring, but do not reflect phenomena that represent the actual learning or teaching process. Above all they do not respect the importance of human connections and agency.

ומעבר לכך, לפעמים הפספוס ממש גדול. בייטס כותב על אחד המחקרים שניסה לזהות מאפיינים אישיותיים של סטודנטים שנמצאים בסכנת כשלון. על פניו מדובר במטרה ראויה, אבל בייטס מדגיש שהמחקר לא ביקש להתערב אצל הסטודנטים אלא רק לחזות מראש מי עשוי להיות בסיכון. המצב הזה מטריד את בייטס כי בעיניו יש בכך הפקר חינוכי. הוא כותב:

Being ‘at risk’ is not an evil to be fixed but a source of hope. Identifying students at risk without relating the ‘risk’ to successful pedagogical interventions is unethical (talk to the medical profession about this). Students are individuals and as such need to be treated individually. Education is not a filtering exercise. This was not the intention of the study but the technology and the thinking behind it lends itself to that type of application.

אישית, אני ספקן יותר גדול מבייטס. הוא כן רואה פוטנציאל חיובי בניתוח הלמידה, ועל אף העובדה שאינני שולל את האפשרות הזאת, עדיין לא ראיתי הוכחות. כמו שבייטס כותב, המבחן של ניתוח הלמידה איננו בנתונים שמצליחים לאסוף, אלא בשימוש בנתונים האלה לשפר את ההוראה ואת הלמידה. עד היום נדמה לי שהאלגוריתמים אינם מגלים דברים שמורה טוב איננו מצליח לזהות. זאת ועוד: יש מקרים שבהם החיזוי באמצעות ניתוח הלמידה משרת את ההנהלות שיכולות לנפות לומדים פוטנציאליים מפני שהנתונים מצביעים על כך שהם עתידים להכשל במקום, כפי שבייטס מציע, לעודד התערבות חיובית שתעזור לסטודנט להצליח. עם זאת, הנכונות של בייטס לבחון לעומק כל אחד מהמאמרים/המחקרים האלה נובעת מכך שהוא כן רואה חיוב בניתוח הלמידה. ודווקא בגלל הגישה החיובית שלו כלפי התחום רצוי וחשוב לשים לב לביקורת שלו.

אולי כבר הגיע הזמן להכנע?

כן, אני יודע – כבר כתבתי על הנושא הזה מספר פעמים בעבר. אולי להגנתי אני צריך לציין שאני חוזר על עצמי לעתים קרובות בבלוג הזה … ואפילו את זה כבר כתבתי כמה פעמים. ובכל זאת, ככל שהנוף התקשובי/חינוכי ממשיך להתפתח, יש צורך, וגם הצדקה, לבחון אותו מחדש. או ליתר דיוק, לבחון אם הנחות היסוד שלי כלפי התקשוב בחינוך צריכות להשתנות לאור ההתפתחויות והשינויים בנוף התקשובי הזה.

בשנים האחרונות האוטומציה והרובוטיזציה חודרות יותר ויותר לתוך מקצועות הצווארון הלבן, ולפי לא מעט תחזיות החדירה הזאת עוד תמשיך ותעמיק, ותכבוש עוד ועוד מקצועות. האם התהליך המואץ הזה מאיים גם על פרנסתם של מורים? האם אנחנו מגיעים לשלב שבו המחשב יכול להחליף את המורה (אם בכיתה, ואם בסביבות למידה שכבר אינן מבוססות כיתה גשמית)? עצם העובדה שכבר כתבתי על הנושא הזה בעבר מראה שזאת איננה שאלה חדשה. אבל למען האמת, לא רק שהיא איננה חדשה – היא די ישנה. בשנות ה-50 איזק אסימוב פרסם סיפור קצר (The Fun They Hadבעברית בתרגום שלי]) בו ילדים לא הלכו לבית ספר, אלא למדו, כיחידים, מהבית באמצעות רובוט. וכבר אז לא היה מדובר במדע בדיוני – הרי באותה תקופה פותחו מכונות ההוראה של סקינר.

פעמיים בעבר (לפני כמעט שנה, ולפני בערך שנתיים וחצי) ציטטתי משפט שמשייכים או לארתור קלארק או לדייוויד תורנברג:

Any teacher that can be replaced by a computer deserves to be.
בנוסף לפעמיים האלו, ציטטתי גם את גארי סטייגר לפני חמש שנים שכתב כמעט את אותו הדבר. פחות או יותר בכל הפעמים האלו הדגשתי שיותר מאשר מדובר באיום על המורה, מדובר בנסיון לזהות את הייחוד של המורה האנושי. הרי היום מערכות חינוכיות דורשות מהמורים לעסוק במגוון רחב של פעילויות שהן בעיקר ניהוליות. אם מורה בסך הכל מעביר מידע לתלמידיו מהספר ודואג לניהול תקין של הכיתה שלו, למה לא לתת לרובוט לעשות את זה. ואם נוכל להעביר תפקידים לא חינוכיים כאלה למחשב, זה עשוי לשחרר את המורה להתמקד בפעילות חינוכית. לאור זה יש טעם לציין שסקינר עצמו ראה במכונות ההוראה שלו אמצעי לשחרר את המורה מפעילויות שלא היו בעיקר חינוכיות. בשנות ה-50 הוא כתב:
Will machines replace teachers? On the contrary, they are capital equipment to be used by teachers to save time and labor. In assigning certain mechanizable functions to machines, the teacher emerges in his proper role as an indispensable human being. He may teach more students than heretofore — this is probably inevitable if the world-wide demand for education is to be satisfied — but he will do so in fewer hours and with fewer burdensome chores. (The Technology of Teaching, p. 69-70)
על קביעה כזאת אפשר בהחלט לברך. מי יכול להתנגד לכך שמורה לא רק יוכל להתמקד בתפקידים חינוכיים (“בתפקיד הראוי שלו בהיותו בן אדם חיוני”) אלא גם יעבוד פחות שעות? אבל האם זה אכן מה שקורה? כתבה ב-The Economist מיוני השנה התייחסה לדוח של חברת פירסון (עליו כתבתי לפני כמעט שנה) ומתארת מציאות טיפה אחרת:
In a report published in February, Pearson suggests that AI could make learning “more personalised, flexible, inclusive and engaging”. Such systems do not replace teachers, but allow them to act as mentors rather than lecturers.
אולי זה נשמע בסדר, אבל חשוב להבין שלפי ההיררכיה החינוכית סטטוס המנטור, המנחה, נמוך בהרבה מזה של המרצה. לפי התפיסה הזאת אלה שימלאו את התפקיד הזה יעבדו קשה יותר מול יותר תלמידים, עם תמורה כספית קטנה יותר. כתבה ב-Forbes מאפריל 2016 שמתארת עשרה מקצועות של הצווארון הלבן שהרובוטיזציה מאיימת עליהם מדייקת יותר בנוגע לעתיד המורה:
The job of teachers will definitely change with the digitization. Studies have already shown that algorithms used to customize leaning to individual pupils based on their progress and understanding can be more effective than a human teacher. While this may be a boon to school districts desperate to find qualified individuals to teach, it may also eventually reduce the role of classroom teacher to that of proctor or babysitter — or eliminate it altogether.
צריך להיות ברור שהשמרטף לא יזכה לאותו כבוד שהמורה מקבל, ובוודאי גם לא לאותה משכורת. אבל אם, כפי שהכתבה של Forbes רומזת, האלגוריתמים יכולים להיות יותר יעילים מאשר המורה האנושי, זאת הבעיה של המורה (לשעבר), ולא של המערכת שזכאית להחליט כיצד לחסוך כסף. אבל משפט נוסף בכתבה של The Economist מאיר פן נוסף של הנושא הזה. אנחנו קוראים ש:
Even outside the AI community, there is a broad consensus that technological progress, and artificial intelligence in particular, will require big changes in the way education is delivered, just as the Industrial Revolution did in the 19th century.
חשוב לשים לב כאן שלא כתוב “שינויים גדולים בחינוך”, אלא “שינויים גדולים בדרך שבה החינוך נמסר” (או “מועבר”, או “מוגש” – delivered באנגלית). הטכנולוגיה אולי משתנה, אבל החינוך עדיין נתפס כתהליך של מסירה, של העברת “ידע” ממקור מוסמך לדור הצעיר שאמור “לרכוש” אותו. האמצעים של העברת הידע אולי משתכללים, אבל התהליך נשאר כפי שהיה. ודווקא בהעברת “ידע” או בהקנייתו המחשב עשוי להיות הרבה יותר “יעיל” מאשר המורה האנושי.

זאת ועוד: סקינר אולי חלם על האפשרות לשחרר את המורה מכבלי העבודה הניהולית, אבל כאשר הגירסאות הדיגיטאליות של המכונות שלו יטפלו במסירת הידע, הן עשויות גם להפוך את העיסוק הניהולי והשמרטפי למלאכה הבלעדית של המורה.

אבל שוב, כל זה ידוע, ואיננו מחדש דבר. למה אני כותב על זה (שוב) עכשיו? לפני כשבוע טים סטאמר התייחס לכתבה חדשה ב-The Guardian שבדומה לכתבה ב-Forbes ביקשה לתאר כיצד האוטומציה תשפיע על מספר מקצועות, כולל על ההוראה. סטאמר מגיב שבנוגע לחינוך:

His sole example of MOOCs, in which college professors (more likely adjunct staff are doing the actual work) assemble a collection of readings and videos for students to consume in a specific order, is certainly all about presenting data for the invisible student on the other side to absorb.

But is that “teaching”?

סטאמר, שבמשך שנים רבות עסק בתקשוב בחינוך בבתי ספר במדינת וירג’יניה, יצא לפנסיה לפני שנה. אבל הוא ממשיך לכתוב על הנושא. נדמה לי שאני מבוגר ממנו, אבל סביר להניח שאנחנו פחות או יותר מאותו הדור. וכמוהו, אני שואל אם הקניית ידע לתלמידים היא “הוראה”. אבל כאשר קראתי את הכתבה שאליה הוא התייחס מצאתי את עצמי שואל למה המורה צריך להיות שונה מעורכי דין, או מעיתונאים, או מתרפיסטים. אם אני מסכים שהדיגיטאליות הולכת ומשתלטת על כל יתר המקצועות שתוארו בכתבה, למה לא גם מורים? מה כל כך מיוחד בחינוך שהוא יכול להיות חסין מול האלגוריתם? סטאמר מוסיף:
Maybe I’m just a traditionalist but I’d like to think that all of those professions, especially the art of teaching, will always require a human touch to do well.
במילים אחרות, אפילו אם אני רוצה לחשוב שסטאמר צודק, אולי הנסיון לאחוז בייחודיות של ההוראה איננה מוצדקת. אולי הגיע הזמן להודות שהאלגוריתמים באמת כבר מספיק טובים, ולקבל את הדין שהרובוט הדיגיטאלי יוכל בקלות למלא את מקומו של המורה האנושי. ואם כך, אולי עוד לפני שאני מגיע לפנסיה (דווקא די בקרוב) עלי ללמוד להסתפק במשכורת של שמרטף.