על חלום כזה אפשר לוותר

לפני חודשיים ה-Learning Agency Lab, חברה פרטית במדינת אריזונה, יחד עם Georgia State University, הכריזו על תחרות להכנת אלגוריתם שיוכל להעריך את הכתיבה של תלמידים בגילאי חטיבות הביניים והעליונה. מטרת התחרות:

to spur the development of open-source algorithms that help struggling students dramatically improve in writing

בעוד שלושה שבועות שלב ההרשמה לתחרות תסתיים, ולפי דף ה-kaggle של התחרות נכון לעכשיו יש מעל 1600 צוותים שהכריזו על השתתפותם בתחרות.

זאת איננה התחרות הראשונה שנערכת במטרה לבנות אלגוריתם שיוכל לקרוא ולהעריך את הכתיבה של תלמידים. במהלך השנים היו רבים כאלה. פיטר גרין (Peter Greene), במאמרון בבלוג שלו, מכנה את השאיפה לאלגוריתם כזה “החלום שמסרבת למות”. גרין מצטט מדף התחרות שמוסר שנכון ליום קיימים מגוון כלים אוטומטיים למתן משוב על כתיבה, אבל כולם מוגבלות. לזה גרין מגיב בעוקצנות:

Primarily they are limited because they don’t work very well.

האם יש סיכוי שמי שיזכה בפרס של התחרות הנוכחית אכן יצליח במה שעד עכשיו נכשלו? מפעילי התחרות חושבים שהסיכוי לכך טוב, וזה משום שהם מעמידים לרשות המתחרים מאגר עצום של דוגמאות כתיבה של תלמידים – מאגר שלפי מפעילי התחרות כבר עבר בדיקה והערכה אצל “מומחים” בתחום הערכת כתיבה של תלמידים. מדובר בשני מאגרים – אחד עם 25,000 חיבורי תלמידים, והאחר עם 7,000. הערכת הכתיבה של האלגוריתם המנצח תצטרך להתאים להערכה של המומחים האנושיים.

מנהלי התחרות מסבירים את הערך החשוב אשר בבניית אלגוריתם מוצלח:

If successful, you’ll make it easier for students to receive feedback on their writing and increase opportunities to improve writing outcomes. Virtual writing tutors and automated writing systems can leverage these algorithms while teachers may use them to reduce grading time. The open-sourced algorithms you come up with will allow any educational organization to better help young writers develop.

גרין מתייחס לתחרות בכללותה עם מידה גדושה של ציניות. עבורו האלגוריתם איננו קורא (ובוודאי איננו “מבין”) את מה שהתלמיד כותב. עבור האלגוריתם החיבורים אינם כתיבה, אלא נתונים שניתן לנתח, וצריך להיות ברור שניתוח נתונים איננו דומה לקריאה אנושית. אלגוריתמים בסך הכל יכולים לבחון את אוצר המילים, את תקינות המשפטים ואת מבנה החיבור באופן כללי. בין זה לבין קריאה של ממש יש פער עצום, וגרין סבור שהתחרות לא תוכל להניב כלי מוצלח. זאת ועוד: מבחינתו יש בעיה רצינית יותר מאשר העובדה שהאלגוריתם איננו באמת בוחן כתיבה. מה שחמור יותר הוא עצם ההסתמכות על אלגוריתם שמנתק את הכתיבה האנושית מהעין האנושית שאמורה לראות אותה. לדעתו כשלון התחרות, ותחרויות דומות, מובטח:

particularly as long as some folks believe that data crunching machines can uplift young humans.

אני נוטה להסכים עם גרין, אם כי כבר פעמים רבות התברר לנו שהנבואה שהמחשב לעולם לא יוכל לעשות את מה שהאדם עושה התגלתה כמשאלת לב ואפילו כתקוות שווא. פעם אחר פעם גילינו שיש דברים “אנושיים” שהמחשב דווקא כן יכול לעשות. הרי בודק האיות ואפילו בודק התחביר של Word כבר מובנים מעליהם אצלנו. לאור זה לא מומלץ לנבא שאלגוריתם לא יוכל לעזור לתלמידים לכתוב. אבל נדמה לי שיש בתחרות הזאת בעיה יותר גדולה מאשר היכולת או העדר היכולת של המחשב לבדוק את הכתיבה של תלמידים.

לעתים קרובות התנופה לבניית כלים שיוכלו לקרוא ולהעריך את הכתיבה של תלמידים מתהדרת במונחים של שוויון הזדמנויות. כך גם עם התחרות הנוכחית. באתר התחרות מספרים לנו שתלמידים משכבות חלשות אינם לומדים לכתוב בצורה שמאפשרת להם להתקדם – הן בלימודים והן בעולם העבודה:

Unfortunately, low-income, Black and Hispanic students fare far worse, with less than 15 percent considered proficient writers.

לאור זה, פועל יוצא של המצב הזה הוא הצורך לקדם את התלמידים האלה כדי שהם יידעו לכתוב טוב יותר. ואכן, מוסרים לנו ש:

One way to help students improve their writing is to give students more opportunities to write and receive feedback on their writing.

ובהמשך ישיר של אותה פסקה אנחנו קוראים על הקושי אשר בדבר: כיצד נותנים לתלמידים האלה את המשוב הדרוש? וכאן נכנס ההערכה האוטומטית:

However, assigning more writing to students places a larger burden on teachers to generate timely feedback. One potential solution is the use of automated writing evaluation (AWE) systems, which can evaluate student writing and provide feedback independently.

אין צורך לקרוא בין השורות כדי להבין שיש כאן ריבוד מעמדי מאד ברור: ילדים משכבות אוכלוסייה מבוססות כנראה ימשיכו לזכות במשוב אנושי, ואילו ילדים משכבות חלשות יקבלו את העזרה שהטכנולוגיה מספקת. המצב הזה מעלה שאלה מעניינת: אם טכנולוגיות חינוכיות כל כך רצויות, כיצד נסביר שמכוונים אותן דווקא לאוכלוסיות החלשות? הרי ברור שהשכבות המבוססות יכולות לשלם עבור הקידמה הטכנולוגית. הבתים וכלי הרכב של השכבות האלו מצוידים בחומרות ובתוכנות החדישות ביותר. למה, אם כן, איננו שומעים דרישה מהורי השכבות האלו שהחיבורים של ילדיהם ייבדקו באמצעות אלגוריתם? זה איננו סוד שהשכבות האלו מעדיפות מגע אישי. הרובוטים החינוכיים (או ליתר דיוק ה-“הוראתיים”) פותרים את הבעיה עבור אלה שאינם יכולים לדרוש את המגע האנושי, ומשום מה מציגים את הפער המעמדי הברור הזה כדאגה לשכבות החלשות שבעצם “זוכים” לחידושים שהקידמה הטכנולוגית מציעה.

רצוי לשים לב לכך שמעבר למס השפתיים לדאגה לזמן של המורה, מטרת התחרות איננה להקל על המורה. יתכן אפילו שיש כאן מטרה סמויה – לצמצם את הצורך במורה. במסווה של סיוע לתלמידים חלשים מוציאים את המגע האנושי מהתמונה החינוכית באופן כללי, ומעבירים את הכסף שבעבר הגיע למורים לחברות הטכנולוגיות.

נדמה לי שכולם מסכימים שכדי שתלמידים ילמדו לכתוב כתיבה מוצלחת חשוב שהם יקבלו משוב. אינני שולל את המשוב הטכנולוגי כמו זה שב-Word. אמנם מעולם לא בדקתי את Grammarly, אבל אני מוכן להאמין שבאמצעותו תלמידים יכולים לקבל משוב שעוזר לשפר את כתיבתם. אבל במקרים האלה המשוב מגיע ישירות לתלמיד תוך כדי הכתיבה ומאפשר לו לשפר את הכתיבה שלו – כתיבה שבהמשך אמורה להגיע לעיניים אנושיות. התחרות הנוכחית מבקשת להוציא את העיניים האלו מהתהליך הזה. בדרך הזאת מבטלים את השאיפה לתקשורת אשר בגללה אנחנו כותבים. אם אף אחד לא יקרא את מה שתלמידים כותבים, למה שיכתבו בכלל? אבל בעיני מפעילי התחרות, בשביל אוכלוסיות חלשות “עיני” האלגוריתם כנראה מספיקות. ממילא אנחנו רוצים שהתלמידים האלה יידעו לכתוב כדי שהם יוכלו לקבל משרות עבודה סבירות, ולא מפני שמישהו באמת מעוניין בדעתם או רוצה לדעת מה שיש להם להגיד.