מחבר: יענקל

לפני חודש, באתר The Conversation, שירי מלומד (Shiri Melumad) מרצה במחלקה לשיווק באוניברסיטה של פנסילבניה פרסמה כתבה שסקרה מחקר שהיא, עם שותף, ערכה שהשווה בין "עומק הלמידה" בעקבות מידע שהושג דרך החיפוש המסורתי של גוגל מול מידע שהושג דרך השימוש בכלי AI כמו ChatGPT. מסקנת המחקר מופיעה בכותרת הכתבה:

Learning with AI falls short compared to old-fashioned web search

לא ידעתי מה לצפות מהמחקר הזה, אם כי לא היה קשה לנחש, אפילו מקריאת הכותרת בלבד. הנחתי שמפני שהחיפוש הוא פעולה יחסית אקטיבית המחקר יגלה שהלמידה שמתרחשת דרך חיפוש מידע בגוגל מעמיקה יותר מאשר דרך כלי LLM. עבורי לפחות, קל מאד לאמץ את הקביעה של מלומד שהשימוש ב-LLM, שהיא לרוב נטולת מאמץ, יוצר תחושת "למידה" דלה ושטחית. ואכן מלומד כותבת:

However, a new paper I co-authored offers experimental evidence that this ease may come at a cost: When people rely on large language models to summarize information on a topic for them, they tend to develop shallower knowledge about it compared to learning through a standard Google search.

המחקר, שכזכור מוצא ערך בחיפוש מידע דרך גוגל, התפרסם באוקטובר, ומעניין שפגשתי אותו סמוך למאמרון הקודם כאן בו ציטטתי את ג'וסטין רייך (Justin Reich) שטען שסטודנטים רבים מדי אינם יודעים לערוך חיפוש מידע מושכל דרך גוגל. ללא קשר לביקורת של רייך, אני מעדיף את החיפוש ה-"מסורתי" על השימוש ב-AI אבל דווקא בגלל ההעדפה הזאת הרגשתי צורך לקרוא את המחקר המלא. חששתי שבדומה למחקר של נטליה קוסמינה ב-MIT שגם עליו כתבתי, אגלה שלפחות לטעמי מסקנות המחקר אינן בדיוק נתמכות על ידי המחקר עצמו. לשמחתי, התבדיתי.

מצאתי מחקר שעשה מאמצים לבחון אם באמת יש הבדל בלמידה, או באיכות הלמידה, בין החיפוש ברשת ה-"מסורתי" לבין השימוש ב-AI על מנת לקבל מידע. הוא נבנה מארבעה חלקים שונים. בחלק הראשון, שבו השתתפו מעל אלף סטודנטים, הסטודנטים חולקו לשתי קבוצות שהתבקשו להכין הנחייה לעמית בנושא של גידול גינת ירק. לשם הכנת ההנחיות קבוצה אחת חקרה את הנושא באמצעות חיפושי גוגל "רגילים", ואילו הקבוצה השנייה השתמשה ב-ChatGPT. התוצאות היו ברורות – המשתתפים שערכו חיפושים דרך גוגל לפני שהם הכינו את ההנחיות שלהם הרגישו שהם למדו יותר על הנושא, ובדיקה של מה שהמשתתפים כתבו הראתה תוכן עשיר ומגוון יותר. בחלק השני (עם כ-2000 משתתפים) המשתתפים שוב חולקו לקבוצה של חיפוש דרך גוגל וקבוצה של ChatGPT, אבל היתה כאן אחיזת עיניים מסוימת – בעצם, החוקרים הגישו את אותן התוצאות לשתי הקבוצה, כאשר רק אמצעי ההגעה למידע היה שונה. המשתתפים בקבוצת ה-ChatGPT ציינו שהם למדו פחות מאשר קבוצת הגוגל.

החלק השלישי ביקש לבודד עוד יותר את ההבדלים. 250 משתתפים חולקו לקבוצה אחת שחיפשה דרך גוגל, ולקבוצה שנייה שהשתמשה ב-AI Overview של גוגל. (בניסוי הזה המטלה לא היתה להסביר כיצד לגדל גינת ירק, אלא כיצד לחיות חיים יותר בריאים.) וגם הפעם, התוצאות היו דומות. המעורבות בהכנת ההנחיות של קבוצת החיפוש היתה גדולה יותר, וגם התוצאות היו עשירות יותר. בחלק הרביעי התוצאות של 250 המשתתפים בחלק השלישי הוגשו ל-1500 קוראים שהתבקשו לדרג את איכות המידע שהופיע בסיכומים השונים. ושוב, הסיכומים של אלה שהשתמשו בחיפוש ה-"רגיל" של גוגל נחשבו איכותיים יותר מאשר אלה של ה-AI Overview. (רצוי להדגיש כאן שניסיתי לתמצת בנאמנות מחקר די מורכב, ומומלץ לא להסתמך על הסיכום שלי, אלא לקרוא את המחקר המלא.)

מכל זה נדמה לי שיש כיסוי לקביעה של מלומד שכותבת:

learning from synthesized LLM responses led to shallower knowledge compared to gathering, interpreting and synthesizing information for oneself via standard web links.

דווקא מפני שמראש היתה לי נטייה להסכים עם תוצאות המחקר של מלומד, התוצאות האלה גרמו לי אי-נוחות מסוימת. אנחנו תמיד שמחים למצוא סימוכין לדעות שלנו, וקצת זהירות כלפי מסקנות שאנחנו מעוניינים להסיק איננה יכולה להזיק. כמו-כן, אי-הנוחות קשורה לשאלה חינוכית עתיקת יומין – האם צריכים לסבול (או לפחות להתאמץ) על מנת ללמוד משהו באופן יסודי.

מלומד מציינת שאחד העקרונות הבסיסיים ביותר של פיתוח מיומנויות הוא מעורבות פעילה במה שמבקשים ללמוד. היא כותבת שכאשר הלמידה על נושא כלשהו נעשה באמצעות חיפוש בגוגל:

we face much more “friction”: We must navigate different web links, read informational sources, and interpret and synthesize them ourselves

ואילו כאשר אנחנו פונים ל-LLM העבודה נעשית עבורנו ותהליך הלמידה היא פסיבית. הלומד איננו מעורב אישית בתהליך, והתוצאה היא למידה שטחית. מלומד משתמשת במונח disfluency (אולי "העדר שטף") ומסבירה כיצד הוא מתקשר למחקר שהיא ערכה:

learning through web search involves a particular type of disfluency: the need to engage in trial-and-error navigation among result links, discovering which are suitable for the question at hand, and then interpreting and synthesizing the different pieces of information for oneself.

היה לי מעניין, אגב, לראות שבמראי המקומות של המחקר מלומד מקשרת למאמר משנת 2013 שנחשפתי אליו, נדמה לי, ב-2015 ומאד אהבתי – The Benefits of Cognitive Disfluency מאת אדם אלטר (Adam Alter). מדובר במאמר מאד נחמד, אם כי לא במיוחד מעמיק. הטענה העיקרית של אלטר היא שעל מנת ללמוד משהו רצוי שניתקל במידה מסוימת של קושי. וכאן אי-הנוחות. אינני דוגל בכך שלשם הלמידה מורים ומרצים יאלצו את הסטודנטים שלהם לסבול. ובכל זאת יש הגיון בכך שכאשר אנחנו פוגשים קושי מסוים, או צריכים להשקיע מאמץ, הסיכוי שנפנים את הנלמד גדל.

אבל המצב הזה מעמיד אותי מול שתי דילמות – האם בכלל נכון לגייס כלים טכנולוגיים כדי להקל על לומדים, והאחרת, אם דווקא כין רצוי להקל, למה לחייב כלים מלפני עשור אבל לשלול כלים מקלים, כמו כלי LLM, של היום.

ברור שהחישובית הקלה על הסטודנט, וכך גם כלים נוספים – מבודק האיות בתמלילן ועד לגישה המהירה למידע דרך הרשת. אולי השימוש באלה היה טעות, וכמו שרבים היום טוענים, בסופו של תהליך ההקלות האלה פוגעות ביכולת הלמידה של הלומדים? מבחינתי האישית התשובה שלילית. הרי מול אותן "הקלות" יש גם יתרונות לימודיים ברורים. ה-"הקלות" האלה מאפשרות התמקדות בשטף העבודה (כאשר אין צורך להקפיד על איות, למשל), והן מזמינות הרחבה והעמקה בתחומים רבים. ספק אם היינו רוצים לוותר על אלה ובמקום זה לחייב את הלומדים להזיע יותר, אפילו אם אנחנו מבינים שיש מקרים שבהם ההזעה יכולה להוביל ללמידה טובה יותר.

אבל אם אינני שולל את הכלים התקשוביים של לפני עשור (ויותר), למה אני מתייחס בספקנות כלפי כלים חדשים שגם הם, לפחות לפי מפתחיהם, תורמים המון ללמידה. אולי טעיתי גם לגבי הכלים הישנים? רצוי לשים לב שלאחרונה יש ביקורת די חריפה כלפי כמעט כל דבר "טכנולוגי" בחינוך, שמגיעה אפילו עד לדרישה לסלק את המחשבים מהכיתות באופן גורף. (כמובן שגם העיפרון הוא טכנולוגיה, ויתכן שפעם גם התנגדו לשילובו בכיתה, אבל לא ידוע לי על ביקורת היום כלפי השימוש בעיפרון.) בגלל ההתנגדות הזאת חשוב להגן על הטכנולוגיה. אבל כאשר אנחנו עושים זאת חשוב להבחין בין מה מקדם את הלמידה ומה מעכב אותה. בנוסף למתנגדים לתקשוב יש חברות טכנולוגיות שאינן מבחינות בין מה תורם ומה פוגע ללמידה, והן מבקשות לשכנע אותנו שאי-אפשר לעצור את הקידמה. לכן חשוב להבהיר שמצעד הטכנולוגיה איננו רצף של שיפור מתמשך. הטכנולוגיות שאנחנו מאמצים משקפות את התפיסות ואת הערכים של החברה שלתוכה הן צומחות, וגם את התפיסות ואת הערכים של אלה שמפתחים אותן. החינוך רשאי, ואף צריך, לאמץ מה שיכול לקדם את הלמידה (וכמובן שאין תמימות דעים אצל אנשי חינוך בנוגע מהי באמת "למידה"). המחקר של מלומד, שמתמקד בערך החיובי של עשיית מאמץ, מאיר היבט של טכנולוגיה "ישנה" שדווקא נעדר בטכנולוגיות חדשות שמקלות, ומראה לנו שאין בושה בלא תמיד לצעוד עם ה-"קידמה".

לא כולם בחינוך עלו על רכבת ה-AI והכריזו שאחרי ה-ChatGPT מה שהיה כבר לא מה שיהיה. יש עדיין לא מעטים שרואים בכלי AI, ובמיוחד כלי LLM, לא יותר מאשר אמצעי יעיל להתחמקות מלמידה אמיתית (אם כי בכלל לא ברור מהי "למידה אמיתית"). ועל אף העובדה שעל פי רוב אינני מחשיב את עצמי כאיש מתון, דווקא בסוגיה הזאת נדמה לי שרצוי לנקוט בעמדה אי-שם באמצע – בעיקר מפני שהכלים האלה נמצאים בהשתנות, ובהתפתחות, מתמדת. בכתבה ב-Chronicle of Higher Education מחודש נובמבר, ג'וסטין רייך (Justin Reich), בפנייה לאנשי חינוך, נוקט בעמדה המהססת:

Stop Pretending You Know How to Teach AI

רייך מסביר את מה שצריך להיות מובן מאליו – טכנולוגיות ה-AI משתנות ומתקדמות בקצב מסחרר כך שמיום ליום אי-אפשר לדעת כיצד מתאים להשתמש בהם, קל וחומר מה אנחנו בכלל צריכים ללמד לגבי שימושם. רק לפני מספר חודשים רבים טענו שצריכים ללמד כיצד ליצור פרומפטים טובים (אולי בדומה להוראת יצירת שאילתא טובה בגוגל לפני דור), אבל נדמה לי שכבר די הרבה זמן לא נתקלתי בטענות כאלה. לפי רייך עדיין מוקדם לקבוע מהם הכישורים הדרושים לעידן ה-AI:

When educators rush to publish the skills of technology literacy before they actually have evidence about what those skills are, things can go very poorly.

לרייך נסיון רב בהטמעת התקשוב, והנסיון הזה בוודאי יכול להסביר למה הציפיות שלו כלפי הסיכוי להטמעה מוצלחת של טכנולוגיות חדישות אינן גדולות. בתחילת הכתבה הנוכחית, למשל, הוא מציין ש:

Our students cannot search effectively or parse what they find online: A recent study showed that only 4 percent of high-school students could recognize that a source offering “factual reports” on climate science was funded by the fossil-fuel industry. Efforts to teach skills related to these domains may be important, they may be well-intentioned, they may be urgent, but they objectively do not work very well.

אם זה המצב עם חיפוש מידע, מפחיד לחשוב כיצד "יילמדו" להשתמש בכלים כמו ChatGPT. ואכן, רייך כותב שטכנולוגיות חדשות מגיעות לבתי הספר יותר מהר מאשר אנשי חינוך מצליחים לקבוע כיצד רצוי להשתמש בהן וללמד איתן. נוצר מצב שבו "מומחים" למיניהם מפיקים רשימות והנחיות על השימוש בכלים האלה מבלי באמת להבין מה כדאי ומה לא. בצניעות מבורכת, השונה כל כך מהבטחון המופרז והפסקני של אלה שהשכם והערב מכריזים שה-AI תחולל שינויים מהותיים בחיים שלנו, רייך כותב:

Faculty should continually remind their students that we don’t yet understand good practice, so young people will probably find that what they first learned about using AI was wrong.

אבל על פי רוב הצניעות איננה זוכה לכותרות. אם רוצים כותרות עדיף לצאת בהכרזות פסקניות, גם אם אין להן כיסוי. ואם (מה, שוב?) ללמוד מההיסטוריה, רצוי לא לצפות להשפעה גדולה במיוחד על הלמידה. עוד ב-2012 ציטטתי כאן כתבה של רייך (הקישור בתוך הכתבה במאמרון ההוא כבר איננו פועל, אבל אפשר להגיע אליה כאן) שבה הוא סקר את השימוש בכלי ויקי בבתי ספר ומצא שברוב הגדול של המקרים מורים לא השתמשו בכלי בצורה האינטראקטיבית ושיתופית שאליה בוניו כיוונו. כבר אז רייך הסיק:

In general, our findings cohere with 30 years of educational technology research. There are a handful of teachers who make remarkable use of new technologies, but for the most part, when teachers adopt new technologies, they use them to extend existing practices rather than to develop innovative practices.

האם יש סיבה לחשוב שהיום, במציאות טכנולוגית שונה (מי בכלל זוכר שפעם ראו ערך לימודי בבניית כלי ויקי?), אבל עם בתי ספר שאינם שונים בהרבה מאלה של לפני 15 או 30 שנה, המצב יהיה שונה? נדמה לי שאין, אבל זה איננו רק מפני שאיננו יודעים מה בטכנולוגיות ה-AI יש ללמד, אלא גם, ואולי בעיקר, מפני שבאופן כללי איננו יודעים מה בכלל רצוי שתלמידים וסטודנטים ילמדו.

מיכאל קלוּן (Michael Clune) בכתבה מנובמבר ב-The Atlantic מצטט את הכתבה החדשה של רייך (וגם, כמו מאמרים רבים אחרים של החודשים האחרונים, מגייס את המחקר של נטליה קוסמינה ב-MIT כדי לשכנע שה-AI מזיקה ללמידה, גם אם, לפחות כפי שאני כתבתי כאן, המחקר רחוק מלשכנע). כמו רבים אחרים, קלוּן טוען שלפני שאפשר להפיק תועלת מהשימוש בכלי AI, על מערכות החינוך להכין את הסטודנטים לשימוש הזה על ידי בניית תשתית קוגניטיבית איתנה:

The first two to three years of university education should encourage students to develop their minds by wrestling with complex texts, learning how to distill and organize their insights in lucid writing, and absorbing the key ideas and methods of their chosen discipline.

והוא מוסיף, כנראה בקריצה לעולם ההיי-טק עם רמז שדווקא הגישה שלו היא זאת שדואגת לצרכים שלו, שהכישורים האלה הם הנחוצים במקומות העבודה החדשים.

אני בוודאי אינני מתנגד לכך שבוגרי מערכות החינוך – אם ב-K12 ואם בהשכלה הגבוהה – יזכו לתשתית קוגניטיבית איתנה ושהם ילמדו להתמודד עם טקסטים מורכבים. אני מניח שקשה למצוא אנשי אקדמיה שיתנגדו לדברים האלה. אבל קשה לא לתהות בנוגע להמלצות האופרטיביות של קלוּן. מוקדם יותר בכתבה שלו הוא כותב:

We don’t have good evidence that the introduction of AI early in college helps students acquire the critical- and creative-thinking skills they need to flourish in an ever more automated workplace, and we do have evidence that the use of these tools can erode those skills.

אבל קביעה כזאת מתבססת על ההנחה שהכישורים האלה, שלטענת קלוּן נשחקים, כבר קיימים אצל סטודנטים. ראוי להעמיד את ההנחה הזאת מול המאמרים הרבים של אנשי אקדמיה, מהרבה לפני פרוץ ה-AI, שטוענים שהכישורים האלה נעדרים גם אצל הסטודנטים של אתמול. במילים אחרות, גם אם אינני רוכש אהדה יתרה לשימוש בכלי AI בחינוך, במקרים רבים מדי העליהום כלפיהם, והטענות שהם הורסים את ההשכלה הגבוהה, מתעלמים מהעובדה שהמשבר שההשכלה הגבוהה נמצאת בו קיים הרבה לפני ה-AI.

בדומה לקלוּן, גם רייך סבור שסטודנטים בעלי ידע בתחומי הלימוד שלהם, להבדיל מסטודנטים שהיום מקבלים הכשרה בשימוש בכלי AI, עשויים להיות אלה שיידעו להפיק תועלת מה-AI. והוא מוסיף:

This, of course, is exactly the kind of knowledge and skills that colleges have been trying to nurture for centuries.

מעניין שרייך כותב שהמוסדות "מנסים להקנות" את הכישורים האלה. הצניעות שלו כלפי הדרך ללמד את השימוש בכלי AI ראוי לשבח (ומבוססת על נסיון חינוכי רב). אבל אם כבר במשך שנים רבות ההשכלה הגבוהה איננה מצליחה להקנות את הכישורים האלה, אולי ראוי לא רק להתייחס לדרישה להקנות את השימוש בכלי AI בספקנות, אבל גם לא להאשים את ה-AI בכשלי ההשכלה הגבוהה.

בחודשים האחרונים (ולמען האמת, כבר בשנתיים האחרונות) נעשה כמעט בלתי-אפשרי לכתוב על התקשוב בחינוך מבלי לכתוב גם על השימוש בכלי AI, ובמיוחד כלי LLM. דרוש מאמץ רציני לא לכתוב על אלה – נדמה אפילו שה-AI השתלטה באופן מוחלט על התחום ודחקה את כל מגוון הכלים האחרים הצידה. ואני מודה שלאחרונה גם אני נפלתי בפח הזה וכמעט כל מה שנכתב כאן עסק, בצורה זאת או אחרת, ב-AI. יש, כמובן, הגיון בכתיבה כזאת. הרי מידי יום מדווחים על הישגים חדשים של ה-AI בכל התחומים, אז למה לא גם בחינוך. אבל ההשתלטות הזאת היא גם פונקציה של העדר ראייה היסטורית שבו החינוך, באופן עקבי, מצטיין. לאורך השנים כל כלי חדש כאילו מבטיח שהוא הכלי שסוף-סוף יוכיח את כדאיות התקשוב בתהליכי למידה, והתוצאה היא רדיפה מתמדת, ללא שיקול דעת, אחרי החדש והנוצץ. לאור זה, לא מזיק אם מידי פעם ניזכר בהבטחות הגדולות שמשום מה לא הוכיחו את עצמם.

באיגרת שבועית שעליה אני מנוי – Ed & Tech must-reads – קולין סימפסון (Colin Simpson), איש אקדמיה אוסטרלי ששנים רבות עוסק בתקשוב בחינוך, פרסם תקציר על מחקר חדש שנערך על ידי שלושה אנשי אקדמיה ספרדיים:

Do audience response systems truly enhance learning and motivation in higher education? A systematic review

התקציר באיגרת של סימפסון ממקם את המחקר אי-שם בהיסטוריה הכמעט נשכחת:

Clickers! Remember them? Long since superseded by Kahoot, Mentimeter, Socrative and similar polling platforms but all part of the same beautiful learning and teaching fabric. Serrada-Sotil, Martinez and Granado-Peinado look at the impact of all of these classroom interactivity generators in this systematic review covering literature between 2018-2024. They find that many of the associated studies suffer from poor methodology and little consensus was found in terms of the value of these educational technologies. It does nonetheless provide a decent overview of scholarship in this field.

נדמה לי שהפעם האחרונה שבה נתקלתי בהתייחסות ל-!Kahoot או ל-Mentimeter במסגרת של ההשכלה הגבוהה היתה עוד בתקופת הקורונה, אם כי אני מניח שעוד נעזרים באלה ב-K12. ואני יודע על לפחות מוסד אקדמי אחד שבו מספר קופסאות של קליקרים עוד נמצאות בארון, כאבן שאין לה הופכין. במילים אחרות, מדובר בטכנולוגיה חינוכית שפעם נחשבה כתורמת ללמידה אבל די נשכחה. (אפליקציות כמו !Kahoot שזמינות בטלפונים הפכו את הקליקרים עצמם למיותרים, ולהשקעה די גדולה שהפכה לבזבוז של כסף.)

המחקר עצמו דווקא מעניין, אבל הוא השאיר אותי עם סימן שאלה גדול – לשם מה בכלל ערכו אותו. נדמה לי שמשפט הסיום של תקציר המחקר מצדיק את השאלה:

This review concludes, in line with similar works, that it is necessary to improve the methodological quality of research on ARS to obtain more robust evidence and to confirm their effects on learning and motivation in higher education.

במילים אחרות, המחקר לא בדק את כדאיות הכלים האלה, אלא אם המחקרים עליהם באמת בחנו את כדאיותם. עם כל הכבוד לרצון להקדיש מאמצים לבדיקה מעמיקה כזאת, קשה לי להאמין שהיום יש סיבה לחקור כלים שכמעט נעלמו, לא כלשכן את המחקרים עליהם.

במחקר עצמו החוקרים מדגישים שהמתודולוגיות של המחקרים שנערכו על Automatic Response Systems (כלי ARS) היו בעייתיות. אלה התמקדו, למשל, לא בלמידה, אלא בשביעות הרצון של הלומדים שהשתמשו בכלים האלה, הם נערכו ללא קבוצות ביקורת, ועוד. אבל גם אם איכות המחקר עבור כלי ARS היתה ירודה, האם בסוף שנת 2025 יש עדיין מישהו שיחליט לאמץ אחד מהכלים האלה מפני שמחקרים על השימוש בהם משכנעים אותו שיש להם השפעה חיובית על הלמידה? סביר יותר להניח שבמקרה הטוב ההחלטה להשתמש בכלים האלה נובעת פשוט מהרצון להכניס קצת אינטראקטיביות נעימה לתוך קורס, ולא מתוך הציפייה שתהיה לשימוש בהם השפעה משמעותית על הלמידה. נדמה לי שמחקר שבוחן את איכות המחקרים על השימוש בכלים האלה הוא בסך הכל משימה לחוקרים צעירים שפשוט זקוקים לנושא למחקר.

תוך כדי קריאת המחקר הזה נזכרתי שמספר פעמים בעבר לארי קובן (Larry Cuban) כתב על קליקרים בבלוג שלו. לפני שנה וחצי, למשל, הוא פרסם מאמרון עם הכותרת:

Classroom Technologies: Clickers

המאמרון הזה היה מוזר עבורי היות וב-2024 התקשיתי להאמין שהמכשירים האלה עדיין בשימוש (וקובן בכלל לא הזכיר כלים דיגיטליים כמו !Kahoot). עם זאת, המסקנה שלו היתה ברורה – על אף העובדה שממשיכים לטעון שטכנולוגיות "חדשות" יגבירו את מעורבות הלומדים בקורסים וישפרו את הלמידה:

the evidence ain’t there. And the costly devices continue to be bought.

מעניין לציין שהמאמרון הזה ממחזר חלק ממאמרון שקובן פרסם בשנת 2010 (ודווקא שוב ב-2012 וגם ב-2014). במאמרון ההוא קובן מבקר את מה שהוא מכנה גישות דוגמטיות – אם לטובת הוראה ממוקדת סטודנט (student centered) או ממוקדת מורה (teacher centered) – וטוען שהדוגמטיות הזאת פוגעת בשילוב מוצלח של טכנולוגיות בכיתה:

When that “pedagogical dogmatism” gets mixed in with “integrating technology with lessons” then sorting out the worth of “clickers,” interactive white boards, and laptops becomes especially tough to do. Getting rid of that inherent bias toward student-centered teaching remains at the core of assessing the degree to which enthusiastic and skilled teachers can integrate high-tech devices into daily lessons.

אני מניח שקובן צודק. עדיף לבחון את יעילותם של כלים דיגיטליים בלי הנחות יסוד אידיאולוגיות, אם כי אינני בטוח שדבר כזה אפשרי. אבל עם כל הכבוד לחוקר חשוב, אמירה כזאת איננה אומרת הרבה. ובכל זאת, לקראת סיום רצוי שתהיה כאן פואנטה כלשהי, ונדמה לי שאפשר למצוא כזאת אצל קובן במאמרון שהוא פרסם החודש. במאמרון הזה הוא כותב שכבר רבע מאה, מאז תוכנית No Child Left Behind בארה"ב, חוזרים שוב ושוב על המונח "scientifically based research" כתשתית שעליה לכאורה יש לבסס שינויים וחידושים במערכות החינוך. אבל על אף מס השפתיים למחקר המדעי, קובן כותב:

Yet the historical record is rich in evidence that student outcome data have played not a primary but subordinate role in making educational policy.

המציאות הזאת איננה צריכה להפתיע. החוקרים הספרדיים שחיפשו עדות מחקרית לערך לימודי אמיתי של כלי ARS הסיקו שעדות כזאת איננה קיימת. ומה שהיה לפני עשור כאשר אימצו את הכלים ההם תקף כל אורך הדרך, כולל היום עם כלים חדשים. כמו לפני עשור ויותר, אימוץ כלים תקשוביים ושילובם לתוך מערכות חינוכיות מושפעים יותר משיווק ופרסום, ומהתקווה שהפעם סוף-סוף תהיה השפעה חיובית, מאשר מעדות מחקרית אמיתית. (קובן, אגב, מציין עוד סיבה נוספת, ודי מרכזית, שמביאה לאימוץ כלים דיגיטליים – העובדה שהיום מבחנים סטנדרטיים נערכים באמצעות הכלים האלה.) ואם עדות מחקרית איננה פונקציה באימוץ כלים דיגיטליים, אולי לא נורא שאין עדות כזאת, שלא לדבר על כך שאין הגדרה מוסכמת מהי באמת ההשפעה הלימודית החיובית לה אנחנו מצפים.

לפני כמעט שלוש וחצי שנים אודרי ווטרס (Audrey Watters) שציטטתי כאן פעמים רבות (נדמה לי ש-35 פעמים במשך 15 השנים האחרונות) הכריזה שהיא מפסיקה לעסוק בתקשוב בחינוך. היא קבעה באופן נחרץ שלדעתה התחום רקוב מן היסוד. על אף הסכמתי עם לא מעט מהביקורת של ווטרס, על אותה קביעה הערתי אז ש:

בעיני הבעיה היא שווטרס איננה מוכנה ליישר קו עם העובדה שמערכות חינוכיות, בהגדרתן, משרתות את הערכים ואת הציפיות של החברה שבתוכה הן פועלות.

לווטרס התנגדות עזה (ודי מוצדקת) לחברה המערבית כפי שהיא קיימת היום, ומפני שעל פי רוב התפקיד של מערכות החינוך הוא להבטיח את המשך קיומה של אותה חברה, נוצר מצב שבו אין דבר שהתקשוב החינוכי יכול לעשות שימצא חן בעיניה.

הגט של ווטרס לא האריך ימים. במקום לכתוב על החוליים של טכנולוגיות למידה היא פתחה Substack שעסק בטכנולוגיות הקשורות לבריאות ולכושר גופני. אבל אחרי תקופה יחסית קצרה היא חזרה לכתוב בעיקר על ענייני תקשוב בחינוך, ולאחרונה כמעט באופן בלעדי על ה-AI בחינוך. ליתר דיוק, היא תוקפת אותה בחריפות ובאופן מתמשך, כך שבשלב מסוים כבר מהמשפטים הראשונים של המאמרונים שלה אפשר בקלות לנחש את ההמשך.

לא תמיד הסכמתי עם הביקורת של ווטרס על התקשוב בחינוך, אבל על פי רוב היא היתה שקולה ועניינית. היום נדמה שבעיניה אין שום דבר שה-AI יכולה לעשות שהוא בסדר. אפשר להתרשם שעבורה כלי ה-LLM הם חלק מקשר זדוני שקם על מנת להרוס את האנושות, או לפחות את שארית החופש שעוד נותר לה.

נזכרתי באותה ביקורת מלפני שלוש וחצי שנים כאשר קראתי כתבה חדשה של ווטרס מלפני כשבועיים, כתבה שהפעם, במקום לעסוק ישירות ב-AI עסקה בקריאה המחודשת של חוגים חינוכיים מסוימים בארה"ב לחזור למבחנים סטנדרטיים (standardized testing) בבתי הספר. ווטרס התייחסה לראיון שהעניקה מרגרט ספלינגס (Margaret Spellings), שרת החינוך של ארה"ב תחת ג'ורג' בוש הבן, לדייוויד פרום ב-The Atlantic. ספלינגס מסבירה שהנסיגה בהישגים לימודיים של השנים האחרונות בארה"ב היא תוצאה של בריחה מאחריות של הדור הבוגר, בריחה שבאה לביטוי בוויתור על מבחנים. היא טוענת שההתנגדות למבחנים מוטעית מפני שלדעתה הנכונות להשתמש במבחנים:

leads to accountability for grown-ups, and none of us like that particularly, I guess; it’s just a reality of being an adult and being responsible.

עבור ווטרס הראיון הזה, והדרישה לחזור ולחייב מבחנים סטנדרטיים (שאגב, למיטב ידיעתי מעולם לא הופסקו), מהווה הזדמנות לערוך סקירה היסטורית על השימוש בטכנולוגיות במבחנים. היא טוענת ש:

it’s impossible to separate the history of standardized testing from the history of education technology.

אין לי שום כוונה לסנגר על המבחנים האלה. נדמה לי שמספר פעמים בעבר כתבתי שלדעתי אין קשר ביניהם לבין למידה של ממש, או אפילו לבדיקה של מה באמת נלמד בבתי הספר. אבל עבור ווטרס זאת הזדמנות לקטול את התקשוב החינוכי במלואו. היא מזכירה לנו (וגם מקשרת לדברים שהיא כתבה) שעוד ב-2012 הנושא של בדיקה אלגוריתמית של כתיבת מבחנים של סטודנטים עורר ענין רב:

Perhaps you recall the study, published by University of Akron’s Dean of the College of Education Mark Shermis along with Ben Hamner, a data scientist from a company called Kaggle, that claimed that robots and humans graded pretty much the same: “overall, automated essay scoring was capable of producing scores similar to human scores for extended-response writing items with equal performance for both source-based and traditional writing genre.”

הנושא אכן זכור לי היטב. גם אני, ב-2012, כתבתי על המחקר של שרמיס (וציטטתי את ווטרס). כצפוי, הדגשתי אז שביסודו של דבר הכתיבה היא אמצעי תקשורת. אנחנו כותבים כדי להביע, כדי לשכנע, כדי ליצור קשר, ובגלל זה "קריאת" הכתיבה על ידי מכונה מבטלת את הסיבות שבגללן אנחנו כותבים. לכן, ללא קשר לאיכות הבדיקה הרובוטית, ההסתמכות על הרובוט בעייתית מלכתחילה. עם זאת, בקריאה מחודשת הופתעתי לראות שלא ציינתי משהו נוסף – שההשוואה בין איכות הבדיקה הרובוטית לבין איכות הבדיקה האנושית בעייתית מפני שהבדיקה האנושית עצמה איננה איכותית.

על פי רוב, הבדיקה הרובוטית הופעלה על חיבורים שנכתבו במסגרת מבחני ה-SAT לקראת הקבלה למוסדות להשכלה הגבוהה (וכך כנראה היה במחקר של שרמיס). מספר אנשים כתבו על ההכשרה שהם עברו כדי להיות בודקי המבחנים האלה, ועל העובדה שהם הונחו להקדיש זמן קצר ביותר ל-"קריאה", ובכלל לא להתייחס לתוכן הכתיבה, לפני מתן הציון. טוד פרלי (Todd Farley), שב-2011 פרסם ספר שסקר את 15 השנים שבהן הוא עסק בבדיקת עבודות כאלה, כתב ב-Huffington Post על ההשוואה בין הבדיקה האנושית והרובוטית. הוא שאל אם אפשר בכלל להתייחס ליכולת של המכונה לתת ציון כמו שעושה הבודק האנושי כהישג. הרי, ההישג ה-"מרשים" הזה בסך הכל מראה:

that automated essay scoring engines are able to spew out a number that “by and large” might be “similar” to what a bored, over-worked, under-paid, possibly-underqualified, temporarily-employed human scorer skimming through an essay every two minutes might also spew out.

במילים האחרות, ובדומה לביקורת על ההשכלה הגבוהה של ספארו ופלנדי שהבאתי כאן במאמרון הקודם, להגיד שההישג הרובוטי איננו פחוּת מההישג האנושי איננו בהכרח מחמאה.

עבור ווטרס, אין חדש תחת השמש. הכלים לבדיקה רובוטית של כתיבה של סטודנטים מלפני עשור היו המשך ישיר של מכונות ההוראה מלפני בערך מאה שנים, ואינם שונים מגלגולם הנוכחי באמצעות ה-AI. היא כותבת שלכל אורך הדרך:

standardized testing and education technology have worked hand-in-hand to shape thinking, reading, and writing for decades now (derogatory), to reduce students to data points, to see teaching as transmission, and to see grading as a feedback mechanism – everything, everyone reduced to a machine-metaphor.

על אף העובדה (שוב) שאני מסכים עם עיקר הביקורת של ווטרס, הפסילה הגורפת של טכנולוגיות דיגיטליות בחינוך איננה רק מוגזמת, אלא גם מחטיאה למציאות. עוד ב-2013 ווטרס הכריזה "Read Mindstorms" של סימור פפרט, ואף כתבה שמדובר בספר החשוב ביותר בתחום התקשוב החינוכי. במילים אחרות, היא מצאה בו גישה חינוכית חיובית. אבל משהו השתנה, והיום היא מתקשה למצוא משהו בעל ערך בתחום. נדמה שיש אפילו חטא קדמון שמלווה את התחום כבר מתחילתו. הרי לפי ההיסטוריה שהיא בוחרת לספר, האינטרנט והדיגיטליות צמחו מפרויקטים צבאיים, וזה מכתים אותם מן היסוד, כך ששום דבר טוב כבר איננו יכול לצאת מהם. אכן נכון שיש לאינטרנט ולדיגיטליות שורשים בפיתוחים של DARPA וצורכי הצבא האמריקאי, אבל קיימת גם היסטוריה מקבילה של צמיחת הטכנולוגיות האלו מהתרבויות האלטרנטיביות שצמחו בשנות ה-60. (ראו, למשל את ספרו של ג'ון מרקוף  [John Markoff] משנת 2005 – What the Dormouse Said, או זה של פרד טורנר [Fred Turner] משנת 2008 – From Counterculture to Cyberculture). אני בטוח שווטרס מכירה את הספרים האלה, ולכן די ברור שההתמקדות הבלעדית שלה במקורות הצבאיים מגמתית – נסיון להכתים את התחום במלואו. חשוב להדגיש שעל אף האכזבה הגדולה כלפי מה שקרה לאינטרנט בעשור האחרון, הנטייה לפסול את הכלים האלה באופן גורף בגלל זה איננו נאמן להיסטוריה. זה גם פוסל קהילה גדולה של אנשי חינוך שראו, ורואים, בכלים דיגיטליים ובגישה למידע הבלתי מוגבלת שהאינטרנט מאפשר אלטרנטיבה לתפיסה החינוכית שבאה לביטוי בהסתמכות על מבחנים סטנדרטים.

כאשר צופים על נוף התקשוב החינוכי הנוכחי, קשה להתווכח עם הקביעה של ווטרס שמדובר בשממה חינוכית חסרת מעוף ויצירתיות. עם זאת, כאשר היא פוסקת שכך תמיד היה וכך ימשיך להיות, ופוסלת את התחום במלואו, לטעמי היא מפספסת בגדול. מול המגמה של גיוס התקשוב למבחנים סטנדרטיים, ולהוראה לקראת הערכה באמצעות המבחנים האלה, שהיום היא הגישה ה-"חינוכית" הרווחת, עדיין קיימת גישה נגדית – גישה שרואה בתקשוב קרש קפיצה לשינוי, אמצעי ליצירת אפשרויות חינוכיות חדשות. ההתכחשות לגישה הזאת ולנרטיב שונה מזה שלפי ווטרס שולט ביד רמה, חוסמת את פריחתם של ניצני השינוי של חינוך אחר.

בתחילת חודש ספטמבר תומס דייוויד מור (Thomas David Moore), מורה בתיכון, פרסם כתבה ב-EdSurge שבה הוא השתמש במטפורה נחמדה בנוגע לכתיבה באמצעות כלי AI. מור כתב:

Reading an AI-generated text is like eating a jelly bean when you’ve been told to expect a grape. Not bad, but not… real.

המטפורה נחמדה מאד, והיא קולעת לאי-הנוחות שרבים חשים כלפי הטקסטים שכלי LLM מחוללים. אישית, אם הייתי בוחר במטפורה הקשורה לעולם האוכל, הייתי בוחר תיאור של סלט ללא רוטב – מצב שבו המרכיבים ההכרחיים אמנם נמצאים, אבל אין בו המשהו הנוסף שמחבר בין המרכיבים האלה כך שהתוצאה נשארת תפלה וחסרת אופי. (כצמחוני, מטפורות האוכל שלי יחסית מוגבלות.) המטפורה של מור דומה מאד לביקורות הרבות כלפי טקסטים שנוצרו באמצעות ה-AI שהופיעו לאחרונה, פרי עטם של מורים ומרצים רבים שחוששים שההשתלטות של כלי LLM על הכתיבה של סטודנטים פוגעת באיכות העבודות המוגשים להם. הביקורת הזאת מצטרפת לטענה נפוצה נוספת – שההסתמכות על כלי AI פוגעת ביכולות הכתיבה והחשיבה (וגם הלמידה) של אלה שמשתמשים בהם.

מור כותב שה-AI מהווה "איום קיומי" כלפי החינוך, ושהאיום הזה מחייב התייחסות רצינית. הוא מזכיר את המחקר של נטליה קוסמינה (Natalia Kosmyna) שאליו התייחסתי כאן לפני מספר חודשים, ואולי באופן די צפוי, ההתייחסות שלו שטחית למדי. הוא מציין, למשל, שהמחקר ההוא:

found that the use of AI tools diminishes the kind of neural connectivity associated with learning

חשוב להדגיש שהקביעה הפסקנית הזאת איננה מסקנה של המחקר המדובר, גם אם רבים היו מעדיפים מסקנה פשוטה וברורה כזאת.

לא חסרות כתבות מהסוג של מור. נדמה שמידי חודש עוד כמה מתפרסמות, כך שכבר קשה לעקוב אחרי כולן. כפי שציינתי, על פי רוב הביקורת מתחלקת לשני סוגים ראשיים – הסתמיות של התוצרים, או הפגיעה ביכולת החשיבה. התרגלנו עד כדי כך לביקורות האלו שהנטייה הטבעית היא פשוט לרפרף בטקסט לפני שמתייקים את הכתבות ה-"חדשות" תחת כותרת דוגמת "מתי כבר נגיד משהו חדש?". ואני מודה שגם רוב מה שפרסמתי כאן לאחרונה יכול בקלות להיכלל בקטגוריה הזאת. במילים אחרות, גם אם הביקורת במידה רבה מוצדקת, כבר שמענו, והשמענו, אותה מספיק.

לפעמים מופיעות ביקורות מעניינות יותר, כמו המאמר מפברואר השנה של שני מרצים אוסטרלים, רוברט ספארו (Robert Sparrow) וג'ין פלנדי (Gene Flenady):

Bullshit universities: the future of automated education

על אף השם שלכאורה רומז על ביקורת משולחת רסן, מדובר במאמר מעמיק שבוחן את ה-AI ממבט פילוסופי. בהסתמך על ההגדרה של הארי פרנקפורט (Harry Frankfurt), ספארו ופלנדי מתארים את הכתיבה באמצעות כלי LLM כ-bullshit. לפי פרנקפורט יש הבדל בין שקרים או הגזמות שגם אם הם אינם נכונים בכל זאת מעידים על כוונה לשכנע, לבין bullshit – אמירות שלחלוטין תלושות מהתייחסות לאמת (גם אם במקרה הן קולעות לאמת). הם מסבירים שטקסטים המחוללים על ידי כלי LLM נוצרים בלי קשר כלשהו לנסיון לשכנע, אלא שמדובר פשוט ברצף "הגיוני" של מילים, לפחות מבחינה תחבירית.

עוד בחודש אפריל השנה קרלו איאקונו כתב על המאמר של ספארו ופלנדי, והיטיב לתאר את ההבחנה שפרנקפורט מתאר בין השקרן לבין המבלשט:

Frankfurt, in his seminal essay "On Bullshit," drew a crucial distinction. A liar, he argued, knows the truth but intentionally misrepresents it. Lying, paradoxically, requires a certain respect for the truth – you need to know it to subvert it. The bullshitter, however, operates differently. Their defining characteristic is indifference to whether their statements are true or false. Their goal isn't accuracy but effect: to persuade, impress, fill space, or fit in. The output is "phony," whether or not it happens to align with reality is incidental.

לפי התיאור הזה ברור שהתוצרים של כלי LLM מתאימים להגדרה של פרנקפורט. הרי המטרה של הטקסט שה-LLM מחולל (אם בכלל אפשרי לקבוע שיש לו "מטרה") איננו לטעון טענה, או להציג אמת כלשהי, אלא פשוט לשכנע שהוא נראה אמיתי.

מול זה ספארו ופלנדי מעמידים את הכתיבה האנושית. הם טוענים שאם, בשעת הכתיבה, המחשבה שאנחנו מבקשים להביע באמת ברורה לנו, אנחנו יכולים לבדוק את מה שכתבנו ולוודא אם אכן הצלחנו לבטא את אותה המחשבה באופן ברור. הם אינם שוללים את האפשרות שטקסט שכלי LLM מחולל יכול, כמו הטקסט האנושי, להצליח לבטא את המחשבה שלנו. אבל יש הבדל משמעותי, הבדל ששייך לא לתוצאה, אלא לתהליך: הם מדגישים שעל פי רוב תהליך הכתיבה איננו פעולה מכנית שבה אנחנו מעבירים לנייר את המחשבה שגיבשנו לעצמנו, מחשבה שהיא מלכתחילה ברורה לנו, אלא:

writing is often itself the means by which we discover what we think…. Only by choosing the right words, and constructing the right sentence, can we work out what we mean to say—and thus what we think.

לאור זה, הם טוענים שסטודנטים שאינם מתמודדים עם כתיבה של עצמם אלא מאפשרים ל-AI לכתוב בשבילם יתקשו ללמוד לחשוב.

יש הרבה שדי משכנע במאמר של ספארו ופלנדי, אבל באופן אולי קצת פרדוקסלי, עבורי החלק המעניין והחשוב בו איננו הביקורת שלהם כלפי ה-"כתיבה" באמצעות כלי AI, אלא החלק שבו הם מתארים מספר התנגדויות אפשריות לביקורת שלהם. מול ההתנגדות הנוכחית לשימוש בכלי AI בחינוך הם מזכירים לנו שגם הספרים הם טכנולוגיה חינוכית, ושפעם היתה התנגדות גם ללמידה באמצעות ספרים. עבור ספארו ופלנדי הלמידה היא מעשה חברתי, ולאור זה הם שותפים לביקורת שהספר הוא טכנולוגיה אישית, וההסתמכות עליו יכולה לפגוע בפן החברתי של הלמידה. הם גם מודעים לכך שיש כלי AI שיכולים לאפשר "מורים פרטיים" שאולי אינם באיכות של מורה פרטי אנושי, אבל בכל זאת מאפשרים גישה לעולם הידע שעד לא מזמן היה בהישג ידם של מעטים בלבד. לאור זה ההתנגדות לשימוש ב-AI ממשיכה למנוע את הדמוקרטיזציה של הלמידה.

אולי נקודת הביקורת הקולעת ביותר של ספארו ופלנדי היא הטענה כלפי האקדמיה בצורתה הנוכחית – שהיא רחוקה מלהיות מוצלחת. הם מודים ש:

there is truth in the charge that we want to hold AI to a standard that much contemporary education often fails to meet

יש כאן ביקורת חשובה ואף חריפה, וחשוב להבין שהיא איננה מכוונת כלפי ה-AI. ללא ספק ספארו ופלנדי ביקורתיים מאד כלפי הכתיבה באמצעות כלי LLM והקשר, או העדר הקשר, של הכתיבה הזאת למשהו יעיל ושימושי מבחינה לימודית. אבל גם אם מדובר בביקורת נוקבת, הם רחוקים מלהיות הראשונים לכתוב דברים כאלה. לאור זה, בעיני מה שהם כותבים בנוגע למערכות החינוכיות הנוכחיות משמעותי יותר. הרי אם מערכת ההשכלה הגבוהה (וגם המערכת של K12) איננה יכולה לעורר את הסקרנות, את התשוקה לדעת, ואיננה יכולה לפתח את יכולת החשיבה, מה הפלא שסטודנטים מעדיפים לקצר תהליכים באמצעות ה-AI במקום לחשוב בעצמם. במציאות כזאת אולי מגיע לה שהיא תוחלף על ידי ה-AI.

לפני שלושה שבועות רוז לוקין (Rose Luckin) פרופסור ל-Learner Centered Design ב-University College London פתחה ערוץ YouTube נחמד שבו היא מבקשת להסביר יסודות של ה-AI דרך אפיית עוגות. כמעט לא היתה לי הכרות עם לוקין, מעבר לכך שהיא היתה הכותבת הראשית של ספרון מ-2022 – AI for School Teachers – שבשפה די פשוטה סוקר סוגים שונים של AI תוך שימת דגש על השימוש בהם בסביבות לימודיות. הרעיון מאחורי ערוץ ה-YouTube החדש שלה מאד נחמד, אם כי מצפייה בחמישה הסרטונים הראשונים שעד עכשיו נמצאים בערוץ אני מתרשם שהוא מיועד לאלה שבאמת אינם יודעים דבר על AI. במילים אחרות, הוא בסיסי ביותר, ורחוק מלהעמיק.

אני מבקש להתייחס כאן לחלק מהסרטון השלישי:

Layer By Layer: What The Victoria Sandwich Teaches Us About AI and Neural Networks

בסרטון הזה לוקין מעלה, אולי לא לגמרי בכוונה, סוגיה חשובה מאד בנוגע לתנאים המיטביים שבהם ה-AI יכולה לסייע בלמידה (ראו במיוחד את הקטע בין 11:15 ל- 13:25).

לוקין מספרת על שיחה שהיא ניהלה עם ידידה, מורה להיסטוריה. אותה מורה דיווחה שעל מנת לסייע לתלמידים שלה לכתוב על הגורמים למלחמת האזרחים האנגלית (במאה ה-17) היא המליצה להם לפנות לצ'אטבוט מבוסס ChatGPT שבשימוש בית הספר שלהם ולבקש ממנו להסביר את הגורמים. התלמידים אכן עשו זאת, אבל הם לא היו מרוצים מהתשובות שהם קיבלו. התשובות היו כלליות מדי, ואילו הסטודנטים רצו מידע יותר מפורט. כדי לקבל מידע טוב יותר הם חזרו לצ'אטבוט עם בקשות כמו "ערוך אנליזה עמוקה יותר" או "תן תשובה מורכבת יותר". הפניות האלו עזרו, אבל רק באופן חלקי ומצומצם, ולא הניבו את התשובות המעמיקות להן התלמידים קיוו. על זה לוקין מעירה שהפנייה הראשונית של הסטודנטים היתה מאד כללית, והפנייה הכללית הזאת היתה הבסיס שעליו בקשות ההרחבה יכלו לפעול. במקום זה, היה על הסטודנטים מלכתחילה ליצור פנייה הרבה יותר ממוקדת. בסופו של דבר, מפני שהבקשה להרחיב פעלה על הפנייה הכללית הראשונית, התשובות נשארו ברובד הכללי. לעומת זאת, היא מסבירה:

What they needed to do was make the initial input much more detailed. If they'd put something like "analyze the economic tensions between Charles I and Parliament from 1625 to 1640, specifically considering ship money and monopolies using evidence from primary sources like the petition of rights", they would have got an A grade answer.

ההסבר הזה די הגיוני, ואף משכנע … מלבד בעיה קטנה שנראית לי מאד משמעותית: אם מלכתחילה התלמידים היו יודעים לציין את המתחים הכלכליים בין המלך והפרלמנט, או אם ידעו להעלות שאלה בנוגע למונופולים, סביר להניח שבכלל לא היו צריכים לפנות לצ'אטבוט. הרי אם הם ידעו להתמקד בסוגיות כאלה הם גם היו יודעים היכן למצוא את המידע היותר מדויק שהם ביקשו להשיג.

למה הדבר דומה? לסיפור העממי על הכנת מרק מאבן. הכפריים שבסיפור אמנם התפעלו מטעמו הנפלא של אותו מרק שהנווד הכין, לכאורה, מאבן בלבד. אבל לנו ברור שאותה אבן היתה שולית לעומת כל יתר המצרכים שנוספו למרק במהלך ההכנה. התלמידים בסיפור של לוקין לא היו מרוצים מהתבשיל שהצ'אטבוט שלהם הצליח להכין, ולפי לוקין זה היה מפני שהמרכיבים שהם הביאו לפנייה שלהם היו דלים ודי תפלים. הבאת מצרכים איכותיים יותר היתה, ללא ספק, משביחה את התבשיל. אבל אם הם היו מתחילים עם מצרכים איכותיים יותר, האבן ההתחלתית, או במקרה של התלמידים, הפנייה הכללית הראשונית, היתה מיותרת.

דווקא באותו שבוע שהסרטון של לוקין הופיע ב-YouTube, נתקלתי בסיפור משלים. לארי קובן (Larry Cuban), בבלוג שלו, פרסם כתבה שהופיעה לראשונה ב-Wired לפני שנתיים שנכתבה על ידי שני מרצים בהרווארד – דנה קארוט (Dana Karout) והומן הארוני (Houman Harouni):

ChatGPT Is Unoriginal—and Exactly What Humans Need

קארוט והארוני מתארים ניסוי שהם ערכו עם סטודנטים בהרווארד. הם הציגו בפני הסטודנטים דילמה אתית הקשורה לעבירה על החוק של תלמיד בית ספר. הדילמה היתה שעל אף העובדה שברור שהתלמיד צריך להיענש, כל עונש שהוא יקבל יגרום לסילוקו מבית הספר וכתוצאה הוא עשוי להידרדר עוד יותר לפשע. לאור זה, הסטודנטים התבקשו לדון על העונש הרצוי. תוך כדי הדיון קארוט והארוני הציגו בפני הסטודנטים הצעות שהועלו על ידי ChatGPT. הם מסבירים שההצעות החדשות האלו לא היו טובות יותר מאשר הרעיונות שהסטודנטים העלו בכוחות עצמם – דבר שאליו גם הסטודנטים שמו לב. במילים אחרות, גם ה-AI העלתה הצעות שטנציות וחסרות מעוף. אבל קארוט והארוני כותבים שדווקא בשטנציות הזאת היה יתרון מעניין:

Yet it was after ChatGPT reflected to the students their failure of imagination that they could begin to think of options that they, or any automatic language scrawler, would not have readily reached for. They realized that the case was entirely focused on the perspective of administrators, and that their earlier discussion had had no room for action that involved teachers, students, and Jorge (התלמיד אשר בסיפור), too.

נוצר כאן מצב מעניין, ולטעמי די עצוב. לפי קארוט והארוני, דווקא העדר המעוף של ה-ChatGPT פעל כמנוף חיובי. הרי הוא לא העלה רעיונות חדשים אלא ההפך – הוא חזר על הרעיונות הלא-מעניינים של הסטודנטים. אבל עצם העובדה שהוא לא חידש שום דבר פעל כגורם מדרבן לחשיבה יצירתית יותר אצל הסטודנטים. לכאורה יש כאן תהליך חיובי, אפילו מרשים. אבל באותו הזמן הוא גם מאד מאכזב. אם להאמין למפתחים, כלי AI כמו ChatGPT נמצאים בפסגת היצירה האנושית (ומעבר לה). פיתוח הכלים האלה מצריך מיליארדי דולרים, וכל תשובה שהם מחוללים דורשת כמויות אנגריה אדירות. והנה, התכונה החיובית שקארוט והארוני מוצאים לנכון לשבח היא שחוסר היצירתיות שלהם העמיד את הסטודנטים מול העובדה שהחשיבה שלהם לא היתה מספיק מקורית.

נדמה לי שאפשר היה למצוא דרכים פשוטות, וזולות, יותר להגיע להשיג הזה. אבל אולי בכל זאת יש כאן היבט חיובי. בסיפור של המרק מאבן הכפריים המשיכו להתפעל מנפלאות האבן. אולי (ולצערי, רק אולי) הסטודנטים יכלו להתרשם שה-"קסם" איננו בכלי, אלא בהם עצמם.

בשנת 1971 בית משפט בארה"ב קנס את ג'ורג' הריסון בסכום של מעל חצי מיליון דולר עבור פלגיאט של שיר של להקת ה-Chiffons משנת 1963, He's So Fine. מדובר בשירו של הריסון משנת 1970, My Sweet Lord, ואכן, יש דמיון רב בין שני השירים. שירו של הריסון הוא שיר איקוני, והריסון עצמו היה, כמובן, אחד מעמודי התווך של מוסיקת הרוק/פופ. לאור זה, על אף העובדה שקשה היה להכחיש את הדמיון הרב בין השירים, לא היה נעים להצהיר על גניבה של ממש. נדמה לי שזאת הסיבה שבית המשפט טבע מטבע לשון ייחודי וקבע שמה שהריסון עשה היה subconscious plagiarism – פלגיאט של הבלתי-מודע.

נזכרתי בפרשה סביב My Sweet Lord כאשר לפני שבוע קראתי פוסט חדש ב-Substack של קרלו איוקונו (Carlo Iacono) – פוסט, אגב, שבעיני הוא בין המעניינים והמשמעותיים ביותר שקראתי לאחרונה:

The Authenticity Industrial Complex

איוקונו איננו עוסק בפלגיאט, אלא ב-AI, או ליתר דיוק, ביומרה שקיים הבדל תהומי בין הכתיבה של בני האדם לבין זאת של ה-AI. הוא בעצם טוען שהשניים אינם כל כך שונים, במיוחד כאשר מדובר במקוריות, או באותנטיות. הוא כותב:

The authenticity we're so desperate to defend never existed. Every word you write carries the DNA of every word you've read. Every image you create is a recombination of every image you've seen.

ה-Large Language Models הרווחים היום בתחום ה-AI מבוססים על כמות אדירה של טקסטים שמהם הם "לומדים" לחבר משפטים ופסקאות. במהות, המצב הזה איננו שונה מהמצב במוסיקה – כל יוצר מוסיקלי ניזון מיוצרים אחרים, או כמו שג'ון לנון כנראה פעם אמר:

Music is everybody's business. It's only the publishers who think people own it

אבל איוקונו מבקש מאיתנו לבחון את הסוגיה הזאת מהצד ההפוך – שמה שאנחנו לומדים מיכולת הכתיבה המוצלחת של ה-AI איננו שהיא כל כך מוצלחת, אלא שהכתיבה ה-"אנושית" שנהגנו לראות כייחודית היא דווקא די בנאלית. היכולת של ה-AI לחבר טקסטים קוהרנטיים מעמידה בסימן שאלה הטענה שהכתיבה האנושית כל כך ייחודית:

When machines can generate the ten thousandth article about productivity tips, maybe we can finally stop pretending that was ever worth a human mind. When AI can write the corporate newsletter, draft the grant proposal, generate the stock photo, perhaps we can admit these were always inhuman tasks that we forced humans to perform.

הגישה הזאת מאפשרת לנו להבין, למשל, שהאלבום של להקת הבינה המלאכותית Velvet Sundown איננו עדות לכך שה-AI יכולה להפיק מוסיקה איכותית, אלא ההפך: העובדה שקשה להבחין שמדובר בהפקה של AI מעידה על כך שהמוסיקה של להקות אנושיות רבות די רדודה, כך שלא קשה ל-AI להשתוות אליה.

סוגיית המקוריות של ה-AI, או העדרה, מחדדת שאלה נוספת – עד כמה חשוב לנו שהקול הוא קול אנושי? איוקונו, הרי, תהה עד כמה היצירה האנושית נחוצה באיגרת פנימית של חברה, או בהכנת הצעה לקבלת מימון. אבל למה לנו להסתפק באלה? כתבה מהשבוע ב-Technology Review (של MIT) מוסרת לנו ש:

Therapists are turning to ChatGPT. Clients are triggered.

הכתבה מדווחת על מטופל שפתאום הבחין במהלך טיפול פסיכולוגי שהתנהל באמצעות כלי וידיאו שהמטפל שלו פונה ל-ChatGPT. המטופל העיד:

Suddenly, I was watching him use ChatGPT…. He was taking what I was saying and putting it into ChatGPT, and then summarizing or cherry-picking answers.

מטופלת אחרת מספרת שבתוך התכתבות עם התרפיסטית שלה היא מצאה לא רק תשובה לפנייה שלה, אלא גם את הפרומפט שהתרפיסטית השתמשה בו כדי לקבל את התגובה שהיא מסרה למטופלת.

אבל על אף העובדה שהדוגמאות האלו בהחלט מביכות, קשה לפסול את הפנייה לכלי AI כחלק מטיפול תרפויטי. הכתבה מקשרת למחקר שהתפרסם השנה בו תרפיסטים התבקשו להעזר ב-ChatGPT כדי להכין תגובות למגוון פניות אפשריות של מטופלים. מתברר שהמשתתפים במחקר, מעל 800 איש, התקשו להבחין בין התשובות האנושיות, לבין אלה שנוצרו בעזרת ה-AI. הם אפילו קבעו שתגובות ה-AI נראו מתאימות יותר לטיפול מיטבי. בדיקות דומות אחרות, אגב, העלו תוצאות דומות.

יש דוגמאות נוספות. איאן בוגוסט (Ian Bogost), ב-The Atlantic, למשל, מצא שתוכנת AI ייחודית (מבוססת ChatGPT) היטיבה לכתוב סקירת חיים אודות אמא שלו – סקירה שהיה עליו להכין כאשר היא נפטרה. יד על הלב, על אף התחושה המוזרה בפנייה למכונה לכתוב משהו שלפחות על פניו אמור להיות די אישי, הודעות כאלה שמספרות קצת על חיי המת די שטנציות. בגלל זה לא קשה להבין שאם מוסרים ל-AI מספר נתונים אישיים ומכוונים את הטקסט לרמה המבוקשת של רגש, מדובר במלאכה שהיא די מתאימה למכונה. דווקא בדיוק למצב הזה איוקונו מתייחס כאשר הוא כותב:

The Authenticity Industrial Complex wants you to believe that using AI makes you less human. But what if the opposite is true? What if the most human thing you can do is refuse to waste your finite consciousness on tasks that don't require it? What if the most creative act is knowing when not to create?

לאור העובדה שהבלוג הזה עוסק כמעט באופן בלעדי בתקשוב בחינוך, יש טעם לשאול מה הקשר של כל זה לחינוך. אני מודה שאין לי תשובה נחרצת לשאלה הזאת. אמנם עם פרוץ ה-AI לתודעה, שאלת המקוריות של כתיבה של סטודנטים מאד מעסיקה אותנו, אבל יש הבדל גדול בין סטודנטים לבין ג'ורג' הריסון, וברוב המקרים של העתקה (או כתיבה ע"י ChatGPT) בחינוך לא מדובר בפלגיאט של תת-המודע. כמו-כן, גם אם השימוש ב-AI בכתיבת עבודות איננו מומלץ, הוא נראה הרבה פחות בעייתי מאשר השימוש בו בטיפול פסיכולוגי.

אבל אין ספק שהיום, כאשר ל-AI גישה למה שמתקרב למלוא היצירה האנושית, קשה לא להתייחס לשאלות בנוגע למקוריות וליצירתיות. הרי, כפי שקירבי פרגוסון (Kirby Ferguson) מסביר בווידיאו הקלאסי שלו מלפני 15 שנה על תהליך היצירה – Everything is a Remix – ההעתקה, והחיקוי, הם שלב ראשוני והכרחי בתהליך היצירה. בלשון מאד דומה לזאת של איוקונו הוא מכריז:

But creativity isn’t magic. It happens by applying ordinary tools of thought to existing materials, and the soil from which we grow our creations is something we scorn and misunderstand, even though it gives us so much. And that’s copying. Put simply, copying is how we learn. We can’t introduce anything new until we’re fluent in the language of our domain and we do that through emulation.

אנחנו מתקרבים למצב שבו מלוא היצירה האנושית יהיה זמין לשימוש ה-AI, כתשתית להמשך היצירה. אבל מתברר שפחות מאשר זה מביא אותנו למצב של remix לשם היצירה, זה רק מוביל למחזוּר מייגע. נכון לעכשיו, לפחות, ה-AI עדיין זקוקה לעין האנושית כדי להבחין בהבדל בין יצירה של ממש, לבין סתם GIGO.

הדוגמאות שהובאו כאן מעמידות בסימן שאלה את הייחודיות האנושית לעומת המלאכותית של ה-AI, וגם ממחישות שהכתיבה של ה-AI, בדומה לכתיבה האנושית, ניזונה מכל מה שנוצר לפניה. אולי מכל זה אנחנו מגלים עד כמה קשה להיות מקוריים, ובאותו הזמן גם מבינים שלעתים קרובות המקוריות איננה עד כדי כך נחוצה.

הפיסקה הקצרה שבהמשך הופיעה ב-Smart Briefs של ה-ISTE של סוף חודש יולי:

Several overvalued edtech companies that couldn't back up their AI hype with classroom-based efficacy have created a legacy of exaggeration that resulted in 2024's paltry $2.4 billion in venture capital — the lowest investment since 2015. AI's potential can only be realized if edtech companies have a clear understanding of what actually improves learning outcomes and use evidence-based practices to develop products.

יש כאן ביקורת די נוקבת כלפי תחום התקשוב החינוכי, אם כי מדובר בביקורת שמושמעת כבר שנים רבות, ללא קשר למידת ההשקעה של חברות הון הסיכון בתחום. אבל מעבר לכך, מקריאת הפיסקה נדמה שמה שבאמת מדאיגה את אנשי ה-ISTE איננה הערך המפוקפק של המוצרים שפותחו באמצעות הון הסיכון או האפקטיביות האמיתית של אלה, אלא הירידה המשמעותית בהשקעות. קשה להגיד שבזה יש חדש. מזה שנים ה-ISTE, שלכאורה דוגל בקידום הלמידה באמצעות טכנולוגיות חדישות, מדווחת יותר על מצב השוק מאשר על מצב הלמידה בעקבות השימוש בכלי תקשוב למיניהם. ובכל זאת, יש כאן ביקורת די גלויה ואזהרה למשקיעים: אמנם ה-AI בשדה החינוכי מהווה תחום פורה להשקעות ולרווחים, אבל היום בתי הספר אינם מוכנים לקנות כל דבר נוצץ. הם דורשים הוכחה שמה שרוכשים באמת מסייע בלמידה.

ה-Smart Brief הזה מקשר לכתבה של רוד בריסטו (Rod Bristow), לשעבר נשיא Pearson, והיום מנכ"ל של College Online – פרויקט שמתמקד במערכת של קורסים מקוונים למבוגרים בתחום של Higher Technical Qualifications שהם כנראה תחליף לתואר אקדמי. מכותרת הכתבה של בריסטו אפשר להבין שהכתבה כנראה היוותה הבסיס לפיסקה שב-Smart Brief:

Beyond Hype and Fluff: Lessons for AI from 25 Years of EdTech

בריסטו מעיד על עצמו שהוא דוגל בשילוב טכנולוגיות בחינוך (דבר שכמובן הגיוני עבור אדם שהוביל את Pearson). הוא מציין שהטכנולוגיות האלה יכולות להציע פתרונות טובים לבעיות אמיתיות. עם זאת, הוא מודה ש:

we have not seen the widespread transformation in education that technology promised to deliver

ומיד בהמשך הוא מוסיף שבגלל אי-קיום אותה הבטחה, משקיעים נכוו. (שוב, נדמה שהדאגה היא למשקיעים ולא ללומדים שהלמידה שלהם היתה אמורה להיות טובה יותר בעקבות אותן טכנולוגיות.) בריסטו מדגיש שבתקופת הקורונה ההשקעות בתקשוב החינוכי הגיעו לשיא, אבל היום המטוטלת נעה לכיוון ההפוך, וכבר לא נוהרים לרכוש כל פיתוח חדש. הוא כותב שהיום המשקיעים חייבים לשאול "האם זה עובד?". באופן קצת מביך, נדמה שהנחת יסוד אשר בצורך בשאלה הזאת עכשיו היא שעד עכשיו מיעטו לשאול אותה. ובכל זאת, בריסטו מציין שאכן יש הרבה פיתוחים שכן עובדים, כך שאם המשתקיעים יקפידו לשאול את השאלה הזאת לפני שהם יחליטו במה להשקיע, זה יהיה לטובת התחום.

בשלב הזה של הכתבה של בריסטו היה כבר הגיוני לשאול למי הוא פונה. הרי יש בדבריו אזהרה למשקיעים – שעליהם לבדוק היטב אם יש ערך לימודי של ממש בכלים שבהם הם משקטעים כי אחרת רווחיהם ייפגעו. אבל כזכור, רבים אומרים את זה כבר שנים, ועוד לפני הקורונה. וכאן נכנסת ההתייחסות ל-AI. האם ה-AI באמת משנה את התמונה? בריסטו כותב ששיפור הלמידה חייב להיות בבסיס כל טכנולוגיית למידה, במיוחד כאשר מדובר ב-AI. אבל נדמה שיותר מאשר ה-"במיוחד" הזה קשורה למשהו ייחודי ב-AI, הוא פועל כמבוא לפרסום הפרויקט הנוכחי שלו. הרי College Online עוסק בלימודי המשך של מבוגרים, ונדמה שלא בכדי הוא כותב:

There are many areas of great promise, but none more so than the enormous expansion in online access to lifelong learning for working people who are otherwise denied the education they need.

בריסטו מוסיף שבמקום שטכנולוגיות למידה יהיו סתם תוספת, אפשר לשלב אותן ממש ביסוד חוויית הלמידה, והוא מדגיש שהרחבת הנגישות של למידה לאורך החיים יכולה להוות שינוי מהותי לכלכלה ולחברה. בזה אני כמובן מסכים. הלמידה לאורך החיים היא ללא ספק מטרה מאד ראויה, לפרט וגם לחברה. אני גם משוכנע שהתקשוב יכול למלא תפקיד חשוב בלמידה הזאת. אבל דבריו של בריסטו נקראים כקלישאות ריקות. ולמתחיל בקלישאות, כנראה אומרים לו המשך: מכאן בריסטו מסביר לנו על הקשר בין ידע וכישורים. מתברר שצריכים את שניהם. הוא כותב שהיום, בעידן ה-AI, מפני שקל כל כך לרכוש או ליצור ידע דרך חיפוש ברשת או באמצעות ה-AI, נהוג לחשוב שהכישורים חשובים יותר מאשר הידע. אבל הוא מסביר שהכישורים הם ביטוי של ידע, כאשר ללא ידע או מומחיות אין משמעות לכישורים.

האם אנחנו לומדים משהו מכל זה? היה לי מעניין לגלות שבשנים האחרונות ההשקעות של הון הסיכון בכלים תקשוביים בחינוך ירדו באופן משמעותי. דווקא בעקבות הנהירה אחר כלי AI בחינוך התרשמתי שקיים מרדף אחר הדבר הגדול הבא, ושזה מביא לגידול בהשקעות. בנוסף, אני כמובן מעוּדד לקרוא שיש מי שמעמיד את הלמידה לפני הרווחים. אמנם רבים כותבים את זה, אבל לעתים קרובות מדי הגישה הזאת מוצנעת מדי. אני גם חייב להודות שקשה לי לבוא בטענות כלפי כתיבה קלישאתית. הרי לא פעם כאשר אני קורא שוב דברים שפרסמתי כאן (ולפעמים אפילו תוך כדי הכתיבה) אני מזהה לא מעט קלישאות ומילים ריקות שבסך הכל מכסות על כך שהביקורת שלי חוזרת על עצמה. אבל יש משפטים בכתבה של בריסטו ששמים אותי בכיס הקטן. לדוגמה, לקראת סיום בכתבה הוא כותב:

To simultaneously hold the benefits and the risks of AI in a firm embrace, we will need courage, imagination and clarity about the problems to be solved before we get swept up in the hype and fluff.

מילים ריקות הן די אופייניות בנוף הכתיבה על התקשוב החינוכי (עם או בלי התוספת של AI). אבל כאן הן באמת נראות תלושות מאמירה חינוכית כלשהי. בשלב מסוים במהלך קריאת הכתבה של בריסטו חשדתי שדבריו אולי נכתבו על ידי כלי AI. אבל בסופו של דבר החלטתי שה-AI היתה כותבת טוב יותר.

עוד מהימים של המאמר המפורסם של ניקולס קאר ?Is Google Making Us Stupid קיים מאבק על הנרטיב של השפעת הדיגיטליות על החשיבה שלנו. מול אלה שמצדדים בכלים דיגיטליים כמסייעים חיצוניים שמגבירים את היכולות השכליות שלנו יש אלה שטוענים שזמינות הכלים האלה מרדדת את יכולות החשיבה והיצירה הטמונות בנו. כל צד, כמובן, מגייס נתונים על מנת לחזק את דעתו, וספק אם באמת אפשר להגיע להכרעה. אלא אם אחד הצדדים יצליח להביא הוכחה מוחצת – נתונים מהמוח עצמו, למשל.

נטליה קוסמינה (Natalia Kosmyna) מ-MIT היתה החוקרת הראשית של קבוצה שביקשה להשיג הוכחה כזאת. לפני כחודש, במאגר ArXiv שמאפשר הפצה של מחקרים עוד לפני השלב של הערכת עמיתים, קוסמינה פרסמה מחקר בשם:

Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task

המחקר, בעל בערך 200 עמודים, מתאר ניסוי שבו 54 סטודנטים, עם מגוון רמות של תארים אקדמיים, כולם מאוניברסיטאות יוקרתיות סביב העיר בוסטון, נבדקו בעת כתיבת חיבורים מהסוג הנדרש במבחני SAT (מבחנים לקראת הקבלה למוסדות להשכלה הגבוהה). הסטודנטים חולקו לשלוש קבוצות – קבוצה שמשתתפיה התבקשו לכתוב חיבורים ללא עזרה דיגיטלית כלשהי, קבוצה שמשתתפיה התבקשו לפנות ל-WWW במהלך כתיבת החיבורים שלהם, וקבוצה שמשתתפיה הונחו להיעזר ב-ChatGPT בלבד בכתיבתם. איכות כלל החיבורים נמדדה על ידי קוראים חיצוניים, וגם – וכאן הנקודה שגרמה לכך שהמחקר זכתה לפרסום בעיתונות הכללית – בזמן הכתיבה משתתפי כל הקבוצות חוברו למכשירי EEG. החיבור ל-EEG נעשה על מנת:

to record participants' brain activity in order to assess their cognitive engagement and cognitive load, and to gain a deeper understanding of neural activations during the essay writing task.

קאר, כזכור, דיווח על עצמו – על התחושה הסובייקטיבית שלו, בעקבות הקריאה והשוטטות ב-WWW, כלפי החשיבה ויכולת הריכוז שלו. על פי רוב כך כתבו גם אלה שבאו אחריו. אבל המחקר של קוסמינה ביקשה להתגבר על הסובייקטיביות הזאת. ומה יכול להיות יותר אובייקטיבי מאשר נתונים שבאים ישר מהמוח? המוח, הרי, איננו משקר, ולכן אם באמצעות ה-EEG אפשר למדוד פעילות מוחית נוכל באמת לדעת אם אכן השימוש בכלי LLM משפיע על יכולת החשיבה (או לפחות במקרה הספציפי הזה, על הכתיבה) שלנו.

במחקר עצמו כל המשתתפים כתבו שלושה חיבורים, כאשר עשרים דקות הוקדשו להכנת כל חיבור. הנבדקים נשארו באותה קבוצה (ללא סיוע חיצוני [brain only], פנייה ל-WWW, או שימוש ב-LLM) במהלך הכנת כל שלושה החיבורים. היה גם מפגש רביעי, שבו רק שליש מהנבדקים השתתפו. במפגש הזה הנבדקים שויכו לקבוצה שונה מזאת שהיו בה בשלבים הראשונים.

והממצאים? במחקר עצמו יש, כמובן, סיכום, ומספר לא קטן של מקורות בעיתונות הכללית גם דיווחו עליו. הסקירה ב-Time Magazine ברורה וקלה להבנה:

The researchers found that of the three groups, the ChatGPT users had the lowest brain engagement and consistently underperformed at neural, linguistic and behavioral levels.

(בכתבה ב-Time יש גם סרטון YouTube על המחקר, כולל ראיון עם קוסמינה. נדמה לי שהוא מסכם היטב, ובאופן מספק, גם את המחקר וגם את החשיבה הכללית של קוסמינה לגבי חשיבותו.)

עד כאן (ואני מודה שתמצתתי באופן די גס) קשה להגיד שיש בכל זה משהו מרעיד עולמות. כבר נכתב המון על כך שהכתיבה באמצעות כלי LLM רדודה וחסרת מקוריות. לפני כחצי שנה מיכאל גרליך (Michael Gerlich) דיווח על ממצאים דומים במחקרו AI Tools in Society: Impacts on Cognitive Offloading and the Future of Critical Thinking. ועוד בתחילת 2024 Umberto Leo´n-Domínguez פרסם סקירה מקיפה על Potential Cognitive Risks of Generative Transformer-Based AI Chatbots on Higher Order Executive Functions. ספק אם היינו זקוקים למחקר נוסף על מנת לזהות את התופעה הזאת.

קוראי הבלוג הזה בוודאי יודעים שאני חושש שהשימוש בכלי LLM בתהליך הכתיבה מעודד רדידות ופוגעת באיכות החשיבה. לאור זה היה הגיוני לחשוב שממצאי המחקר של קוסמינה ישמחו אותי. אבל עם כל הכבוד למקצועיות של החוקרים, קשה לי להתלהב ממנו. הבעיה איננה רק המספר המצומצם של משתתפים (ואופיים הדי אחיד). כמו-כן, גם קשה להסיק משהו מהתנאים המאד מלאכותיים של מטלות הכתיבה. הרי ספק אם אנחנו זקוקים למחקר על מנת להגיע למסקנה שהפעילות המוחית של אנשים שכותבים במשך עשרים דקות תהיה גדולה יותר מהפעילות המוחית של אנשים שבסך הכל קיבלו הנחייה להכין פרומפט ולאפשר ל-AI לחולל חיבור עבורם. הייתי מאד מופתע אם זה לא היה המצב.

בין היתר המחקר מצא שאלה שהשתמשו ב-LLM התקשו מאד לצטט מהחיבורים שלהם, כאשר על פי רוב אלה בקבוצה ללא הסיוע הדיגיטלי כן יכלו לעשות זאת. בן שינדל (Ben Shindel) ב-Substack שלו טוען שזה בכלל איננו מפתיע. הרי:

since you didn’t directly write most of the words in your essay, you should have more trouble directly quoting it than someone who typed the essay from scratch.

זה גם איננו מפתיע שהקוראים החיצוניים שהעריכו את החיבורים מצאו שהכתיבה של קבוצת ה-brain only היתה מעניינת יותר. הרי ידוע כבר מזמן שלשון הכתיבה של כלי LLM, גם אם עבודות שהוכנו בדרך הזאת מקבלות ציונים טובים, פחות ציורית ומגוונת מכתיבה "אישית". (אגב, רצוי להוסיף שהנבחנים קיבלו $100 על ההשתתפות במחקר. אני מתאר לעצמי את תחושת הסיפוק של אלה שבמהלך שעה בקושי התאמצו כדי להרוויח את הסכום הזה.)

אבל הבעיה המרכזית שלי עם המחקר של קוסמינה איננה, כפי שכבר ציינתי, שאין חדש בממצאים שלו, וגם לא אוכלוסיית המשתתפים החד גונית והקטנה. מפריע לי מה שנראה לי כיומרה שבעזרת ה-EEG אנחנו לומדים משהו משמעותי. כזכור, החוקרים מצאו פחות פעילות מוחית אצל הקבוצה שהשתמשה ב-LLM. הם הסבירו שהכתיבה ללא סיוע מגבירה את פעילות המוח במגוון תחומים, דבר שגורם לעומס קוגניטיבי גבוה יותר. לעומת זאת, בכתיבה עם סיוע של כלי LLM יש פחות קישוריות עצבית. הם מוסיפים שיתכן שהתחושה של המשתמש ב-LLM תהיה שהמשימה קלה יותר, אבל הפעילות המוחית גם דלה יותר. שינדל מתייחס גם לסוגיה הזאת:

your neural activity when you interact with an LLM and generate an essay will probably be different than someone writing an essay. I mean, at the very least, they involve different activities. Someone writing the essay will be doing a lot more typing, whereas someone generating an essay with an LLM will probably be mousing more, reading more text, and spending more time editing vs writing directly.

(לזה, אגב, אפשר להוסיף – לא ברור אם מי שהשתמש ב-LLM בכלל עשה משהו מעבר להכנסת פרומפט שחולל חיבור, ואחרי זה פשוט נח עד סוף עשרים הדקות.)

ולאור זה, ב-EEG הפעילות המוחית אמנם שונה עבור כל קבוצה, אבל פעילות מוחית שונה איננה בהכרח פעילות איכותית (או ירודה) יותר. בסך הכל פעולות "שכליות" שונות מתבטאות בפעילות מוחית שונה.

אני מודה שההבנה שלי על כיצד המוח פועל מוגבלת ביותר, כולל מה ה-EEG מודד או לא מודד. בזה אני מניח שאינני שונה מהרוב הגדול של האוכלוסייה. סביר להניח שההד הציבורי שהמחקר הזה יצר קשור לכך שהוא נותן חיזוק מדעי לדעה רווחת בציבור, דעה, אגב, שבמידה רבה גם אני שותף לה. אבל אם כל הרצון לאמץ את המסקנות של המחקר של קוסמינה, ולהגיד שהנה, רואים כיצד ההסתמכות על כלי LLM פוגעת ב-חשיבה/למידה/כתיבה שלנו, קשה לא להודות שהמחקר הזה איננו מוכיח דבר.

אני כמובן בעד דרבון החשיבה. בעיניי מדובר באתת המטרות המרכזיות של החינוך. ואם ה-AI מסוגלת לדרבן, מי אני שאתלונן. קרלו איוקונו (Carlo Iacono) חושב שה-AI אכן עושה זאת, ובאופן מוצלח. ב-Substack שלו מתחילת חודש יוני הוא מתאר את התחושה המטלטלת כאשר בעזרת הפנייה ל-AI אנחנו מגלים שמה שחשבנו לנכון מתגלה כמוטעה. איוקונו מתאר תחושה שבה דברים שרק לפני רגע היו לנו ברורים נעשים זרים לנו. הוא כותב שהוא נתקל במצבים כאלה כאשר הוא צופה באנשים שנעזרים בכלי AI, ובעיניו מה שהוא רואה סותר את הדעה הרווחת שהשימוש הזה מוביל לקיצורי דרך ולעצלנות:

When a user crafts what they believe is a perfectly reasonable prompt and receives an AI response that's technically correct but somehow fundamentally off, something remarkable happens. The tool's interpretation becomes a mirror, reflecting back not just what they asked, but the poverty of how they asked it.

הוא כותב שהשמעת המחאה כלפי ה-AI: "לא לזה התכוונתי" היא תחילתה של התבונה.

לפי איוקונו, העובדה שה-AI איננה "מבינה", ולכן גם איננה מבינה את כוונת הפונה, נמצאת בבסיס היתרון שיש ל-AI על המורה האנושי. לעומת המורה שבאופן אמפתי מבקש לגשר על הפערים בין שאלת הפונה לבין השאלה שהיתה ראויה יותר להישאל, ה-AI מציגה, ללא רחמים, את הבעייתיות של השאלה ההתחלתית, ובכך מכריחה את הפונה לשפר אותה. לפי איוקונו:

This is where the magic happens, though magic might be too gentle a word for what's essentially an intellectual demolition. The student, confronted with their own imprecision, must return to the drawing board.

יש משהו כובש בכתיבה של איוקונו. הוא מתאר את תהליך הלמידה כסידרה של הבהרות והזדככויות שדרכן הלומד מבהיר לעצמו את הנושא שהוא מבקש ללמוד. בתהליך הזה ה-AI פועלת כמראה שמשקפת את החשיבה של הפונה, כאשר אותה מראה מבליטה את הנחות היסוד המוטעות, את הטעויות שנמצאות בניסוחים הראשוניים, כך שבהמשך הפונה מגיע להבנה ברורה ועמוקה יותר. איוקונו מכנה את זה:

an "intellectual unravelling" – that sensation of watching your carefully constructed understanding come apart thread by thread, only to be rewoven into something stronger but fundamentally different.

התיאור הזה שונה כמעט בתכלית מהתיאורים המוכרים לנו של השטחיות ושל קיצורי הדרך בשימוש בכלי AI שאותם אנחנו מרבים לקרוא. זה איננו השימוש המזורז ב-AI כדי להפיק עבודה שאפשר להגיש למרצה במהירות ובמינימום מאמץ. התיאור של איוקונו מעורר תקווה, ונדמה לי שכל מי שקורא את התיאור המאוד יפה (והדי ארוך – הצגתי כאן רק חלק קטן) של איוקונו עשוי להגיד "כזה אני רוצה!". אבל על אף הקריאה המהנה, והרצון לראות בתיאור שלו תהליך נפוץ, מצאתי את עצמי שואל אם אולי רק יחידי סגולה יכולים להפיק את התועלת המרשימה הזאת. אויקונו הוא ספרן ותיק באוניברסיטה באוסטרליה שמשלב את ה-AI לתוך עבודתו וחייו. אני חושש שהדרך שבה הוא מתמודד עם ה-AI, משכנעת ככל שתהיה, שונה מאד מהדרך שבה סטודנטים, גם עם הם מקבלים עידוד והכוונה, ישתמשו בה. נדמה לי שחשוב גם להוסיף שעל אף העובדה שההתמודדות שאיוקונו מתאר חיובית ומרשימה, היא גם מזכירה את הפונים ל-ELIZA לפני כמעט 60 שנה, כאשר רבים מאלה ששוחחו איתה קיבלו ללא עוררין את ה-"תשובות" הסתמיות שלה כהזמנה להמשיך את ההתייעצות איתה. ורצוי לזכור שרבים מהאנשים האלה סיימו את השיחות איתה בתחושה שהיא עזרה להם להבהיר דברים לעצמם.

מאז שה-ChatGPT פרץ לתודעה שלנו זכינו לתיאורים רבים של כיצד סטודנטים משתמשים בכלי AI. הרוב המכריע של התיאורים האלה שונים מאד מהתיאור של איוקונו. לפני שבוע זכינו לעוד כתבה על הרגלי הכתיבה של סטודנטים בעידן ה-AI, הפעם של הואה הסו (Hua Hsu) ב-The New Yorker:

What Happens After A.I. Destroys College Writing?

כמעט אין דמיון בין עדויות הסטודנטים שהסו מביאה לבין התהליך שאיוקונו מתאר. בשיחות עם סטודנטים לתואר ראשון ב-New York University, סטודנט אחד סיפר שלא היה לו זמן או חשק לקרוא את המאמר שהמרצה ביקש לקרוא לקראת השיעור ולכן:

“But, obviously, I wasn’t tryin’ to read that.” He had prompted Claude for a summary, but it was too long for him to read in the ten minutes he had before class started. He told me, “I said, ‘Turn it into concise bullet points.’”

סטודנט אחר לכאורה השקיע יותר, לפחות בשלב של לקראת הפנייה ל-AI. הוא ביקר בתערוכת אמנות וצילם עבודות שהוא הגיש ל-Claude כדי לקבל מאמר שאפשר להגיש למרצה. ואז:

After skimming the essay, he felt that the A.I. hadn’t sufficiently addressed the professor’s questions, so he refined the prompt and told it to try again. In the end, Alex’s submission received the equivalent of an A-minus. He said that he had a basic grasp of the paper’s argument, but that if the professor had asked him for specifics he’d have been “so fucked.”

נדמה לי שמשני המקרים האלה ברור שמטרת הסטודנטים לא היתה להיעזר ב-AI כדי לחדד את ההבנה שלהם כלפי הנושאים שעליהם הם למדו, אלא פשוט לצאת ידי חובה בצורה אלגנטית, וכמובן גם כמה שיותר מהר ועם מינימום מאמץ.

הסו, אגב, מבינה את הסטודנטים. היא כותבת שה-AI דורשת מאיתנו לבחון מחדש את מטרת ההשכלה הגבוהה. הרי עד סיום 12 שנות לימוד אנחנו בבית הספר מפני שהמדינה מחייבת זאת ומה שאנחנו לומדים הוא בעיקר לפעול לפי הכללים. לעומת זאת, ההחלטה להמשיך להשכלה הגבוהה היא בחירה, והבחירה הזאת תמיד נעשית מתוך ההבנה שכדי לקבל תעודה עלינו למלא את הדרישות, גם כאשר אלה נראות לנו חסרות תכלית או מיותרות:

But even for the most mercenary of students, the pursuit of a grade or a diploma has come with an ancillary benefit. You’re being taught how to do something difficult, and maybe, along the way, you come to appreciate the process of learning. But the arrival of A.I. means that you can now bypass the process, and the difficulty, altogether.

היא מוסיפה שהסטודנטים של היום גדלים בתקופה שבה החברה מעריכה פעולות מהירות ולא את הדיון האיטי של החשיבה הביקורתית, ולכן הפנייה שלהם לקצר תהליכים בעזרת כלי ה-AI די מובנת.

תוך כדי הקריאה במאמרון של איוקונו הערתי לעצמי שהאינטראקציה בין הלומד לבין ה-AI שהוא מתאר דומה מאד לתהליך הלמידה שמוכר לנו ב-ZPD הוויגוצקיוני. הרי בתיאור של איוקונו ה-AI איננה מקפיצה את הפונה מעבר למה שבמצבו הנוכחי הוא מסוגל להבין. במקום זה, בכך שהיא משקפת את דברי הפונה היא מכוונת אותו באמצעות דחיפות קלות שבסופו של התהליך מובילות לשינוי משמעותי – ללמידה של ממש. מבלי להתכוון (ונדמה לי שעדיין ברור של-AI אין כוונות) היא ממלאת את התפקיד החשוב הזה.

ובכל זאת, האם אנחנו באמת זקוקים ל-AI בשביל זה? ד'ארסי נורמן (D'Arcy Norman), בבלוג שלו, מהרהר על השימוש שלו בכלי AI ועל התלות שהשימוש הזה יוצר אצלו. כמו איוקונו, הוא מוצא שהערך של הכלי נמצא בכך שהוא מחייב אותו להבהיר לעצמו מה הוא חושב ומה הוא עוד צריך ללמוד. אבל אם כך:

if the value is in the process of thinking out loud rather than in the outputs – how can we better foster this practice without coming to rely on generative AI chatbots? How do we create structures and spaces for articulation, reflection, and iterative thinking that don’t require feeding the machine?

דווקא כאשר נורמן בוחן את היחס האמביוולנטי שלו כלפי ה-AI מתברר לו עד כמה הוא מעריך את החשיבה בקול רם. אמנם ה-AI אכן מדרבנת את החשיבה הזאת, אבל התובנה הזאת:

has also reminded me how much I’d rather do that work with other people.

גם אם תהליך הבהרת החשיבה שאיוקונו מתאר באמת קוסם, לא יזיק אם נבדוק אם לא יעיל, וגם מהנה, יותר לעבור אותו בקול רם עם אנשים אחרים.