עוד מהימים של המאמר המפורסם של ניקולס קאר ?Is Google Making Us Stupid קיים מאבק על הנרטיב של השפעת הדיגיטליות על החשיבה שלנו. מול אלה שמצדדים בכלים דיגיטליים כמסייעים חיצוניים שמגבירים את היכולות השכליות שלנו יש אלה שטוענים שזמינות הכלים האלה מרדדת את יכולות החשיבה והיצירה הטמונות בנו. כל צד, כמובן, מגייס נתונים על מנת לחזק את דעתו, וספק אם באמת אפשר להגיע להכרעה. אלא אם אחד הצדדים יצליח להביא הוכחה מוחצת – נתונים מהמוח עצמו, למשל.
נטליה קוסמינה (Natalia Kosmyna) מ-MIT היתה החוקרת הראשית של קבוצה שביקשה להשיג הוכחה כזאת. לפני כחודש, במאגר ArXiv שמאפשר הפצה של מחקרים עוד לפני השלב של הערכת עמיתים, קוסמינה פרסמה מחקר בשם:
המחקר, בעל בערך 200 עמודים, מתאר ניסוי שבו 54 סטודנטים, עם מגוון רמות של תארים אקדמיים, כולם מאוניברסיטאות יוקרתיות סביב העיר בוסטון, נבדקו בעת כתיבת חיבורים מהסוג הנדרש במבחני SAT (מבחנים לקראת הקבלה למוסדות להשכלה הגבוהה). הסטודנטים חולקו לשלוש קבוצות – קבוצה שמשתתפיה התבקשו לכתוב חיבורים ללא עזרה דיגיטלית כלשהי, קבוצה שמשתתפיה התבקשו לפנות ל-WWW במהלך כתיבת החיבורים שלהם, וקבוצה שמשתתפיה הונחו להיעזר ב-ChatGPT בלבד בכתיבתם. איכות כלל החיבורים נמדדה על ידי קוראים חיצוניים, וגם – וכאן הנקודה שגרמה לכך שהמחקר זכתה לפרסום בעיתונות הכללית – בזמן הכתיבה משתתפי כל הקבוצות חוברו למכשירי EEG. החיבור ל-EEG נעשה על מנת:
to record participants' brain activity in order to assess their cognitive engagement and cognitive load, and to gain a deeper understanding of neural activations during the essay writing task.
קאר, כזכור, דיווח על עצמו – על התחושה הסובייקטיבית שלו, בעקבות הקריאה והשוטטות ב-WWW, כלפי החשיבה ויכולת הריכוז שלו. על פי רוב כך כתבו גם אלה שבאו אחריו. אבל המחקר של קוסמינה ביקשה להתגבר על הסובייקטיביות הזאת. ומה יכול להיות יותר אובייקטיבי מאשר נתונים שבאים ישר מהמוח? המוח, הרי, איננו משקר, ולכן אם באמצעות ה-EEG אפשר למדוד פעילות מוחית נוכל באמת לדעת אם אכן השימוש בכלי LLM משפיע על יכולת החשיבה (או לפחות במקרה הספציפי הזה, על הכתיבה) שלנו.
במחקר עצמו כל המשתתפים כתבו שלושה חיבורים, כאשר עשרים דקות הוקדשו להכנת כל חיבור. הנבדקים נשארו באותה קבוצה (ללא סיוע חיצוני [brain only], פנייה ל-WWW, או שימוש ב-LLM) במהלך הכנת כל שלושה החיבורים. היה גם מפגש רביעי, שבו רק שליש מהנבדקים השתתפו. במפגש הזה הנבדקים שויכו לקבוצה שונה מזאת שהיו בה בשלבים הראשונים.
והממצאים? במחקר עצמו יש, כמובן, סיכום, ומספר לא קטן של מקורות בעיתונות הכללית גם דיווחו עליו. הסקירה ב-Time Magazine ברורה וקלה להבנה:
The researchers found that of the three groups, the ChatGPT users had the lowest brain engagement and consistently underperformed at neural, linguistic and behavioral levels.
(בכתבה ב-Time יש גם סרטון YouTube על המחקר, כולל ראיון עם קוסמינה. נדמה לי שהוא מסכם היטב, ובאופן מספק, גם את המחקר וגם את החשיבה הכללית של קוסמינה לגבי חשיבותו.)
עד כאן (ואני מודה שתמצתתי באופן די גס) קשה להגיד שיש בכל זה משהו מרעיד עולמות. כבר נכתב המון על כך שהכתיבה באמצעות כלי LLM רדודה וחסרת מקוריות. לפני כחצי שנה מיכאל גרליך (Michael Gerlich) דיווח על ממצאים דומים במחקרו AI Tools in Society: Impacts on Cognitive Offloading and the Future of Critical Thinking. ועוד בתחילת 2024 Umberto Leo´n-Domínguez פרסם סקירה מקיפה על Potential Cognitive Risks of Generative Transformer-Based AI Chatbots on Higher Order Executive Functions. ספק אם היינו זקוקים למחקר נוסף על מנת לזהות את התופעה הזאת.
קוראי הבלוג הזה בוודאי יודעים שאני חושש שהשימוש בכלי LLM בתהליך הכתיבה מעודד רדידות ופוגעת באיכות החשיבה. לאור זה היה הגיוני לחשוב שממצאי המחקר של קוסמינה ישמחו אותי. אבל עם כל הכבוד למקצועיות של החוקרים, קשה לי להתלהב ממנו. הבעיה איננה רק המספר המצומצם של משתתפים (ואופיים הדי אחיד). כמו-כן, גם קשה להסיק משהו מהתנאים המאד מלאכותיים של מטלות הכתיבה. הרי ספק אם אנחנו זקוקים למחקר על מנת להגיע למסקנה שהפעילות המוחית של אנשים שכותבים במשך עשרים דקות תהיה גדולה יותר מהפעילות המוחית של אנשים שבסך הכל קיבלו הנחייה להכין פרומפט ולאפשר ל-AI לחולל חיבור עבורם. הייתי מאד מופתע אם זה לא היה המצב.
בין היתר המחקר מצא שאלה שהשתמשו ב-LLM התקשו מאד לצטט מהחיבורים שלהם, כאשר על פי רוב אלה בקבוצה ללא הסיוע הדיגיטלי כן יכלו לעשות זאת. בן שינדל (Ben Shindel) ב-Substack שלו טוען שזה בכלל איננו מפתיע. הרי:
since you didn’t directly write most of the words in your essay, you should have more trouble directly quoting it than someone who typed the essay from scratch.
זה גם איננו מפתיע שהקוראים החיצוניים שהעריכו את החיבורים מצאו שהכתיבה של קבוצת ה-brain only היתה מעניינת יותר. הרי ידוע כבר מזמן שלשון הכתיבה של כלי LLM, גם אם עבודות שהוכנו בדרך הזאת מקבלות ציונים טובים, פחות ציורית ומגוונת מכתיבה "אישית". (אגב, רצוי להוסיף שהנבחנים קיבלו $100 על ההשתתפות במחקר. אני מתאר לעצמי את תחושת הסיפוק של אלה שבמהלך שעה בקושי התאמצו כדי להרוויח את הסכום הזה.)
אבל הבעיה המרכזית שלי עם המחקר של קוסמינה איננה, כפי שכבר ציינתי, שאין חדש בממצאים שלו, וגם לא אוכלוסיית המשתתפים החד גונית והקטנה. מפריע לי מה שנראה לי כיומרה שבעזרת ה-EEG אנחנו לומדים משהו משמעותי. כזכור, החוקרים מצאו פחות פעילות מוחית אצל הקבוצה שהשתמשה ב-LLM. הם הסבירו שהכתיבה ללא סיוע מגבירה את פעילות המוח במגוון תחומים, דבר שגורם לעומס קוגניטיבי גבוה יותר. לעומת זאת, בכתיבה עם סיוע של כלי LLM יש פחות קישוריות עצבית. הם מוסיפים שיתכן שהתחושה של המשתמש ב-LLM תהיה שהמשימה קלה יותר, אבל הפעילות המוחית גם דלה יותר. שינדל מתייחס גם לסוגיה הזאת:
your neural activity when you interact with an LLM and generate an essay will probably be different than someone writing an essay. I mean, at the very least, they involve different activities. Someone writing the essay will be doing a lot more typing, whereas someone generating an essay with an LLM will probably be mousing more, reading more text, and spending more time editing vs writing directly.
(לזה, אגב, אפשר להוסיף – לא ברור אם מי שהשתמש ב-LLM בכלל עשה משהו מעבר להכנסת פרומפט שחולל חיבור, ואחרי זה פשוט נח עד סוף עשרים הדקות.)
ולאור זה, ב-EEG הפעילות המוחית אמנם שונה עבור כל קבוצה, אבל פעילות מוחית שונה איננה בהכרח פעילות איכותית (או ירודה) יותר. בסך הכל פעולות "שכליות" שונות מתבטאות בפעילות מוחית שונה.
אני מודה שההבנה שלי על כיצד המוח פועל מוגבלת ביותר, כולל מה ה-EEG מודד או לא מודד. בזה אני מניח שאינני שונה מהרוב הגדול של האוכלוסייה. סביר להניח שההד הציבורי שהמחקר הזה יצר קשור לכך שהוא נותן חיזוק מדעי לדעה רווחת בציבור, דעה, אגב, שבמידה רבה גם אני שותף לה. אבל אם כל הרצון לאמץ את המסקנות של המחקר של קוסמינה, ולהגיד שהנה, רואים כיצד ההסתמכות על כלי LLM פוגעת ב-חשיבה/למידה/כתיבה שלנו, קשה לא להודות שהמחקר הזה איננו מוכיח דבר.
מעניין מאוד!
לא יודע מה המסקנות אבל זה היה טריגר מעולה לחשיבה על העניין.
התחושה שלי שזה כמו להתאמץ לעשות אבחון נורא מדויק למחלה שלא יודעים בלאו הכי לרפא אותה.