כיצד (מרחוק) נוודא שלא מרמים?

סביר להניח שהדבר הראשון שעולה לראש כאשר חושבים על הוראה מרחוק בעידן הקורונה הוא ה-Zoom והתלמידים והסטודנטים שיושבים בבית ו-“זוכים” ליום ארוך של שיעורים דרך צג המחשב. העיתונות מלאה בסיפורים על המציאות החדשה הזאת שאליה התרגלנו במהירות שיא. לפי כמה מאלה המורים מצליחים ליצור אוירה חיובית ותומכת כך שהתלמידים מצליחים להתגבר על אי-הנוחות ואפילו ליהנות מהשיעור. אבל יש גם סיפורים אחרים, ונדמה שהם הרוב, שבהם התלמידים והסטודנטים נאלצים לשבת מול צג המחשב שעות ארוכות ומייגעות ללא למידה. במקרה הטוב ה-Zoom הוא ממלא מקום סביר אבל בוודאי רחוק מאד מלהיות פתרון. כתבתי כבר (ואפילו יותר מדי) שבעיני המציאות הזאת די עגומה, ובוודאי איננה מעודדת למידה.

אבל שיעורים הם רק חלק ממכלול הלמידה/הוראה. במרבית מוסדות הלימוד בסיום של קורס יש גם הערכה, וברוב המקרים “הערכה” היא מילה נרדפת למבחן. הצורך להעריך את הלמידה בקורסי MOOC הביא לפריחה בחברות שהציעו פתרונות של השגחה (proctoring) מרחוק במבחנים. עוד ב-2013 ב-Chronicle of Higher Education סטיב קולוביץ (Steve Kolowitz) כתב על כמה מהנסיונות האלו שהיו, כנראה, בין הראשונים. קולוביץ תיאר את ProctorU – חברה שהעסיקה משגיחים אנושיים שישבו שעות ארוכות מול צגי המחשב של החברה וצפו בסטודנטים שנבחנו דרך המחשבים שלהם בבית. הגרסאות המוקדמות של הכלים האלה התבססו על הון אנושי – עובדים שצפו בנבחנים. קולוביץ כתב:

Watching people take tests can be dull work. Three proctors interviewed by The Chronicle said most incidents were routine, often the result of a misunderstanding. But occasionally a student will try to outwit the system—or simply throw proctors for a loop.
One student tried to fool ProctorU by attaching a sticky note just below his Webcam, so that the proctor couldn’t see it. But the proctor caught the student’s eyes drifting to the note and made him hold up a mirror to his monitor, busting him. Now the mirror check is part of the company’s regular protocols.

באופן דומה, עוד ב-2015 האתר Campus Technology דיווח על תוכנית משותפת של edX ו-Arizona State University (הידועה כחלוצה בעניינים תקשוביים) שבמסגרתה הועסקה חברה חיצונית שהתמחתה בהשגחה מרחוק כדי לטפל במבחנים. מדובר היה בהשגחה מרחוק בלבד, ולא בהשגחה מקוונת או פיקוח אלגוריתמי. הכלי המשגיח (המכונה היום RPNow) פעל על ידי הקלטת הסטודנט בחדרו במהלך המבחן ובדיקת ההקלטה על ידי מה שהחברה כינתה certified human proctors. במילים אחרות (ולא מצאתי מידע ברור או מפורט) הקלטות המבחנים נשלחו, כנראה, להודו או לפקיסטן, שם עובדים שקיבלו משכורת רעב צפו בהן כדי לוודא שהסטודנטים לא רימו את המערכת.

אבל בעידן הקורונה, כאשר בכמעט כל בתי הספר והמוסדות להשכלה גבוהה הסטודנטים נמצאים בבית, צריך להיות ברור שאין אפשרות לבסס את ההשגחה על עובדים שצופים בנבחנים – אם בזמן אמת או בהקלטה. גם מספר המבחנים, וגם הפיתוי לנצל את המרחק מעיני הבוחן, גדולים מדי. יש צורך בתוכנות שמסוגלות לצפות בנבחנים ולזהות פעילות חשודה. היום החברה המובילה בתחום הזה הוא כנראה Proctorio שבאתר שלה מצהירה על עצמה בתור:

A Comprehensive Learning Integrity Platform

בתחתית כמעט כל דף של אתר החברה מופיע תיאור מורחב יותר:

Proctorio serves to improve lives by increasing access to quality education. Developing new educational technologies while protecting academic integrity allows institutions to securely deliver high-quality learning to more people than ever before.

אם לתרגם את המילים הגבוהות האלו למונחים יותר יום-יומיים, האלגוריתמים של החברה מצליחים לזהות פעילות חשודה של סטודנטים בעת המבחן. Proctorio, וחברות דומות, כבר אינן זקוקות לעובדים שיצפו בסטודנטים בזמן המבחן, או מאוחר יותר בהקלטות. היא מסבירה שבמקום זה:

Proctorio uses machine learning and facial detection technologies to achieve consistent and reliable monitoring and validation of test-taker identities and activity.

כאשר מספר המבחנים שנערכים מרחוק הולך ותופח אפשר להבין את המוסדות שמחפשים פתרון להשגחה במבחנים שלה. אבל קשה לא להרגיש שיש כאן, כמו עם מספר הולך וגדל של סוגיות הקשורות לנתונים שנאספים דרך הרשת, חדירה מדאיגה לתחום הפרט. לפני חודש כתבתי כאן על כתבה של ג’וסטין רייך (Justin Reich). באותה כתבה רייך הביע חששות כלפי המגמה של השגחה אלגוריתמית, וציון שבעיניו מדובר ב:

a truly insidious development.

הוא הסביר:

Remote-proctoring software has dark origins in the development of malware to secretly control computers remotely. Forcing students to install such malware — connecting their bedrooms to the panopticon — is too high a price to pay for exam security in Psychology 101.

האם המצב כל כך מדאיג כפי שרייך מתאר אותו? האם ההשגחה האלגוריתמית באמת מאיימת על פרטיות הסטודנטים? התשובה כמובן תלויה במי ששואלים. שיי סוואגר (Shea Swauger), ספרן באוניברסיטה של קולורדו, מתנגד באופן חריף להשגחה הזאת. בכתבה ב-Technology Review של MIT הוא מתאר כיצד כלים כאלה פועלים:

When you begin, the software starts recording your computer’s camera, audio, and the websites you visit. It measures your body and watches you for the duration of the exam, tracking your movements to identify what it considers cheating behaviors. If you do anything that the software deems suspicious, it will alert your professor to view the recording and provide them a color-coded probability of your academic misconduct.

הוא מוסיף שפעולות ביתיות ויום-יומיות כמו ילדים שנכנסים לחדר בזמן המבחן או הצורך לצאת לשירותים יכולות להעלות חשד ולהתריע על נסיון לרמות. עוד יותר בעייתית בעיניו היא הנטייה של תוכנות מהסוג הזה להגדיר התנהגויות של אנשים לבנים וסטרייטים כהתנהגויות נורמטיביות וכך להגדיר כל אחד שנראה או מתנהג אחרת מההגדרה הזאת כחריג, ואת ההתנהגויות שלו כחשודות.

כל זה בהחלט נשמע די מאיים, אבל לפי חברת Proctorio הביקורת הזאת מוגזמת. לטענתם הם כן מתחשבים בחריגויות והחדירה לפרטיות איננה משמעותית כל כך. החברה דווקא רואה את עצמה כממלאת תפקיד חיובי וחיוני לציבור. בתגובה לכתבה ב-Inside Higher Ed שהתייחסה לכתבה מוקדמת יותר של סוואגר (מחודש אפריל) החברה מסבירה:

It may be important to note that there is a potential threat to society when students are not expected to meet integrity standards set forth by their institution. The healthcare setting is a prime example of this. When a healthcare provider is not held to the highest standards of academic integrity, people’s lives are at risk. By protecting academic integrity, institutions can rest assured that the value of their degrees, and future patients, are protected. 

במילים אחרות, בכך שהיא פועלת במרץ כדי למנוע רמאות במבחנים החברה בעצם עושה שירות חשוב לציבור. ההשגחה שלה פועלת כביצור אחרון העומד בפני ההפקרות של סטודנטים שלא חוסכים שום מאמץ כדי לרמות. בלי ההשגחה הזאת סטודנטים ירמו, ובגלל זה יעברו את המבחנים שלהם על אף העובדה שהם לא באמת למדו את החומר הנדרש. וכמובן שבהמשך הדרך הסטודנטים האלה יתקבלו למשרות עבודה שהם אינם מסוגלים למלא כמו שצריך, והחברה כולה תשלם את מחיר.

סוואגר מסיים את הכתבה שלו ב-Technology Review בהערה שהיא בעצם תגובה לחזון האימה הזה של Proctorio. הוא מדגיש שלא כל הסטודנטים רמאים, ושהרמאות במבחנים איננה בעיה עד כדי כך נפוצה. לדעתו, במקום לבלש בחשדנות אחר סטודנטים עדיף לסמוך עליהם.

אין לי הרבה נסיון עם השגחה במבחנים ואינני יכול לקבוע עד כמה סטודנטים מנסים לנצל את העדר ההשגחה כדי לשפר את הציונים שלהם בדרכים לא כשרות. ברור לי שזה קורה, אם כי אני נוטה לחשוב שמדובר בתופעה הרבה פחות נפוצה מאשר חברות כמו Proctorio מציגות אותה. כמו רבים אחרים, אני משוכנע שיש דרכים טובות יותר להעריך את הלמידה של סטודנטים מאשר מבחנים. כמו רייך אני מאד חושש מהחדירה לתחום הפרט – חדירה שכבר מזמן הפכה למובנת מאליה ואפילו צפויה ומקובלת. הבעיה היא שלא נראה לי שבעתיד הנראה לעין בתי ספר ומוסדות להשכלה גבוהה יאמצו שיטות הערכה חלופיות. בגלל זה סביר להניח שהם ימשיכו לפנות לחברות כמו Proctorio בשביל “פתרון” לבעיית הרמאות. ואנחנו נמשיך לראות שכלים להשגחה אלגוריתמית, ולא כלים שבאמת יכולים לסייע בתהליך הלמידה, יהיו אלה שמגדירים את התחום של התקשוב החינוכי.

3 תגובות בנושא “כיצד (מרחוק) נוודא שלא מרמים?”

  1. עצוב שזה מה שמעסיק אותנו. אבל אני כן חושש שזה המצב. קושי מרכזי בהעתקות אינן דוקא בכך שהמעתיקים זוכים בדברים שאינם ראויים להם אלא יותר בכך שזה בא על חשבון הלא מעתיקים. ובמילים אחרות אם כולם מעתיקים זה זה בעיה אבל.. הכי קשה שיש את הפריירים שלא מעתיקים ונדרסים עקב כך.
    מתסכל מאוד

  2. My electronic assessments have always allowed students to use ALL the tools at their disposal. This includes Google and any other electronic tool they choose. As I explain in response to their questions about cheating, if I am silly enough to ask you a googleable question, then you would be silly not to take full advantage of that. My challenge is to ask questions you cannot google or, at least not google easily. I want students to feel like they can spend as long as they need to on assessments. And, on the other end of spectrum, we have this: https://flip.it/SKvieh which requires no comment.
  3. אחת הדרכים למנוע העתקה היא לבחון /להעריך דרך שלא מאפשרת העתקה. זו בהחלט בעיה בקורסים רבי סטודנטים ובנושאים שבהם הידע האישי שלך הסטודנט הוא קריטי (רפואה לדוגמא , אך לא רק). יש להבחין בין נושאים כאלו ואחרים. יש להרחיב את מאגר דרכי ההערכה ולשמור את האמצעים הרידקליים רק להיכן שהם חיוניים באמת. לצערנו העתקה היתה ותהיה.

להגיב על Gil Amit לבטל

האימייל לא יוצג באתר. שדות החובה מסומנים *