יש יתרונות, וגם חסרונות, לניתוח מטה. מצד אחד, בדיקה של קשת רחבה של מחקרים יוצרת תמונת מצב מקיפה – המסקנות של ניתוח כזה עשויות להיות די מהימנות. מצד שני, ניתוח ברמת המטה מתבסס על מחקרים רבים, ונוצר מצב שבו השוני בין המחקרים, ומה שהם בדקו, נעשה גדול מדי על מנת לאפשר הכללות. כל המחקרים שנסקרו בדוח עסקו ב-“למידה מקוונת”, אבל תחת הכותרת הזאת אפשר למצוא לא רק קורסים שהתנהלו בצורה מקוונת באופן מלא, אלא גם קורסים פנים אל פנים שאליהם התווסף מרכיב זה או אחר שאפשר לכנות אותו מקוון (קבוצות דיון, למשל), ובין שני אלה קורסים עם דרגות שונות של מקוונות. עורכי הדוח איתרו מעל 1,100 תקצירים על מחקרים שבדקו למידה מקוונת (שוב, לפי הגדרה רחבה מאד), אבל מתוכם הם מצאו רק 176 שמדדו הישגים (outcomes) של הלומדים באופן אובייקטיבי שנמצאו מתאימים להכלל במאגר שעליו מתבסס הדוח. ומתוך אלה:
99 had at least one contrast between an included online or blended learning condition and face-to-face (offline) instruction that potentially could be used in the quantitative meta-analysis.
ובאמת, מה לגבי המסקנות?
The meta-analysis found that, on average, students in online learning conditions performed better than those receiving face-to-face instruction.
The difference between student outcomes for online and face-to-face classes—measured as the difference between treatment and control means, divided by the pooled standard deviation—was larger in those studies contrasting conditions that blended elements of online and face-to-face instruction with conditions taught entirely face-to-face. Analysts noted that these blended conditions often included additional learning time and instructional elements not received by students in control conditions. This finding suggests that the positive effects associated with blended learning should not be attributed to the media, per se.
ויתכן שהיתרון לטובת למידה מקוונת נובע מסיבות רבות אחרות. התרשמתי במיוחד משתי סיבות שעליהן מצביעים מחברי הדוח – מרכיב של רפלקציה שבא לביטוי בלמידה מקוונת, ומרכיב של הניהול העצמי של הלומד. בדוח אנחנו קוראים (עמ’ xvi):
Studies indicate that manipulations that trigger learner activity or learner reflection and self-monitoring of understanding are effective when students pursue online learning as individuals.
Overall, the available research evidence suggests that promoting self-reflection, self-regulation and self-monitoring leads to more positive online learning outcomes. Features such as prompts for reflection, self-explanation and self-monitoring strategies have shown promise for improving online learning outcomes.
In active learning, the technology allows students to control digital artifacts to explore information or address problems. In interactive learning, technology mediates human interaction either synchronously or asynchronously; learning emerges through interactions with other students and the technology.
אישית, התרשמתי במיוחד ממשפט אחד שמתייחס למקבץ של מחקרים שנכללו בניתוח (עמ’ 38):
As a group, these three studies suggest that the relative efficacy of blended and purely online learning approaches depends on the instructional elements of the two conditions.