Problem med slutsatserna i Hatties ”Synligt lärande”
Det är inte möjligt att dra några slutsatser från resultaten som presenteras i John Hatties metaöversikt Synligt lärande. Det menar forskaren André Kalmendal som har läst de 2 500 metaanalyser som boken utgår från.
Bor i Växjö
Född år 1989
Disputerade 2025-06-13
vid Linnéuniversitetet
Evidence in education. How metascience can improve the quality of evidence syntheses in educational psychology
Varför blev du intresserad av ämnet?
− Skolan har alltid varit en plats där jag har känt mig hemma och trygg. Dessutom är det en plats som man vill utveckla och göra bättre. Jag fick upp ögonen för den så kallade replikationskrisen, som innebär att många publicerade forskningsresultat inte går att reproducera, och hur den slog igenom i psykologin. Då fick jag idén att det vore spännande att forska på evidens i skolan.
Vad handlar avhandlingen om?
− Den handlar i grunden om hur vi kan förbättra kvaliteten på evidenssynteser, eller systematiska översikter och metaanalyser, inom pedagogisk psykologi och utbildningsforskning. De här synteserna får ofta stort genomslag i forskningen, eftersom de sammanfattar många studier och ger den bästa tillgängliga evidensen. Jag upptäckte att många av de systematiska översikterna inte följer de standarder som vi har inom forskning, som krävs för att få valida resultat. Min avhandling har två spår. Två av studierna handlar om att kritiskt granska den forskning som görs idag. Den andra delen handlar om att försöka utveckla och skapa ett sätt att bedriva forskning på ett sundare sätt.
Hattie har fått mycket kritik tidigare för att han blandar äpplen och päron, och det är det generella problemet med hans bok.
André Kalmendal
Vilka är de viktigaste resultaten?
− Avhandlingen har en studie som man kan säga är dess flaggskepp, där vi har granskat John Hatties forskningssammanställning i boken Synligt lärande (eng. titel: Visible Learning). I boken har Hattie sammanställt resultat från redan genomförda metaanalyser. I vår studie kunde vi i stort sett inte reproducera någon av de statistiska analyserna från boken. Mycket av det som finns med i boken matchar inte heller Hatties egna definitioner. Det här är ett stort problem som gör att man inte kan dra några som helst slutsatser från resultaten som han presenterar, eller från den här rangordningen av effektstorlekar som har fått ett enormt genomslag i skolor världen över.
− Svagheterna i studien ligger i sammanställningen av litteraturen. Tänk dig att du vill visa på hur en läsintervention fungerar för barn, och så tittar du endast på forskning som är gjord på vuxna. Kan man verkligen säga att det fungerar på barn i förskolan när vi har undersökt collegestudenter i USA? Det är ett konkret exempel från Hatties bok. Men det finns många fler exempel där han drar slutsatser från data som inte hör hemma i frågan. Om vi ska diskutera teknologi i relation till skolan, så kan vi inte dra några slutsatser från datavetenskap på 80-talet. I ett modernt samhälle är det inte relevant forskning. Man är tvungen tänka lite längre än siffrorna. I Hatties fall har det varit väldigt mycket fokus på siffror, utifrån ett underlag som kanske inte är relevant för sammanhanget i en undersökning. Hattie har fått mycket kritik tidigare för att han blandar äpplen och päron, och det är det generella problemet med hans bok. Till skillnad från de flesta andra studier som har släppts om detta, så har jag läst samtliga 2 500 metaanalyser som boken bygger på, vilket ingen annan har gjort på det sättet. Då framträder en tydlig bild av att det inte fungerar att blanda interaktioner som inte hör ihop. Det är högst problematiskt, och det är det viktigaste resultatet.
Vad överraskade dig?
− Själva omfattningen av problemet. Av de 322 effekterna som Hattie lyfter fram kunde jag endast reproducera två. Hattie säger att en viss intervention har den här effekten, exempelvis att läsundervisning ger mer läsning. Att reproducera det går ut på att man får samma siffra som han, genom att titta på samma data som han har tittat på. Det kunde jag inte få och det var tråkiga resultat. Jag har haft en dialog med Hattie efter att min avhandling publicerades, och han håller inte med mig. Men han kan också se att det finns brister i arbetet och har varit intresserad av att ta del av mitt material.
− Jag har inget intresse av att bidra till diskussioner om att man inte ska lita på forskning, och jag blev också väldigt överraskad över vilken kraft det finns inom vissa delar av forskarsamhället när det kommer till att förbättra metoder och statistik.
Vem har nytta av dina resultat?
− Alla som vill att skolan ska vila på en trovärdig evidens kan troligtvis tycka att detta är intressant. Det kan vara allt från lärare som använder de här översikterna för att hitta en metod, till beslutsfattare som tar fram riktlinjer för skolans utveckling. Resultaten kan ha en ganska direkt påverkan på lärare – om de slutar använda Hatties bok som underlag så kanske det blir mindre frustration.