Rättvisa jämförelser mellan prov med ny metod

Genom att använda sig av bakgrundsinformation om provtagare är det möjligt att få mer rättvisa jämförelser av kunskapsprov som högskoleprovet och därmed en mer rättvis tilldelning av universitetsplatser. Det visar Gabriel Wallin i sin avhandling.

Gabriel Wallin
Gabriel Wallin

Född 1991
Bor i Nice, Frankrike

Disputerade 2020-01-17
vid Umeå universitet


AVHANDLING
Extensions of the kernel method of test score equating

Varför blev du intresserad av ämnet?

– Jag har en bakgrund inom statistik och metodutveckling. Det fanns en doktorandtjänst ute som skulle vara inriktad på metodutveckling kopplat till just kunskapsmätningar och det tyckte jag lät väldigt intressant.

Vad handlar avhandlingen om?

– Om hur man kan göra rättvisa jämförelser mellan olika provtagargrupper som har deltagit i storskaliga kunskapsprov. Ett prov som jag studerat är högskoleprovet. Eftersom resultaten från provet används för att söka in till universitetet är det viktigt att det blir en rättvis tävling om platserna och att resultaten från ett år är jämförbara med resultaten från ett annat år. Man skapar helt unika prov från gång till gång, vilket innebär att proven aldrig kan vara exakt lika svåra. När man tittar på provresultaten från en omgång till en annan och jämför provtagargrupperna ser man att de har presterat olika bra. Då kan man fråga sig om det beror på att det ena provet var svårare än det andra, och att den ena gruppen presterade bättre för att de hade tur att få en lättare version. Eller var det så att den gruppen helt enkelt var lite bättre?

– Det är standard på storskaliga kunskapsmätningar att använda så kallade ankaruppgifter. Det är uppgifter som är gemensamma för båda provversionerna som man vill jämföra, men som inte är en del av provpoängen. De är bara där för att kunna hjälpa oss att göra en poängjustering. Den här typen av uppgifter är effektiva verktyg för att göra justeringar. Men alla prov har inte ankaruppgifter. Högskoleprovet har ganska nyligen börjat med ankaruppgifter men det är en ganska stor process att implementera dem.

– Vi har undersökt om man kan använda sig av annan information som eventuellt kan finnas tillgänglig för att göra poängjusteringar. Vi har tittat på bakgrundsinformation om provtagarna, som kön, ålder och provresultat från andra kunskapsmätningar, för att se om vi kan nyttja den i stället.

Vilka är de viktigaste resultaten?

– Vi har tagit fram en metod för hur man kan samla bakgrundsinformation om provtagare och använda den på ett sätt som är önskvärt för att kunna göra rättvisa jämförelser. Med hjälp av metoden kan man göra en poängjustering som är baserad på svårighetsnivån på de respektive proven. Det ska alltså inte spela någon roll vilken provversion man har tagit. Vi har kunnat visa att den här metoden fungerar lika bra som om vi hade haft ankaruppgifter. Metoden fungerar också bättre än om vi helt enkelt bara ignorerat det faktum att det inte finns några ankaruppgifter och vi inte använder bakgrundsinformationen, utan låtsas som att det inte finns någon skillnad mellan grupperna. Det skulle vara en ganska naiv metod, men den enda som man har kunnat använda. Vi har visat att vi kan göra bättre än så.

Vad överraskade dig?

– Jag misstänkte att vår metod skulle vara bättre än den som bygger på att man helt enkelt antar att provtagargrupperna inte skiljer sig åt. Men att vi skulle kunna göra lika bra som om vi hade informationen från ankaruppgifter, som är ’gold standard’ inom kunskapsmätningar världen över, det var överraskande. Det har också fått oss att tänka att det kanske går att göra ännu bättre om vi använder oss av både ankaruppgifter och bakgrundsinformation.

Vem har nytta av dina resultat?

– Själva metoden är till gagn för de som analyserar prov och sköter poängrapportering eftersom vi tillhandahåller metoder som är bättre än de existerande. Men de som verkligen gagnas av dem är såklart provtagarna eftersom vi tillhandahåller metoder som säkerställer att det blir rättvisa jämförelser. Det innebär att det inte är slumpen som avgör om man kommer in på en utbildning eller inte, om man till exempel hade oturen att skriva provet ett år som var svårare än ett annat år.

Åsa Lasson

Sidan publicerades 2020-05-04 08:59 av Ebba Reinolf
Sidan uppdaterades 2020-05-29 09:06 av Ebba Reinolf


Relaterat

Stor variation i digital kompetens hos utländska lärare

Läraridentiteten och den pedagogiska grundsynen påverkar vad utländska lärare upplever som nytt eller främmande i en svensk utbildningskontext. Annika Käcks avhandling visar också att det är stor spridning i digital kompetens bland utländska lärare.  

Engelska är språkidealet inom högre utbildning

Flerspråkighet värderas inte inom högre utbildning, i stället finns en idé om att det räcker med engelska. Susanne Strömberg Jämsvis forskning visar också att nationella minoritetsspråk och stora invandrarspråk inte finns med i någon språkpolicy för högre utbildning.

Lite kritik i musikämnet på lärarutbildningen

Blivande lärare och förskollärare får mest beröm i undervisningen i musikämnet för blivande lärare och förskollärare. Kritiken tystas ner – av missriktad välvilja, visar Monica Frick Alexanderssons avhandling.

Barns samspel bortom förskolans väggar

Den fysiska miljön har stor betydelse för platsskapande processer i förskolan. Det visar Carina Berkhuizens avhandling om hur barns möjligheter att samspela med varandra och pedagoger villkoras av miljön på förskolegården.

Fokus på det mätbara i litteraturundervisningen

När det mätbara får allt större betydelse fokuserar svensklärarna mer på språkutveckling, läsförståelse och läsförmåga i skönlitteraturundervisningen – och mindre på elevernas läsupplevelser. Det visar en avhandling av Spoke Wintersparv.

Undervisning på engelska försämrar inte elevers svenska

Gymnasieelevers förmåga att skriva på svenska tar inte skada av att undervisningen i vissa ämnen sker på engelska. Elisabeth Ohlssons forskning motbevisar därmed de farhågor som Skolverket pekar på.

Fokus på stavning när barn får bestämma skrivundervisningen

Lärarnas intention är att stimulera barnens kreativa skrivande men barnen fastnar på stavning och grammatik. Camilla Forsberg har forskat om skrivundervisning och överraskas av att det är barnen som driver färdighetsdiskursen.

Tungt ansvar för föräldrar till barn med NPF-diagnos

Barn med adhd- och autismdiagnoser som har resursstarka föräldrar har störst chans att få det stöd de behöver, konstaterar Emma Laurin. Hennes avhandling visar att föräldrar till barn med neuropsykiatriska diagnoser tvingas bära ett tungt individuellt ansvar för barnens skolgång.

Komplext värdegrundsarbete i bildundervisningen 

Värdegrundsarbetet kommer sällan fram i samtalen i bildämnet – trots att bilder har en stor roll i elevernas vardag och i sociala medier. Det visar Hanna Ahrenby som forskat om lärares möjligheter att integrera värdegrundsfrågor i bildundervisningen.

Den ideala matematikläraren är kunnig och effektiv 

En bra matematiklärare har goda ämneskunskaper och ser till att eleverna når målen. Det visar Lisa Österlings avhandling om synen på den önskade matematikläraren i lärarutbildningens olika arenor.

Både film och skönlitteratur kan skapa mening

När eleverna fick använda film i svenskan blev de både aktiva och kreativa, visar Simon Wessbos avhandling om skönlitteratur och film i svenskämnets litteraturundervisning.

Bristande förutsättningar för socialt lärande på fritids

Både fritidspersonal och rektorer har en önskan om att arbeta mer med socialt lärande på fritids. Kristina Jonssons forskning visar att bristande förutsättningar ofta innebär att intentionerna kommer i kläm.

Praktiska vardagsfrågor präglar lärarlagsmöten

Samtal i lärarlag rör sig oftast kring elevernas omsorg samt praktiska och vardagliga frågor som schema och logistikfrågor. Det konstaterar Anna Norrström som undersökt hur lärare samtalar på lärarlagsmöten.

Bakgrund och kön styr val av gymnasieprogram

Bakom en till synes jämn könsfördelning på gymnasiets naturprogram döljer sig stora skillnader. Johanna Mellén visar att elevers gymnasieval har varit lika bundna av kön och social bakgrund sedan 1970-talet.

Så kan matematiklärare använda digital teknik i geometrin

Digitala verktyg kan bidra till ökad förståelse av geometri. Det visar Peter Markkanens avhandling om undervisning i geometri i grundskolan.

Bredare perspektiv på religion behövs i undervisningen 

Elever talar ogärna med varandra om religion i skolan, mycket för att de inte vill riskera att framstå som intoleranta. Det säger Fredrik Jahnke som forskat om ungas syn på och tankar om religion i sin skolvardag.

Skolportens konferenser
Att läsa en avhandling

Att läsa en avhandling

Att läsa en avhandling handlar till stor del om att vaska fram det som är intressant – inte om att plöja sig igenom hela texten från början till slut. Här hittar du några tips på hur du gör det.

Läs mer
Kommande disputationer
SKOLPORTENS MAGASIN
Nr 3 2021

Nr 3 2021

Intervju med den kanadensiske skolforskaren Steven Katz som gärna talar om för lärare att deras fortbildning ger klena resultat – och varför. Stort tema om komvux i förändring.

Läs mer och prenumerera här!
Skolportens digitala kurser