Orden sitter men gör argumenten det?
Några av de studenttexter som fick högst poäng på ett standardiserat prov saknade en motiverad slutsats. En ny finländsk studie av studenter i slutet av kandidatutbildningen visar hur olika två sätt att bedöma samma text kan bli.
Utöver de fackkunskaper varje utbildning ger, är en av de främsta vinsterna med högre studier de generiska, överförbara intellektuella förmågor som utbildningen förväntas utveckla. Det är i alla fall förhoppningen. Främst bland dessa är kanske de skilda, men relaterade, förmågorna att analysera och utvärdera information och producera en stringent argumentation. Det är en sammansatt förmåga och den genomsyrar utbildningen: så gott som varje skriftlig uppgift kräver att studenter analyserar och värderar information, tar ställning och stödjer sina slutsatser med belägg. Vissa utbildningar innehåller moment där detta lärs ut explicit, men förväntningen att studenterna ska tillägna sig dessa förmågor ställs brett och har skrivits in i kursplaner och lärandemål. Det är därför angeläget att veta hur väl dessa förväntningar infrias.
Tidigare forskning om studenternas färdigheter inom dessa områden har huvudsakligen fokuserat på nybörjarstudenter och har bland annat visat att de kan ha svårt att ge relevanta skäl, ta tydlig ställning och beakta motargument mot den valda slutsatsen. Men vad händer med dessa färdigheter mot slutet av utbildningen? Det undersöker Silvennoinen och hennes kollegor i en artikel i Higher Education Quarterly i ett försök att fylla denna lucka.
Forskarna använde ett beprövat prov CLA+ International. Provet är framtaget i USA, men har översatts och anpassats till en finländsk kontext. Provet mäter särskilt analysförmåga och problemlösning, argumentation och skriftlig kommunikation. Studenterna fick fem olika källor – blogg, en transkriberad podd, ett PM, en tidningsartikel och grafisk information – och skulle utifrån dessa jämföra den förväntade livslängden i två fiktiva städer och rekommendera åtgärder för att minska skillnaden. Studenterna hade totalt 60 minuter på sig att utföra två uppgifter som bedömdes var för sig: dels en analysuppgift (beskriva och förklara skillnaden i livslängd mellan de två städerna) och dels en argumentationsuppgift (att rekommendera en åtgärd för att åtgärda skillnaden mellan städerna).
Totalt deltog 2402 studenter i datainsamlingen, varav 864 gick sista året på kandidatutbildningen. Ur dessa 864 valde forskarna ut de 100 texter som fått lägst totalpoäng och de 100 texter som fått högst totalpoäng och analyserade dessa. Urvalet gjordes för att tydligare kunna identifiera vad som skiljer de starka från de svaga texterna.
För att kunna jämföra texterna, som alltså redan hade blivit poängsatta av CLA+, behövde forskarna ett sätt att beskriva ett arguments beståndsdelar. De utgick från Toulmin-modellen som är vanligt förekommande i utbildningsforskning. Denna modell delar upp ett argument i sex delar. Två av dem känner alla igen: argumentets slutsats och de skäl (premisser) som anförs för slutsatsen. En tredje är den, ofta outtalade, regel eller princip som binder samman just dessa skäl med just denna slutsats; i modellen kallas den garant (eng. warrant). (Att fysiskt krävande arbete är vanligare i den ena staden är inte i sig ett skäl att tro att den förväntade livslängden är kortare där. Det blir ett skäl först tillsammans med en princip om hur arbetsförhållanden påverkar hälsa.) De tre återstående delarna rör vad som i sin tur stöder garanten, hur starkt slutsatsen hävdas (är den säker eller endast sannolik?) och under vilka omständigheter den inte skulle hålla. Modellen beskriver hur argument läggs fram och försvaras i praktiken. Det viktiga är att modellen beskriver ett arguments komponenter utefter vilken funktion de har. När argumentet utvärderas med hjälp av denna modell bedöms alltså vilka platser i argumentets möjliga delar som är fyllda, inte om innehållet i dessa delar är riktiga. Författarna är medvetna om detta och pekar på kritiken att en Toulmin-baserad analys riskerar att stanna vid argumentets ytstruktur. De avgränsar därför sin bedömning till slutsats och de skäl som anförs för den, och bedömer skälen utifrån fyra egenskaper: tillförlitlighet, relevans, tillräcklighet och bredd.
Hur står sig då den rangordning som CLA+-testets poäng ger mot den utvärdering som forskarnas egen bedömning gav? CLA+ ger ett sammanvägt mått. Varje text poängsätts på en sjugradig skala i tre delområden – analys och problemlösning, skriveffektivitet och skrivmekanik – och av dessa räknas en totalpoäng fram. Det är bara ett av delområdena, det som kallas ”skriveffektivitet”, som är avsett att fånga argumentationen.
Forskarna gör ingen systematisk jämförelse mellan de två bedömningarna, men de noterar i diskussionen att vissa av de texter de själva klassat som svaga hörde till dem som fått högst totalpoäng i provet. Dessa texter kunde framstå som ledigare och mer mångsidigt utvecklade än andra. Det som saknades var en tydlig slutsats (alltså en rekommendation om hur skillnaden i livslängd mellan städerna kunde minskas). Ibland var analysen av källorna väl genomförd men den motiverade åtgärd som uppgiften efterfrågade uteblev eller framfördes utan (tillräckliga) skäl. I CLA+ bedöms varje text av minst två tränade bedömare, så det är inte sannolikt att det rör sig om slarv utan om en skillnad i vad det sammanvägda måttet är avsett att mäta.
Studien ger också en bild av materialet som helhet. Av de 200 texterna höll analysen hög kvalitet i drygt hälften av fallen och nästan hälften hade en rekommendation av hög kvalitet. Den största enskilda gruppen (84 texter) bedömdes ha hög kvalitet i båda deluppgifterna. Det som utmärkte de svaga svaren var att en av deluppgifterna saknades. Oftast rekommendationen. Ingen text hade en rekommendation av hög kvalitet byggd på en svag analys, vilket författarna finner naturligt, eftersom det utan en genomförd analys inte finns mycket att bygga en rekommendation på. Den vanligaste svagheten i argumentationen var bristande tillräcklighet: slutsatsen underbyggdes av enstaka skäl trots att flera fanns att hämta i källorna. Även i de texter som författarna bedömde som starkast förekom irrelevanta och otillförlitliga skäl vid sidan av de hållbara. Detta tolkade författarna som att studenterna inte tillräckligt bedömt källornas kvalitet.
Artikeln anger inte hur många texter som uppvisade denna diskrepans. Författarna lyfter också fram att studenternas tid var knapp och att rekommendationen, som gjordes sist, kan ha lidit av tidsbrist. Beslutet att välja ut de svagaste och starkaste texterna kan också ha förstärkt skillnaderna. Författarna är väl medvetna om dessa begränsningar. Deras rekommendation är att de kriterier de använder kan användas av lärare för att ge riktad återkoppling till studenterna.
Kommentar: Att analysera ett material är en sak, att dra en motiverad slutsats av det en annan, och att presentera argumentet för slutsatsen på ett tydligt och rigoröst sätt en tredje. Studien håller isär de två första: analysuppgiften och rekommendationsuppgiften bedömdes var för sig. Den tredje uppgiften syns i författarnas kriterium för hur klart slutsatsen formuleras. I studenternas texter satt analysen ofta bra; det var slutsatsen som uteblev eller lämnats utan (tillräckliga) skäl.
När vi formulerar våra egna uppgifter är det värt att se till att de tre delarna syns och hålls isär, så att studenten vet vad som efterfrågas. Men studien pekar kanske också på något mer. Att efterfråga en motiverad slutsats är inte detsamma som att ha lärt ut vad en sådan kräver. Studenterna i studien var på väg att avsluta sin utbildning och hade säkerligen mött många exempel på god argumentation. Ändå hade de kvar flera av de svårigheter som är vanliga hos nybörjare. Att ha läst god argumentation är inte samma sak som att ha lärt sig att själv genomföra och presentera sådan. Det talar för att möjligheten att få träna sig i argumentation behöver vara ett explicit inslag i utbildningen. Möjligen ska det också vara ett återkommande inslag.
Det som artikeln ger mest att fundera över är dock inte undervisningen, utan bedömningen. Skillnaden mellan de två bedömningarna (CLA+ testet och författarnas egen) uppstod inte för att den ena var noggrannare än den andra, utan för att den ena ställde en bestämd fråga. Forskarnas raster frågade var slutsatsen fanns och vad som bar den. En sammanvägd totalpoäng ställer aldrig den frågan, eftersom den väger ihop flera olika saker till en sammanvägd poäng. Det är där artikeln blir obekväm på ett nyttigt sätt. Många av oss sätter ett samlat omdöme på en studenttext. Ett sådant omdöme kan vara högt av skäl som har förhållandevis lite med argumentationen att göra — disposition, språk, flyt. Detta kan såklart vara på sin plats. Studenternas argumentationsförmåga är trots allt inte det enda vi bedömer. Men det visar att bara för att studenterna har argumenterat i sin text, och vi bedömt deras text är det därmed inte garanterat att vi faktiskt har bedömt deras argumentation. Givet den centrala roll som argumentationsförmåga trots allt har i det som studenter, deras blivande arbetsgivare och vi som lärare förväntar oss att de ska få ut av sin högskoleutbildning, är det avgörande att vi också oftare och noggrannare mäter också just det.
Till sist något som inte står i artikeln, men som är svårt att bortse från. Materialet samlades in mellan 2019 och 2020, alltså innan de generativa AI-verktygen slog igenom. Ändå beskriver studien precis det som oroar många av oss idag: texter som är välskrivna och polerade utan att de visar vad studenten själv kan. Gapet mellan välskrivet och välargumenterat fanns alltså redan. AI har gjort det vanligare och svårare att upptäcka, men knappast skapat det. Givet vilken central roll argumentationsförmåga har i det som studenterna, deras arbetsgivare och vi som lärare förväntar oss av högre utbildning, är det avgörande att vi oftare och noggrannare mäter just den förmågan.
Text: Sama Agahi, Filosofiska institutionen
Nyckelord: argumentationsförmåga, analysförmåga, generiska färdigheter
Senast uppdaterad: 2026-09-28
Sidansvarig: Centrum för universitetslärarutbildning