Att utvärdera ai-modell betyder att mäta hur bra en tränad modell fungerar på nya data. På startsidan om maskininlärning förklarar vi att dagens AI är modeller som tränats på data för att hitta statistiska mönster. De har ingen mänsklig förståelse och tänker inte som människor. Därför handlar utvärdering inte om om modellen verkar imponerande, utan om hur ofta den ger rätt eller användbara svar när man jämför med facit.
En bra utvärdering försöker svara på en enkel fråga: fungerar modellen även på exempel den inte redan har sett? För vissa uppgifter, som klassificering, går det att mäta tydligt. För andra, som textgenerering, är det svårare och man behöver ofta flera mått samtidigt.
I korthet
- Mät alltid modellen på data som inte användes i träningen.
- Träffsäkerhet, på engelska accuracy, kan vara missvisande när en klass är ovanlig.
- Precision visar hur många av modellens positiva svar som faktiskt var rätt.
- Recall visar hur många av de verkligt positiva fallen modellen lyckades hitta.
- En förväxlingsmatris visar vilken sorts fel modellen gör, inte bara hur många.
Vad menas med att utvärdera en AI-modell?
Att utvärdera en modell är att jämföra modellens svar med facit och räkna ut hur bra den fungerar. I klassificering, på engelska classification, ska modellen välja en kategori, till exempel skräppost eller inte skräppost. I regression ska modellen i stället förutsäga ett tal, till exempel ett pris eller en temperatur.
Det viktiga är att testet görs på nya exempel. Om modellen bara bedöms på sådant den redan sett under träningen säger resultatet nästan inget om hur bra den fungerar i verkligheten. En modell kan se stark ut på papper men falla så fort datan ändras.
Det här passar också med sajtens grundidé. En AI-modell är en tränad matematisk modell som räknar på mönster i data. När vi utvärderar den frågar vi därför inte om den “förstår”, utan om dess beräkningar leder till rätt eller användbara resultat på ny data.
Vilka mått används oftast?
Vilket mått som passar bäst beror på uppgiften. För klassificering används ofta träffsäkerhet, precision och recall. För regression används mått som beskriver hur långt modellens förutsagda tal ligger från facit.
| Mått | Vad det betyder | När det är extra användbart |
|---|---|---|
| Träffsäkerhet (accuracy) | Andelen svar som blev rätt totalt | När klasserna är ganska jämnt fördelade och båda typerna av fel kostar ungefär lika mycket |
| Precision | Andelen av modellens positiva svar som faktiskt var positiva | När falska larm är dyra, till exempel om ett felaktigt larm leder till onödigt arbete |
| Recall | Andelen av alla verkligt positiva fall som modellen hittar | När det är dyrt att missa viktiga fall, till exempel bedrägerier eller sjukdomsfall |
Vanliga mått för regression
Vid regression finns inget ja eller nej, utan ett tal. Då tittar man i stället på hur stora felen är.
| Mått | Enkel förklaring | Hur man kan tolka det |
|---|---|---|
| MAE | Medelvärdet av de absoluta felen | Visar ungefär hur mycket modellen i snitt ligger fel |
| MSE | Medelvärdet av de kvadrerade felen | Straffar stora fel extra mycket |
| RMSE | Kvadratroten ur MSE | Liknar MSE men blir lättare att läsa eftersom måttet hamnar i samma enhet som det som förutsägs |
I många projekt räcker det inte att välja ett enda mått. En modell kan ha hög träffsäkerhet men ändå missa nästan alla viktiga fall. En regressionsmodell kan ha litet snittfel men fortfarande göra några få mycket stora missar. Därför tittar man ofta på flera mått samtidigt.
Testa själv
Vill du se hur precision och recall påverkar varandra kan du läsa Googles genomgång av precision och recall. Vill du prova att bygga en enkel modell och jämföra träning med test kan du använda Teachable Machine.
Hur fungerar en förväxlingsmatris?
En förväxlingsmatris, på engelska confusion matrix, är en tabell som visar vad modellen gissade jämfört med vad som faktiskt var sant. Den kan användas både när det finns två klasser och när det finns fler. Den är bara lättast att läsa i binär klassificering, alltså uppgifter med två möjliga svar.
| Modellen säger positivt | Modellen säger negativt | |
|---|---|---|
| Verkligt positivt | Sant positivt: modellen träffar rätt | Falskt negativt: modellen missar ett positivt fall |
| Verkligt negativt | Falskt positivt: modellen larmar i onödan | Sant negativt: modellen träffar rätt |
Tabellen gör det lätt att se vilken sorts fel modellen gör. Två modeller kan ha samma träffsäkerhet men helt olika fördelning mellan falskt positiva och falskt negativa svar. I praktiken kan det vara en stor skillnad.
Tänk på ett skräppostfilter. Ett falskt positivt fel betyder att ett vanligt mejl hamnar i skräpposten. Ett falskt negativt fel betyder att skräppost släpps igenom. Båda är fel, men de märks på olika sätt för användaren.
Varför räcker inte träffsäkerhet?
När en klass är ovanlig
Träffsäkerhet kan lura om de flesta exempel tillhör samma klass. Om nästan alla transaktioner är normala kan en modell få hög träffsäkerhet bara genom att säga “normalt” nästan varje gång. Då ser siffran bra ut, men modellen hjälper dåligt med det som egentligen var viktigt att hitta.
Precision och recall visar olika risker
Precision svarar på frågan: när modellen larmar, hur ofta har den rätt? Recall svarar på frågan: av alla verkliga fall, hur många hittade modellen? De två måtten drar ofta åt olika håll. Om du gör modellen mer försiktig stiger precisionen ofta, men recall kan sjunka. Om du gör den mer känslig händer ofta det motsatta.
Därför måste måttet väljas efter uppgiften. I ett system som ska stoppa misstänkta kortköp kan man tåla fler falska larm än i ett system som automatiskt nekar en kund en viktig tjänst. Själva användningen avgör vad som är viktigast.
Hur delar man upp datan för ett rättvist test?
För att utvärderingen ska bli rättvis brukar man dela upp datan i olika delar. Om du vill förstå varför själva datan spelar så stor roll kan du läsa mer om träningsdata. Här räcker det att hålla isär tre vanliga delar.
| Del av datan | Vad den används till | Enkel förklaring |
|---|---|---|
| Träningsdata | Lära modellen mönster | Detta är de exempel modellen får öva på |
| Valideringsdata | Välja inställningar | Den används när man jämför olika versioner av modellen, till exempel olika inställningar eller olika gränsvärden |
| Testdata | Slutlig kontroll | Den hålls undan till sist för att ge en mer ärlig bild av hur modellen fungerar på nya exempel |
1. Träna modellen
Modellen lär sig mönster från träningsdatan.
2. Justera modellen
Man provar inställningar och väljer det som fungerar bäst på en separat del av datan, ofta valideringsdata.
3. Testa till sist
När alla val redan är gjorda mäter man resultatet på testdata som modellen inte fått påverkas av.
4. Tolka resultatet
Jämför måtten med vad som faktiskt är viktigt i användningen, till exempel om missar eller falska larm kostar mest.
Det viktiga är att samma exempel inte återanvänds på fel sätt. Om testdatan redan har påverkat valen under arbetet blir resultatet för optimistiskt. Då har man i praktiken tränat på provet.
Hur märker man överanpassning?
En modell kan bli mycket bra på träningsdatan men sämre på nya exempel. Det kallas överanpassning. Modellen har då inte bara lärt sig det viktiga mönstret, utan också detaljer och brus som råkade finnas i just träningsmaterialet.
- Resultatet är mycket bättre på träningsdatan än på valideringsdata eller testdata.
- Små ändringar i data ger stora ändringar i resultatet.
- Modellen verkar säker, men gör ändå fler fel i verklig användning än i testet.
Överanpassning är ett vanligt skäl till att en modell ser bra ut i utveckling men fungerar sämre senare. Därför är utvärdering på osedda exempel inte ett extra steg vid sidan av, utan en central del av hela arbetet.
Hur vet man om modellen är bra nog i praktiken?
Börja med kostnaden för olika fel
En bra modell är inte alltid den som har högst siffra i en tabell. Den är bra nog när den passar sitt syfte. Om ett missat fall är värre än ett falskt larm bör recall väga tungt. Om falska larm skapar stora problem bör precision väga tyngre.
Titta på delgrupper, inte bara snittet
Ett totalresultat kan dölja att modellen fungerar sämre för vissa grupper, miljöer eller typer av data. Därför bör man gärna mäta separat för olika delmängder. Annars kan en modell se stabil ut i genomsnitt men ändå bli orättvis eller opålitlig i viktiga situationer.
Vissa AI-system är svårare att mäta
För generativ AI, som skriver text eller skapar bilder, finns det ofta inte ett enda rätt svar. Då räcker inte en enkel träffsäkerhet. Man behöver ofta en blandning av automatiska tester, mänsklig granskning och tydliga krav på vad ett användbart svar är.
Kort sagt: för att avgöra om en modell är bra behöver du rätt testdata, rätt mått och rätt tolkning av felen. Utvärdering handlar mindre om att hitta en magisk siffra och mer om att förstå hur modellen faktiskt beter sig.
Vanliga frågor
Vad är skillnaden mellan precision och recall?
Precision mäter hur ofta modellen har rätt när den säger att något är positivt. Recall mäter hur stor andel av alla verkligt positiva fall modellen hittar. Precision handlar alltså om hur rena larmen är, medan recall handlar om hur många viktiga fall som fångas upp.
Vad är skillnaden mellan träffsäkerhet och precision?
Träffsäkerhet räknar andelen rätt svar totalt, både positiva och negativa. Precision tittar bara på de fall där modellen sagt positivt och frågar hur många av dem som verkligen var positiva. Därför kan en modell ha hög träffsäkerhet men låg precision.
Varför måste testdata vara separat från träningsdatan?
Om modellen bedöms på samma exempel som den lärt sig från blir resultatet lätt för bra. Då mäter du mest hur väl modellen minns träningsmaterialet, inte hur väl den klarar nya fall. Separat testdata ger en mer ärlig bild.
När i arbetet används valideringsdata och testdata?
Valideringsdata används under arbetet för att välja mellan olika inställningar eller versioner av modellen. Testdata sparas till sist och används som slutlig kontroll. Om du använder testdata för tidigt blir även den i praktiken en del av utvecklingen.
Måste man alltid använda en förväxlingsmatris?
Nej, men den är ofta mycket hjälpsam vid klassificering. Särskilt när du vill förstå vilken sorts fel modellen gör. Om uppgiften i stället är regression använder man andra mått, som MAE, MSE eller RMSE, för att beskriva hur stora felen i talen är.
Källor
- https://developers.google.com/machine-learning/intro-to-ml/what-is-ml
- https://developers.google.com/machine-learning/crash-course/classification
- https://developers.google.com/machine-learning/crash-course/classification/accuracy-precision-recall
- https://www.ibm.com/think/topics/model-evaluation
- https://www.ibm.com/think/topics/training-data
- https://developers.google.com/machine-learning/crash-course/overfitting
- https://developers.google.com/machine-learning/crash-course/fairness
Skriven av AI-redaktionen. Texten är researchad och faktakontrollerad mot källorna ovan.
Senast uppdaterad: 26 oktober 2026