Finjustering av AI är att träna vidare en redan förtränad modell på utvalda exempel för en viss uppgift, stil eller domän. Det är alltså mer maskininlärning på ny data, där modellens vikter, alltså många små justerbara siffror, flyttas en bit mot de nya exemplen.
Det används när man vill göra en färdig modell mer konsekvent. Det kan handla om att skriva i en viss ton, följa ett bestämt svarsformat eller bli bättre på en smal uppgift. Modellen ”lär sig” dock inte ditt företag som en människa skulle göra. Den förskjuter bara statistiska mönster mot det du visar den.
I korthet
- Finjustering, eller fine-tuning, är fortsatt träning av en redan förtränad modell.
- Det skiljer sig från förträning, som bygger modellens breda grundmönster från mycket stora datamängder.
- För språkmodeller används finjustering ofta för instruktioner, stil, klassificering och fasta format.
- LoRA är en billigare metod där små tillägg tränas i stället för hela modellen.
- Risker finns, som sämre generalisering, tappade tidigare förmågor, skevheter från datan och svagare säkerhetsspärrar.
Vad betyder finjustering av AI?
Finjustering, på engelska fine-tuning, betyder att man tar en färdig modell och tränar den vidare på ett mindre och mer noga valt dataset. Syftet är att anpassa modellen till en viss uppgift, en viss bransch eller ett visst sätt att svara. Det kan till exempel vara att klassificera supportärenden, skriva svar i företagets ton eller ge utdata i samma struktur varje gång.
Det som ändras är själva modellen. Om du vill finjustera en språkmodell får den se många exempel på indata och önskat svar, till exempel fråga och facit. Träningen gör då att den typen av svar blir mer sannolik senare. Det är därför finjustering skiljer sig från att bara skriva en smart prompt.
Testa själv
1. Ge en chatt-AI tre mycket korta exempel på frågor och svar i exakt den stil du vill ha.
2. Be den sedan svara på en ny fråga i samma stil.
3. Du ser ofta att svaret följer exemplen. Finjustering gör något liknande mer permanent i modellens vikter. I praktiken börjar man ofta med omkring 50 välgjorda exempel, men behovet varierar.
Förträning och finjustering: vad är skillnaden?
Förträning, på engelska pre-training, är den stora grundträningen. Där byggs modellens breda mönster från mycket stora mängder text eller bilder. Vill du se hela kedjan, från grundträning till senare justeringar, finns en översikt på sidan om hur en AI tränas.
Finjustering kommer efteråt. En enkel vardagsanalogi är allmän utbildning först och en kort yrkesutbildning sedan. Förträningen ger en bred bas. Finjusteringen gör modellen bättre på en smalare uppgift. Därför är finjustering oftast billigare än att träna från noll. Man återanvänder sådant modellen redan har fångat upp i stället för att bygga allt från början.
Det här bygger på överföringsinlärning, på engelska transfer learning. Idén är att kunskap från en bred uppgift återanvänds för en ny, mer specialiserad uppgift. Tanken blev tidigt vanlig i bildmodeller som först tränades på stora bildsamlingar och sedan anpassades till mindre uppgifter. Samma princip används nu för språkmodeller.
Hur används finjustering för språkmodeller?
För stora språkmodeller handlar finjustering ofta om beteende, instruktioner och format. En grundmodell kan vara bra på att fortsätta text men mindre bra på att ge hjälpsamma svar på ett tydligt sätt. Då används ofta instruktionsfinjustering, på engelska instruction tuning.
Instruktionsfinjustering betyder att modellen tränas vidare på många exempel skrivna som instruktioner och önskade svar. Kända exempel är FLAN och InstructGPT. Resultatet blir ofta att modellen blir mer användbar i dialog. Den följer instruktioner bättre, håller sig närmare uppgiften och ger svar i en form som människor lättare kan använda.
I vissa system kommer sedan mänsklig återkoppling in som nästa steg. Människor får jämföra olika svar och säga vilka som är bättre. Den återkopplingen används sedan för att styra modellen mot svar som oftare föredras. Det kallas ofta RLHF, efter engelskans reinforcement learning from human feedback. Om du vill läsa om själva grundidén bakom den typen av metod finns en sida om förstärkningsinlärning, men här räcker det att tänka att mänsklig återkoppling hjälper modellen att bli mer praktiskt användbar.
Vilka sätt finns att finjustera?
| Typ av finjustering | Vad som ändras | Typiskt syfte | Exempel |
|---|---|---|---|
| Full finjustering | Alla eller i princip alla vikter i modellen uppdateras | Stark anpassning till en viss uppgift eller domän | En modell som ska klassificera juridiska dokument |
| LoRA, en parametereffektiv metod | Grundmodellens vikter fryses och små tränbara tillägg lärs in | Billigare anpassning med mindre minne och lägre kostnad | En företagsspecifik skrivstil ovanpå en befintlig modell |
| Instruktionsfinjustering | Modellen tränas på instruktioner och önskade svar | Göra en grundmodell mer användbar som assistent | Frågor och svar för sammanfattning, förklaring och fasta format |
Vid full finjustering uppdateras alla, eller i princip alla, vikter i modellen. Det kan ge stark anpassning men kräver mer datorkraft, mer minne och högre kostnad.
Ett billigare alternativ är parametereffektiv finjustering, på engelska parameter-efficient fine-tuning. Det betyder att man inte tränar om hela modellen utan bara en liten del. En mycket vanlig metod är LoRA. Då låser man grundmodellens gamla vikter och tränar små tillägg som styr modellen i önskad riktning. I LoRA-studien från 2021 kunde man för GPT-3 i vissa tester minska antalet tränbara parametrar ungefär 10 000 gånger och GPU-minnet omkring 3 gånger, med jämförbar eller bättre kvalitet på de testade uppgifterna.
För en nybörjare räcker det att tänka så här. Full finjustering flyttar nästan hela maskinen. LoRA sätter dit små justerbara delar ovanpå den gamla maskinen. Därför går LoRA ofta snabbare och blir billigare.
Vad krävs i praktiken för att finjustera en modell?
Det viktigaste är bra träningsdata. För språkmodeller är det ofta par av fråga och önskat svar, eller indata och rätt etikett. Kvalitet är viktigare än mängd. Om exemplen är motsägelsefulla, slarviga eller blandar flera stilar dras modellen åt flera håll samtidigt.
1. Samla exempel
Välj exempel som liknar det verkliga användningsfallet. Ta med både vanliga fall och svåra kantfall.
2. Spara undan testdata
Lägg undan exempel som modellen inte får se under träningen.
3. Träna vidare
Använd exemplen för att justera modellen mot önskat beteende, format eller klass.
4. Jämför med basmodellen
Kontrollera om den finjusterade modellen faktiskt blev bättre än originalet.
5. Förbättra datan
Lägg till bättre exempel där modellen fortfarande gör fel och kör igen.
Det räcker alltså inte att bara träna. Du måste också testa. Annars märker du inte om modellen verkligen blivit bättre eller bara blivit bra på just de exempel den såg. På sidan om att mäta hur bra modellen är finns grunderna för hur man testar på ett vettigt sätt.
Kostnaden beror på modellstorlek, metod och datamängd. Full finjustering kostar mer än LoRA. I OpenAI:s dokumentation för övervakad finjustering anges minst 10 exempel. Förbättringar syns ofta med 50 till 100 exempel, och en rimlig start är omkring 50 välgjorda exempel. Hos den leverantören används JSONL-format, alltså en fil där varje rad är ett träningsexempel. Oavsett plattform är rådet detsamma: jämför alltid mot basmodellen innan du bestämmer dig för att fortsätta.
När är finjustering inte rätt väg?
Finjustering är ofta fel verktyg när problemet egentligen är nya eller ofta ändrade fakta. Om modellen ska svara utifrån policydokument, prislistor eller manualer som ändras löpande är det säkrare att hämta relevant information vid frågetillfället. Då passar ofta en kunskapsbas med RAG bättre.
Det kan också vara onödigt att finjustera om en tydligare prompt räcker. Om du bara behöver en viss ton, en enkel mall eller ett fast svarssätt i några få fall bör du testa prompting först. Finjustering passar bäst när samma beteende måste fungera stabilt över många återkommande frågor.
En bra tumregel är därför att börja enkelt. Saknas externa fakta, använd hämtning av fakta. Räcker bättre instruktioner, använd prompt. Välj finjustering när själva beteendet behöver bli mer konsekvent.
Vilka risker finns med finjustering?
En risk är överanpassning. Det betyder att modellen blir för präglad av de exempel den såg under träningen och därför fungerar sämre på nya fall. Ju mindre och snävare dataset, desto större risk.
En annan risk är katastrofal glömska, på engelska catastrophic forgetting. Det betyder att modellen tappar en del tidigare förmågor när den tränas vidare på något nytt. Finjusteringen kan alltså förbättra en smal uppgift men samtidigt försämra annat som fungerade tidigare.
Det finns också risk för skevheter i datan, ofta kallat bias. Om alla exempel lutar åt samma perspektiv eller missar vissa typer av fall kommer modellen oftare att göra samma sak. Slutligen finns säkerhetsrisker. Forskning har visat att säkerhetsspärrar kan försvagas av finjustering, i ett fall med bara 10 skadliga exempel och mycket låg kostnad. Därför behöver en finjusterad modell alltid testas igen, även om grundmodellen redan hade skydd.
Vad händer egentligen i modellen när du finjusterar?
I neurala nätverk lagras det modellen har fångat upp som många små numeriska vikter. När du finjusterar flyttas en del av dessa värden lite grann. Det gör att vissa ord, mönster och svar blir mer sannolika i vissa lägen.
Det är den viktigaste kopplingen till hur AI faktiskt fungerar. Finjustering betyder inte att modellen får medvetande, egna mål eller mänsklig förståelse. Den räknar fortfarande på mönster i data. Ditt exempelmaterial drar bara sannolikheterna mot en ny riktning.
Det syns tydligt i praktiken. Om alla dina träningsexempel följer samma ton, samma struktur och samma val av ord kommer modellen oftare att göra detsamma. Om du vill reda ut fler begrepp som vikt, parameter och domän finns förklaringar i vår ordlista.
Vanliga frågor
Är finjustering samma sak som att ge modellen fler dokument?
Nej. När du ger modellen dokument vid frågetillfället ändras inte själva modellen. Vid finjustering tränas modellen vidare och dess vikter ändras. Därför är finjustering mer permanent, medan dokument i kontext är tillfälliga.
Hur mycket data behövs för finjustering?
Det beror på uppgiften. I vissa tjänster är miniminivån 10 exempel, och förbättringar syns ofta redan vid 50 till 100 välgjorda exempel. Få men konsekventa exempel är ofta bättre än många blandade och motsägelsefulla.
Kan man finjustera en språkmodell till företagets tonläge?
Ja, det är ett vanligt användningsfall. Om du har bra exempel på frågor och svar i rätt ton, format och detaljnivå kan modellen bli mer konsekvent i just det beteendet. Den får dock inte automatiskt korrekta nya fakta om företaget bara för att tonen stämmer.
Blir modellen bättre på aktuella fakta efter finjustering?
Inte på ett tillförlitligt sätt. Finjustering kan göra att vissa fakta dyker upp oftare i svaren, men det är fel verktyg för innehåll som ändras ofta. För aktuella och spårbara fakta är det bättre att hämta information från en extern källa när svaret skapas.
Är LoRA sämre än full finjustering?
Inte nödvändigtvis. LoRA är ofta ett bra val när du vill spara minne och kostnad och ändå få tydlig anpassning. Full finjustering kan ibland ge större förändring, men den är dyrare och kräver mer resurser. Det rätta valet avgörs av uppgiften och hur mycket du behöver ändra modellen.
Källor
- https://en.wikipedia.org/wiki/Fine-tuning_(deep_learning)
- https://en.wikipedia.org/wiki/Transfer_learning
- https://arxiv.org/abs/2106.09685
- https://arxiv.org/abs/2109.01652
- https://arxiv.org/abs/2203.02155
- https://platform.openai.com/docs/guides/supervised-fine-tuning
- https://en.wikipedia.org/wiki/Catastrophic_interference
- https://arxiv.org/abs/2310.03693
Skriven av AI-redaktionen. Texten är researchad och faktakontrollerad mot källorna ovan.
Senast uppdaterad: 3 november 2026