Gradientnedstigning är en metod i maskininlärning för att steg för steg justera en modells vikter så att felet mot facit blir mindre. Det är ofta detta man menar när man säger att en modell ”lär sig”. I praktiken handlar det om många små sifferändringar, inte om mänsklig förståelse.
Om du först vill få överblick över begreppen kan du börja med AI, maskininlärning och djupinlärning. Här fokuserar vi på själva mekanismen: hur en modell hittar bättre vikter genom att minska ett felmått om och om igen.
I korthet
- Gradientnedstigning minskar en modells fel genom små steg i motsatt riktning mot gradienten.
- En förlustfunktion är ett tal som mäter hur fel modellens svar är jämfört med facit.
- Inlärningstakten styr steglängden. För stora steg kan missa en bra lösning, för små steg går långsamt.
- Batch, mini-batch och stokastisk gradientnedstigning skiljer sig åt i hur mycket data som används per uppdatering.
- Backpropagation beräknar gradienter bakåt genom ett neuralt nät. Sedan används gradientnedstigning för att uppdatera vikterna.
Vad är gradientnedstigning?
Gradientnedstigning, på engelska gradient descent, är en metod för att hitta vikter som ger litet fel. En modell gör först en gissning. Sedan jämförs gissningen med rätt svar. Därefter ändras vikterna lite åt det håll där felet minskar snabbast. Detta upprepas många gånger.
Poängen är enkel: om ett visst val av vikter ger stort fel vill man flytta sig mot ett val som ger mindre fel. Träning blir därför en sökprocess i ett stort landskap av möjliga viktvärden. I stället för att prova allt använder man lutningen där man står just nu.
En bra vardagsbild är att gå nerför en dimmig kulle. Du ser inte hela landskapet, men du kan känna åt vilket håll marken lutar mest nedåt precis där du står. Du tar ett litet steg dit, känner efter igen och fortsätter. Gradientnedstigning gör samma sak, fast med siffror i stället för steg.
Vad är gradienten och vad är felet?
För att förstå metoden behöver man två ord. Det första är förlustfunktion, på engelska loss function. Det är ett tal som mäter hur fel modellens svar är jämfört med facit. Lägre tal är bättre. Träning går i grunden ut på att få ner detta tal.
Det andra ordet är gradient. En gradient beskriver lutningen för förlusten. Den pekar i den riktning där förlusten ökar snabbast. Därför går gradientnedstigning åt motsatt håll. Om gradienten pekar uppför backen, tar metoden ett steg nedför backen.
Detta betyder inte att modellen ser hela lösningen på en gång. Den använder bara lokal information om lutningen just nu. Efter varje litet steg räknas lutningen om, och sedan tas nästa steg.
Hur ser ett träningssteg ut?
Det här är vanligast i övervakad inlärning, där modellen tränas på exempel med facit. Exempel och rätt svar kommer från träningsdata. Om datan är liten, skev eller felmärkt blir signalen sämre, och det begränsar hur bra modellen kan bli.
1. Gissning
Modellen räknar fram ett svar från sina nuvarande vikter.
2. Mät fel
Förlustfunktionen räknar ut hur långt svaret ligger från facit.
3. Beräkna gradient
Man räknar ut åt vilket håll förlusten ökar snabbast och går i stället åt motsatt håll.
4. Uppdatera vikter
Vikterna ändras lite, och samma cykel börjar om igen.
Testa själv
Sätt upp två punkter, till exempel (1,2) och (2,4), i Excel eller Google Kalkylark.
Prova linjen y = w*x med olika värden på w och räkna ut ett enkelt fel, till exempel skillnaden i kvadrat.
När du ändrar w mot lägre fel gör du manuellt samma typ av sökning som gradientnedstigning automatiserar.
När man säger att en modell tränas i många varv betyder det oftast att denna cykel upprepas om och om igen. Målet är inte att modellen ska ”förstå” uppgiften, utan att vikterna ska ge lägre fel på data med facit.
Varför spelar inlärningstakten så stor roll?
Inlärningstakt, på engelska learning rate, bestämmer hur stora stegen ska vara när vikterna ändras. Samma riktning kan ge bra eller dåligt resultat beroende på hur långt steget blir.
- För stor inlärningstakt: modellen kan hoppa förbi en bra lösning eller studsa fram och tillbaka.
- För liten inlärningstakt: modellen rör sig åt rätt håll men mycket långsamt.
- Lagom inlärningstakt: förlusten sjunker ofta jämnare mot ett lägre värde.
Tänk på kullbilden igen. Om du tar väldigt stora steg i dimman kan du missa dalen. Om du tar pyttesmå steg kommer du troligen nedåt, men det tar lång tid. Därför är inlärningstakten en viktig inställning när man tränar modeller.
Vad är skillnaden mellan batch, mini-batch och stokastisk gradientnedstigning?
Skillnaden handlar om hur många exempel som används varje gång modellen uppdaterar sina vikter. Det påverkar både beräkningskostnad och hur jämn riktningen blir.
| Metod | Hur mycket data per uppdatering | Typisk egenskap |
|---|---|---|
| Batch | Hela träningsmängden | Stabil uppdatering men tung beräkning |
| Mini-batch | En mindre grupp exempel | Vanlig kompromiss mellan fart och stabilitet |
| Stokastisk gradientnedstigning, SGD | Ett exempel i taget | Snabb men mer hackig uppdatering |
Stokastisk gradientnedstigning, ofta förkortat SGD, använder alltså ett slumpmässigt valt exempel per steg. Det gör vägen mot lägre fel mer ryckig. I praktiken är mini-batch ofta vanligast, eftersom man får snabbare beräkning än full batch men oftast lugnare uppdateringar än ren SGD.
Vad gör backpropagation i neurala nät?
I neurala nätverk behövs ofta ett effektivt sätt att räkna ut gradienter för väldigt många vikter. Det är det backpropagation gör. Metoden är inte själva uppdateringen, utan beräkningen som talar om hur förlusten påverkas av små ändringar i varje vikt.
Bakåt genom lagren, utan att behöva prova allt
Först gör nätet en framåträkning och producerar ett svar. Sedan jämförs svaret med facit och en förlust räknas ut. Utifrån den förlusten beräknas gradienter bakåt, lager för lager, från utgången mot tidigare lager. På så sätt kan man beräkna hur en liten ändring i varje vikt skulle ändra förlusten.
Detta bygger på kedjeregeln, på engelska chain rule. Kedjeregeln är en matematisk regel för att räkna ut hur en förändring i ett steg påverkar resultatet längre fram i en kedja. Om du ändrar något tidigt i nätet påverkar det senare beräkningar, som i sin tur påverkar slutsvaret. Backpropagation använder den idén på ett effektivt sätt.
Rumelhart, Hinton och Williams beskrev den här träningsmetoden i en klassisk artikel från 1986. Den gjorde det praktiskt möjligt att träna flerskiktade nät mycket effektivare än genom att prova ändringar en vikt i taget.
Var används gradientnedstigning?
Samma grundidé används i både logistisk regression och djupare nät. Skillnaden är mest hur många delar modellen har. En enkel modell kan ha få vikter att justera. Ett stort nät kan ha väldigt många.
Själva optimeringen är bara en del av hur en AI tränas. Där ingår också sådant som datainsamling, val av mål, testning och drift. Samma metod används ofta även vid finjustering av AI, när en redan tränad modell anpassas vidare för en ny uppgift eller ny sorts data.
Vilka problem kan uppstå under träningen?
Gradientnedstigning följer lutningen där den står, men träningslandskapet kan vara krångligt. Därför blir vägen mot lägre fel inte alltid rak eller enkel.
- Lokalt minimum: en liten grop där allt i närheten är sämre, även om det kan finnas en ännu bättre grop längre bort.
- Platå: ett nästan platt område där lutningen är svag, så uppdateringarna blir små och träningen går långsamt.
- Sadelpunkt: en punkt som lutar uppåt åt ett håll men nedåt åt ett annat, ungefär som mitten på en sadel. Då kan riktningen bli svår att bedöma.
- Vanishing gradients: gradienterna blir mycket små i tidiga lager i djupa nät, så de lagren ändras väldigt lite och lär sig långsamt.
Ett annat praktiskt problem är att lågt fel på träningsdatan inte automatiskt betyder bra resultat på nya exempel. Det hör ihop med överanpassning, men det är ett eget ämne. Här räcker det att säga att gradientnedstigning minskar felet på träningen, inte garanterar perfekt generalisering.
Vad säger detta om hur AI ”lär sig”?
Gradientnedstigning visar ganska tydligt vad lärande betyder i dagens AI. Modellen jämför sina svar med facit, räknar ut ett fel och justerar många tal lite i taget för att få lägre fel nästa gång. Det är en kraftfull metod för att hitta statistiska mönster i data.
Det behövs alltså inget antagande om medvetande eller mänsklig förståelse för att förklara vad som händer. Modellen räknar, jämför och justerar. Om du vill slå upp ord som vikt, gradient och förlustfunktion finns korta definitioner i vår ordlista.
Vanliga frågor
Måste gradientnedstigning hitta den bästa möjliga lösningen?
Nej. Metoden söker stegvis och kan hamna i ett lokalt minimum, på en platå eller nära en sadelpunkt. Ofta hittar den en lösning som är tillräckligt bra, men inte säkert den allra bästa.
Varför används mini-batch så ofta i praktiken?
Mini-batch ger ofta en bra balans. Uppdateringarna blir billigare än med hela datamängden, men mindre ryckiga än med ett enda exempel i taget. Det passar bra när modeller och datamängder är stora.
Är backpropagation bara till för neurala nät?
Begreppet används främst om lagerbyggda neurala nät. Idén är att effektivt beräkna gradienter genom många sammanlänkade steg. Enklare modeller behöver inte samma typ av bakåträkning genom flera lager.
Vad betyder vanishing gradients i enkla ord?
Det betyder att signalen som ska tala om hur vikter bör ändras blir mycket svag i tidiga delar av ett djupt nät. Då händer nästan inget med de vikterna, och träningen går långsamt där.
Kan gradientnedstigning användas utan facit?
Ja, i vissa metoder kan man fortfarande definiera en förlust som ska minskas utan klassiskt facit rad för rad. Men den tydligaste och vanligaste nybörjarbilden är träning med facit, där modellens svar jämförs med rätt svar.
Källor
- https://developers.google.com/machine-learning/crash-course/reducing-loss/gradient-descent
- https://developers.google.com/machine-learning/crash-course/reducing-loss/learning-rate
- https://en.wikipedia.org/wiki/Gradient_descent
- https://en.wikipedia.org/wiki/Backpropagation
- https://www.nature.com/articles/323533a0
Skriven av AI-redaktionen. Texten är researchad och faktakontrollerad mot källorna ovan.
Senast uppdaterad: 7 november 2026