Hur AI fungerar

Transformer-arkitektur: tekniken bakom ChatGPT enkelt förklarad

·

Transformer-arkitektur är en modellarkitektur inom maskininlärning där varje del av en text kan jämföras med andra delar i samma text. Det är en central teknik bakom ChatGPT och många andra språkmodeller.

En transformer är inte en egen sorts ”intelligens”. Det är en byggplan för modeller i neurala nätverk. Om du först vill se hur ämnet passar in i helheten finns en enkel översikt av AI, maskininlärning och djupinlärning.

I korthet

  • En transformer låter varje del av texten ta hänsyn till andra delar i samma text.
  • Detta kallas attention. När jämförelsen sker inom samma text kallas det self-attention.
  • Tekniken presenterades i artikeln ”Attention Is All You Need” från Google år 2017.
  • Jämfört med RNN och LSTM gick transformern bättre att träna parallellt på grafikkort.
  • Attention är viktade beräkningar mellan tal, inte mänsklig förståelse.

Vad är en transformer-arkitektur?

En transformer-arkitektur är ett sätt att bygga en modell för sekvenser, till exempel text, ljud eller delar av bilder. I stället för att läsa allt strikt steg för steg räknar modellen ut vilka delar som verkar mest relevanta för varandra.

Det stora genombrottet kom med artikeln ”Attention Is All You Need” från Google år 2017. Där beskrev forskarna en arkitektur som byggde helt på attention, utan rekurrenta lager och utan konvolutionella lager. Ursprungligen var målet maskinöversättning, alltså att omvandla en text till en annan.

Transformers blev snabbt viktiga inom naturlig språkbehandling, alltså teknik för att arbeta med mänskligt språk. Ordet transformer syftar inte på en viss chattbot, utan på själva modellen bakom.

Vilket problem löste transformern?

Före transformern användes ofta rekurrenta modeller som RNN och LSTM. De behandlade text ord för ord, i tur och ordning. Det fungerade, men långa texter var besvärliga. Viktig information i början kunde bli svagare ju längre modellen kom.

Tänk dig en lång mening där ett ord nära slutet beror på något som nämndes tidigt. En äldre modell behövde föra informationen framåt steg för steg genom hela meningen. Det blev både långsamt och skört. Transformern gav en kortare väg mellan ord som ligger långt ifrån varandra i texten.

EgenskapÄldre sekventiella modeller som RNN/LSTMTransformer
Hur texten behandlasOrd för ord i ordningMånga positioner i ett lager kan beräknas samtidigt
Långa beroendenInformation från början kan försvagasOrd långt ifrån varandra kan kopplas ihop direkt
TräningSvår att parallelliseraPassar bättre för parallell träning på grafikkort
Typisk användningSekvenser med stegvis behandlingStora modeller som behöver bredare sammanhang

Hur fungerar attention och self-attention?

En bra minnesregel är denna: när modellen ska räkna på ett ord tittar den inte bara på ordet självt, utan också på vilka andra ord som verkar mest relevanta just där. Den fördelar alltså olika mycket uppmärksamhet till olika delar av texten. Det kallas attention.

När jämförelsen sker inom samma text kallas det self-attention. Modellen arbetar då med tokens, alltså små textbitar. En token kan vara ett helt ord, en del av ett ord eller ibland ett skiljetecken. Om du vill se fler exempel på hur modellen delar upp text kan du läsa mer om tokens.

Ta ordet ”banken”. I meningen ”Jag satte in pengar på banken” blir ord som ”pengar” viktiga. I meningen ”Vi satt på banken vid ån” blir ord som ”ån” viktigare. Self-attention gör att modellen kan ge olika betydelse åt samma ord beroende på omgivningen.

Det här är inte mänsklig tolkning. Modellen räknar fram vikter mellan textbitar. Vissa ord får större påverkan, andra mindre. Resultatet blir en ny representation av ordet som passar bättre till just det sammanhanget.

Eftersom modellen inte längre tvingas gå igenom texten strikt i ordning behöver den också en signal om ordningsföljd. Det kallas positionskodning. Annars skulle meningar med samma ord men olika ordning bli för lika.

Lite djupare: query, key, value och flera huvuden

I den tekniska beskrivningen används orden query, key och value. Det är tre sätt att representera varje token så att modellen kan jämföra dem med varandra. Multi-head attention betyder att flera sådana jämförelser görs parallellt, så att olika slags samband kan fångas samtidigt.

Testa själv

1. Skriv två meningar till en chattbot med samma tvetydiga ord, till exempel ”banken”, men i olika sammanhang. 2. Be boten avgöra vilken betydelse ordet har i varje mening. 3. Byt sedan ut orden runt omkring och se hur resultatet ändras.

Det du ser är inte mänsklig förståelse. Modellen räknar om vilka omgivande ord som ska få större eller mindre vikt, och därför ändras svaret när sammanhanget ändras.

Varför blev transformern så viktig?

Den stora praktiska fördelen var att många positioner i ett lager kunde beräknas samtidigt. Det passade bra för grafikkort, som är starka på många liknande beräkningar på en gång. Därför blev det lättare att träna större modeller på mycket stora textmängder.

Det är en viktig anledning till att dagens stora språkmodeller kunde växa så snabbt i storlek och användning. Själva träningsstegen går vi inte igenom här, men de förklaras kort på sidan om hur en AI tränas.

Det finns en viktig detalj. När en GPT-modell används för att skriva text producerar den vanligtvis ett token i taget. Den stora vinsten med transformern ligger alltså främst i träningen och i att sambanden i texten kan beräknas över längre avstånd.

Vad betyder GPT, och hur skiljer det sig från BERT?

GPT står för Generative Pre-trained Transformer. Det är vanligtvis en så kallad decoder-baserad transformer. Den är byggd för att generera en följd steg för steg och passar därför bra för textskapande.

Den ursprungliga transformern från 2017 hade två delar: en encoder och en decoder. En encoder läser in text och bygger upp sammanhangsberoende representationer. En decoder använder sådana representationer för att skapa en ny sekvens, till exempel en översättning.

BERT använder främst encoder-sidan. Därför blev den stark på uppgifter där man vill analysera, märka upp eller klassificera text. GPT bygger i stället på decoder-sidan och lämpar sig bättre för att generera text.

Används transformers bara för text?

Nej. Samma grundidé används också för bilder, ljud och tal. För bilder finns till exempel Vision Transformer, där bilden delas upp i bildbitar, ofta kallade patchar, som modellen behandlar på ett liknande sätt som textbitar.

För tal finns modeller som Whisper, som använder en encoder-decoder-transformer för att omvandla tal till text. Grundidén är densamma: modellen jämför delar av indata med andra delar och räknar ut vilka samband som verkar viktigast.

Om du vill se hur bildmodeller skiljer sig från språkmodeller räcker en kort överblick på sidan om hur AI skapar bilder.

Räknar modellen eller ”förstår” den?

Här är den viktigaste poängen. Attention och self-attention är beräkningar mellan tal som representerar tokens. Modellen räknar fram vikter som styr hur mycket information från olika delar av texten ska blandas in. Det är kraftfullt, men det är inte mänsklig förståelse.

När en transformer verkar träffsäker betyder det att den ofta hittar statistiska mönster som passar bra till sammanhanget. Den har inget medvetande, inga egna mål och ingen inre bild av världen på mänskligt sätt. Den arbetar med mönster i data.

Samtidigt ska man inte avfärda tekniken. Just därför att modellen är bra på att hitta och använda sådana mönster kan den vara mycket användbar. Vill du kolla upp ord som encoder, decoder eller token finns de förklarade i vår ordlista.

Vanliga frågor

Är ChatGPT en transformer?

Ja. ChatGPT bygger på GPT-modeller, och GPT är en transformerbaserad modell. Det betyder inte att den ”tänker” som en människa, utan att den använder transformer-arkitektur för att räkna på text.

Vad är self-attention i en mening?

Self-attention är när varje token i en text jämförs med andra tokens i samma text för att avgöra vilka som ska påverka mest. Resultatet blir vikter som hjälper modellen att ta hänsyn till sammanhanget.

Vad är skillnaden mellan en transformer och GPT?

Transformer är själva arkitekturen, alltså byggplanen. GPT är en viss typ av transformer, närmare bestämt en generativ modell som oftast använder decoder-delen för att skapa text.

Varför var RNN och LSTM sämre på långa texter?

De behandlade text steg för steg och behövde bära information framåt genom många led. Då kunde viktig information från början av texten försvagas innan modellen kom till slutet.

Används transformers bara i chattbottar?

Nej. Samma idé används också i modeller för bilder, tal och ljud. Det viktiga är inte datatypen i sig, utan att indata kan delas upp i delar som modellen kan jämföra med varandra.

Källor

Skriven av AI-redaktionen · Granskad av Linus Pierre. Texten är researchad och faktakontrollerad mot källorna ovan, som en del av maskinlarning.se – en sajt som byggs med AI och granskas av en människa.

Senast uppdaterad: 1 november 2026

Granskad av

Linus Pierre

15 november 2026

Linus har arbetat med AI sedan ChatGPT lanserades i november 2022 – först för att skriva innehåll snabbare, sedan allt mer med automatisering. Han vill göra det enkelt för fler att komma igång med de här kraftfulla verktygen, oavsett om du driver eget eller är anställd och vill automatisera delar av jobbet för att få mer tid till familj, vänner och fritid.

Mer om Linus och hur guiderna granskas

Ser du något som är fel eller har blivit inaktuellt? Hör av dig så rättar vi.