Vad är tokens i AI? Tokens och kontextfönster förklarade

Tokens AI betyder att en språkmodell delar upp text i små bitar, så kallade tokens, som den kan räkna på. Här på maskininlärning utgår vi från att många AI-tjänster i dag bygger på modeller som tränats på data, och för språkmodeller är tokens en viktig del av hur text görs om till siffror som modellen kan arbeta med.

Ett kontextfönster är mängden tokens modellen kan ha med sig samtidigt. Det avgör hur mycket av din fråga, tidigare meddelanden och inklistrad text som får plats i samma arbetsyta när modellen ska ge ett svar.

I korthet

En token är en liten bit text, inte alltid ett helt ord.
Ett kontextfönster är hur många tokens modellen kan använda samtidigt.
Både din fråga, tidigare chatt och ofta även svaret tar plats i fönstret.
Fler tokens kan ge mer sammanhang, men också högre kostnad och längre väntetid.
Tokens hör främst ihop med språkmodeller och andra textsystem, inte med all AI i största allmänhet.

Vad är tokens i AI?

En token är en liten textenhet. Det kan vara ett helt ord, en del av ett ord, en siffra eller ett skiljetecken. För en språkmodell är tokens de bitar som texten byggs av.

Det här är viktigt eftersom modellen inte arbetar direkt med ordens betydelse på mänskligt sätt. Den får i stället en följd av små textbitar som omvandlas till tal. Sedan räknar modellen på mönster mellan dessa tal.

En token kan vara ett kort ord, som ”hej”.
En token kan vara ett tecken, som punkt eller komma.
Ett långt ord kan delas upp i flera tokens.
Samma mening kan delas upp lite olika beroende på hur systemet är byggt.

Hur delas text upp i tokens?

Uppdelningen görs av en tokenizer, alltså en textdelare som skär upp text i bitar innan modellen börjar arbeta. Målet är inte att följa skolgrammatik. Målet är att dela texten på ett sätt som passar modellens beräkningar.

Vanliga ord och vanliga delar av ord blir ofta praktiska byggstenar. I svenska, där sammansatta ord är vanliga, delas ett långt ord därför ofta i flera delar.

Text	Möjliga tokens	Vad exemplet visar
Hej!	Hej + !	Ett skiljetecken kan bli en egen token.
fotbollsskor	fotboll + skor	Ett sammansatt ord kan delas i flera delar.
12,50 kr	12 + , + 50 + kr	Siffror och tecken kan också räknas som egna bitar.

Det finns alltså ingen enkel regel som säger att ett ord alltid är en token. Därför går det inte att räkna ord och få exakt samma sak som antal tokens.

Testa själv

Om du vill se hur text delas upp kan du prova OpenAI Tokenizer. Klistra in en svensk mening och jämför med ett långt sammansatt ord.

För en kort praktisk genomgång finns också OpenAI:s guide om tokens.

Gäller tokens all AI?

Nej. Tokens är framför allt ett begrepp för språkmodeller och andra system som arbetar med text. Ett bildsystem arbetar i stället med bilddata, och ett ljudsystem med ljuddata.

När man talar om tokens i vardagen menar man därför oftast textbaserade AI-tjänster, särskilt stora språkmodeller. Där används tokens som små byggbitar när modellen läser in text och skapar svar.

Det passar också med sajtens grundidé. En språkmodell är en modell som tränats på mycket text för att hitta statistiska mönster. När den svarar räknar den på vilka textbitar som passar bäst efter varandra. Den har inte mänsklig förståelse eller medvetenhet, även om resultatet ibland kan låta mänskligt.

Vad är ett kontextfönster?

Ett kontextfönster, på engelska context window, är hur många tokens modellen kan arbeta med samtidigt. Man kan tänka på det som storleken på modellens tillfälliga arbetsyta för den aktuella uppgiften.

Det är inte bara din senaste fråga som tar plats. Ofta räknas också tidigare meddelanden i chatten, text du klistrar in och de startinstruktioner som tjänsten själv lägger till för att styra hur modellen ska bete sig.

Din fråga eller instruktion använder plats.
Tidigare meddelanden i samma chatt använder plats.
Inklistrade dokument, tabeller eller kod använder plats.
Ofta behöver även modellens svar få plats inom samma ram.

Varför spelar kontextfönstret roll?

Ju mer relevant text som får plats, desto mer sammanhang kan modellen använda. Det märks särskilt när du vill att den ska hålla reda på flera regler, jämföra flera stycken eller arbeta med ett långt dokument.

När ett större kontextfönster hjälper

När du klistrar in en lång rapport eller en lång mejltråd.
När du vill att modellen ska följa flera krav samtidigt.
När du jobbar vidare i samma chatt under lång tid.
När svaret måste bygga på detaljer som står långt tillbaka i texten.

Vad som händer när fönstret blir fullt

När det inte finns plats för allt måste tjänsten hantera det på något sätt. Äldre innehåll kan tas bort, kortas ner eller ersättas av en sammanfattning. Då kan viktiga detaljer försvinna, och modellen kan börja missa krav eller motsäga sådant som stod tidigare.

Ett större kontextfönster hjälper alltså med sammanhang. Det betyder inte automatiskt att varje svar blir rätt. Om frågan är otydlig eller underlaget innehåller fel kan svaret ändå bli svagt.

Varför påverkar tokens hastighet och kostnad?

Varje token är en liten del som modellen måste bearbeta. Fler tokens betyder därför mer arbete. En kort fråga går ofta snabbare än en mycket lång fråga, särskilt om svaret också blir långt.

Kostnaden påverkas ofta på samma sätt. Om du använder en modell via ett programmeringsgränssnitt, ett så kallat API, tar många tjänster betalt efter hur många tokens som skickas in och ut. På sidan om API-priser kan du se varför tokenmängden ofta styr en stor del av priset.

Så håller du nere antalet tokens

Skriv tydligt och direkt i stället för att upprepa samma sak flera gånger.
Klistra bara in de delar av en text som verkligen behövs.
Be om ett kort svar om du inte behöver en lång utläggning.
Starta en ny chatt när gammalt sammanhang inte längre är relevant.

Vanliga missförstånd om tokens och kontextfönster

En token är inte samma sak som ett ord

Det är kanske det vanligaste missförståndet. Ett kort ord kan vara en token, men ett längre ord kan delas upp i flera delar. Även skiljetecken och tal kan räknas som egna tokens.

Större kontextfönster är inte samma sak som perfekt minne

Modellen kan få med mer text samtidigt, men den kan fortfarande missa en detalj eller väga fel del av texten högst. Ett större fönster minskar vissa problem, men tar inte bort dem helt.

Fler tokens gör inte modellen klokare

Fler tokens ger mer utrymme för sammanhang. Det betyder inte att modellen får bättre omdöme. Den får bara mer material att räkna på.

Kortare frågor är inte alltid sämre

En rörig fråga kan slösa plats i kontextfönstret. Ofta fungerar en kort och tydlig instruktion bättre än en lång text med upprepningar. Det viktiga är att rätt information finns med.

Vanliga frågor

Är ett ord alltid en token?

Nej. Ett ord kan vara en token, men det kan också delas upp i flera delar. Dessutom kan siffror och skiljetecken räknas som egna tokens.

Vad händer när kontextfönstret blir fullt?

Då kan äldre delar av chatten behöva tas bort eller kortas ner. Om viktig information försvinner kan modellen börja missa detaljer eller ge svar som inte längre följer tidigare instruktioner.

Räknas tidigare chattmeddelanden som tokens?

Ja, i många tjänster gör de det. Både dina tidigare meddelanden och modellens tidigare svar kan ta plats i samma kontextfönster.

Räknas svaret också som tokens?

Ja, normalt gör det det. Det betyder att både det du skickar in och det du får tillbaka påverkar hur mycket plats som används och ofta även kostnaden.

Blir svaren alltid bättre med större kontextfönster?

Inte alltid. Ett större kontextfönster hjälper när mycket relevant information måste få plats samtidigt, men det löser inte otydliga frågor eller fel i underlaget. Modellen kan därför fortfarande ge svaga eller felaktiga svar.

Källor

Skriven av AI-redaktionen. Texten är researchad och faktakontrollerad mot källorna ovan.

Senast uppdaterad: 26 oktober 2026

Ser du något som är fel eller har blivit inaktuellt? Hör av dig så rättar vi.