Wat is Token?
Een token is een klein stukje tekst, vaak een woord of een deel van een woord, waarin een taalmodel tekst opknipt.
Een taalmodel leest geen letters of hele zinnen, maar tokens: hapklare stukjes. Het woord 'kantoor' kan één token zijn, terwijl een lang woord uit meerdere tokens bestaat. Het model rekent per token. Betaal je voor de tool, dan rekent het bedrijf achter het model ook per token af. Een vuistregel: 1000 tokens zijn ongeveer 750 Nederlandse woorden.
Betaalde AI-tools rekenen vaak per token. En een model heeft een maximum aantal tokens dat het in één keer aankan, dus heel lange teksten passen er soms niet in.
Precies gezegd
Een token is geen woord. Nederlandse tekst kost vaak meer tokens dan dezelfde tekst in het Engels, omdat de modellen vooral op Engels zijn getraind.
Veelgemaakte misvatting
Dat per token hetzelfde is als per woord. Daardoor valt een rekening voor Nederlandse tekst hoger uit dan je verwacht.
Verwante woorden
Leer AI rustig begrijpen
Dit woord is een begin. De leerlijn van inklaretaal legt AI stap voor stap uit in klare taal, afgestemd op jouw vak. De eerste maand is gratis.