Een token is geen woord en geen letter. Het is een stukje tekst dat het model als eenheid verwerkt. In het Engels zijn de meeste korte woorden één token. Langere woorden worden in meerdere tokens gesplitst. Leestekens en spaties zijn ook tokens.

Als vuistregel: 100 woorden Engelse tekst zijn ongeveer 130-150 tokens. Nederlandse of andere Europese teksten zijn doorgaans iets duurder per woord dan Engels, omdat de tokenizer die de meeste modellen gebruiken is geoptimaliseerd voor Engels.

AI-modellen brengen kosten in rekening voor twee stromen: input en output. Input zijn de tokens die je naar het model stuurt: de systeem-prompt, de gesprekshistorie en het huidige bericht van de gebruiker. Output zijn de tokens die het model terugstuurt als antwoord.

Outputtokens kosten doorgaans twee tot vijf keer meer dan inputtokens. Dat maakt langere antwoorden relatief duur. Als je een chatbot hebt die uitgebreide antwoorden geeft, betaal je significant meer dan een chatbot die beknopt antwoordt.

De meest kostbare situaties:

• Lange systeem-prompts: Als je chatbot een uitgebreide set instructies meekrijgt bij elk gesprek, telt dat mee als inputtokens bij elk verzoek.
• Uitgebreide gesprekshistorie: Als het systeem de volledige gesprekshistorie meestuurt, groeit de input met elk bericht.
• Lange documenten in de context: Bij RAG-systemen worden relevante passages meegestuurd als context. Hoe meer passages, hoe meer tokens.
• Hoge output: Modellen die uitgebreide antwoorden genereren, produceren veel outputtokens.

Gebruik kleinere modellen voor eenvoudige taken: Claude Haiku, GPT-4o mini en vergelijkbare compacte modellen zijn een fractie van de prijs van de krachtigste varianten. Voor FAQ-chatbots en simpele taken is dat meer dan voldoende.

Beperk de gesprekshistorie: Stuur niet de volledige gesprekshistorie mee als dat niet nodig is. Een samenvatting van eerdere berichten in plaats van de letterlijke tekst bespaart tokens.

Comprimeer je systeem-prompt: Test of een kortere, minder uitgebreide systeem-prompt net zo goed werkt. Elke token in de systeem-prompt telt mee bij elk verzoek.

Gebruik prompt caching: Anthropic en OpenAI bieden beide vormen van caching waarbij herhaalde input goedkoper verwerkt wordt. Dit is relevant als je een lange systeem-prompt hebt die bij elk verzoek hetzelfde is.

Voordat je een AI-toepassing bouwt, is het verstandig om een kostenschatting te maken. Hoeveel gesprekken verwacht je per dag? Wat is de gemiddelde lengte van een gesprek? Hoe lang zijn je systeem-prompt en context?

Met die inputs kun je uitrekenen hoeveel tokens je per dag verbruikt en wat dat kost. De meeste aanbieders hebben een tokenizer-tool waarmee je tekst kunt invoeren en het aantal tokens kunt zien.

Tokengebruik begrijpen is essentieel voor iedereen die AI-toepassingen bouwt op schaal. De kosten zijn beheersbaar met de juiste architectuurkeuzes. Mach8 helpt organisaties bij het ontwerpen van AI-systemen die niet alleen goed werken, maar ook kostenefficiënt zijn.

Wil je een kostenefficiënte AI-toepassing bouwen? Neem contact op met Mach8.