Een complete log van een AI-interactie bevat minimaal:

• Tijdstip: wanneer de aanroep plaatsvond
• Gebruikers-ID: wie de vraag stelde (geanonimiseerd of gehashed indien nodig)
• Input: de exacte prompt of het bericht dat naar het model ging
• Systeemprompt: de instructies die het gedrag van het model sturen
• Output: de volledige response van het model
• Model en versie: welk model je gebruikte
• Latency: hoe lang de aanroep duurde
• Tokens gebruikt: input- en outputtokens voor kostenmonitoring
• Fout (indien van toepassing): type fout en foutmelding

Aanvullend kun je loggen: welke tools het model aanriep (bij agents), de eindgebruiker-beoordeling van het antwoord, en of de output een validatie doorstond.

Promptlogs bevatten vaak gebruikersinvoer die persoonsgegevens kan bevatten. Dat heeft implicaties voor de AVG. Overweeg:

• Anonimisering: vervang namen en persoonlijke gegevens in de logs door pseudoniemen of hashes
• Bewaartermijnen: stel een maximale bewaartermijn in en verwijder logs automatisch daarna
• Toegangscontrole: beperk wie de logs kan inzien
• Toestemming: informeer gebruikers dat interacties gelogd worden als dat relevant is

In gereguleerde sectoren zoals zorg of financiële dienstverlening zijn er mogelijk aanvullende eisen aan audit-logs.

Er zijn specifieke tools ontwikkeld voor het loggen van LLM-interacties:

• Langfuse: open-source, zelf te hosten, biedt uitgebreide trace-weergave en evaluaties
• LangSmith: van LangChain, goed geïntegreerd met dat framework
• Helicone: lichtgewicht proxy die logs onderschept zonder codewijzigingen
• Arize: meer gericht op ML-monitoring, ook geschikt voor LLMs

Naast gespecialiseerde tools kun je ook logrichten op bestaande infrastructuur: een SQL-database voor gestructureerde logs, een zoekplatform zoals OpenSearch voor full-text zoeken in prompts en responses.

Bij AI-agents die meerdere stappen uitvoeren, wil je niet alleen de eindoutput loggen maar ook elke tussenstap: welke tool werd aangeroepen, met welke input, wat de output was. Dit heet tracing.

Een goede trace laat je zien hoe een agent tot zijn antwoord kwam. Dat is cruciaal voor debugging: als een agent een fout maakt, kun je precies terugzien op welk punt het misging en waarom.

Logs zijn niet alleen voor debugging maar ook voor structurele verbetering:

• Analyse van mislukte interacties: welke vragen beantwoordde het model slecht?
• Promptoptimalisatie: welke formuleringen leiden tot betere output?
• A/B-testen: vergelijk twee promptversies op basis van echte gebruiksdata
• Kostenbewaking: signaleer prompts die onnodig veel tokens verbruiken

Dit is waar logging strategische waarde heeft. Je bouwt niet alleen een log om problemen op te lossen, maar om je systeem continu te verbeteren.

In sommige contexten zijn auditlogs wettelijk vereist. Een auditlog verschilt van een gewone log: het is onwijzigbaar, volledig en bevat genoeg context om achteraf te reconstrueren wat er is gebeurd en waarom.

Als je AI gebruikt voor beslissingen die mensen raken — zoals een afwijzing, een aanbeveling of een score — dan wil je (en moet je soms) kunnen aantonen hoe die beslissing tot stand is gekomen.

Logging is geen bijkomstigheid maar een kernfunctie van een verantwoord AI-systeem. Bij Mach8 bouwen we logging en tracing in vanaf het begin van een project, zodat klanten altijd inzicht hebben in wat hun AI-systemen doen en hoe ze verbeteren.

Benieuwd hoe Mach8 AI-systemen beheersbaar en auditeerbaar maakt? Bekijk onze AI-agents service of neem contact op.