Een chatbot laten draaien is niet hetzelfde als weten of hij goed presteert. Zonder goede meetmethodes weet je pas na klachten dat er iets mis is. Dit artikel legt uit welke metrics er toe doen en hoe je ze structureel bijhoudt.
Na de lancering van een AI-chatbot begint het echte werk. Hoe weet je of de chatbot zijn doel bereikt? Tevreden gebruikers zijn een signaal, maar niet genoeg. Je hebt concrete meetpunten nodig om te weten wat werkt, wat niet, en waar je moet bijsturen.
De containment rate is het percentage gesprekken dat volledig door de chatbot wordt afgehandeld, zonder tussenkomst van een mens. Een hoge containment rate is goed als de antwoorden ook correct zijn. Als de bot gesprekken afhandelt met foute of vage antwoorden, is een hoge containment rate juist een probleem.
Meet de containment rate altijd in combinatie met kwaliteitsmetrics. Een bot die 80% van de gesprekken afhandelt maar de helft fout beantwoordt, is minder waardevol dan een bot die 50% afhandelt met hoge accuraatheid.
De resolution rate gaat een stap verder dan containment. Het gaat niet alleen om of de chatbot het gesprek heeft afgehandeld, maar of de vraag daadwerkelijk beantwoord is. Dit is lastiger te meten en vereist feedback van de gebruiker.
Eenvoudige manieren om dit te meten: vraag aan het einde van elk gesprek "Heb je gevonden wat je zocht?" met een ja/nee-knop. Die data geeft je een directe indicator van effectiviteit.
De escalation rate is het percentage gesprekken dat overgedragen wordt aan een mens. Een te lage escalation rate kan betekenen dat de bot gesprekken afrondt die hij niet aankan. Een te hoge escalation rate betekent dat de bot te weinig zelf oplost.
Het ideale percentage hangt af van de use case. Voor een complexe interne helpdesk is 30% escalatie prima. Voor een FAQ-bot over openingstijden zou 30% escalatie een teken zijn dat er iets goed mis is.
Een gesprek dat tien beurten kost om een simpele vraag te beantwoorden, is te lang. Analyseer de gemiddelde gespreksduur en het aantal berichten per gesprek. Lange gesprekken voor eenvoudige vragen wijzen op onduidelijke antwoorden, slechte conversatieflow of een bot die steeds om verduidelijking vraagt.
Vergelijk dit ook per gesprekstype. Complexe vragen mogen langer duren; simpele vragen zouden snel opgelost moeten zijn.
Vraag gebruikers na het gesprek om een beoordeling. Zelfs een simpele duim omhoog / duim omlaag geeft waardevolle data. Analyseer de gesprekken met lage beoordelingen: wat ging er mis? Was het een inhoudelijk probleem, een toonprobleem of een technisch probleem?
Een lage CSAT is zelden de volledige diagnose; het is een signaal om dieper te kijken.
De fallback rate is het percentage berichten waarbij de chatbot geen antwoord kan geven en terugvalt op een standaardreactie als "Ik begrijp je vraag niet." Een hoge fallback rate wijst op lacunes in de kennisbank, slechte intentieherkenning of onduidelijke systeeminstructies.
Bekijk de berichten die tot fallbacks leiden. Ze vertellen je precies welke onderwerpen of formuleringen de bot mist en sturen je onderhoudsagenda.
Metrics zijn alleen waardevol als je er iets mee doet. Stel een vast ritme in voor analyse: wekelijks voor operationele metrics, maandelijks voor trends. Verbind elk meetpunt aan een actie: als de fallback rate boven 15% komt, review je de kennisbank. Als CSAT daalt, analyseer je de gesprekken van die week.
De performance van een AI-chatbot meten vereist een combinatie van kwantitatieve metrics en kwalitatieve analyse. Mach8 helpt organisaties niet alleen bij het bouwen van chatbots, maar ook bij het opzetten van de juiste monitoring zodat je altijd weet hoe je chatbot presteert.
Wil je jouw chatbot beter leren begrijpen? Neem contact op met Mach8.
Wij helpen je van strategie naar implementatie. Plan een vrijblijvend gesprek.
Plan een gesprek