Human-in-the-loop is in veel AI-trajecten een geruststellend uitgangspunt. Er wordt altijd ergens nog een mens betrokken, dus de risico's blijven beheersbaar. In de praktijk zegt dit weinig. Wat ertoe doet is waar de mens betrokken wordt, waarop wordt beoordeeld, wie mag besluiten en wat er gebeurt bij twijfel.
Zonder duidelijk ontworpen beslispunten wordt human-in-the-loop een formaliteit: een knop die wordt ingedrukt, een lijstje dat wordt weggewerkt, of een tweede paar ogen dat in de praktijk niets toevoegt.
01
Wat er in organisaties gebeurt
In de eerste versies van AI-systemen wordt menselijke beoordeling vaak generiek ingericht. Alle suggesties moeten worden goedgekeurd, of juist geen. Bij stijgende volumes wordt dat onhoudbaar, en ontstaan ad hoc oplossingen: steekproeven, drempelwaarden zonder onderbouwing, of stille auto-approval omdat de wachtrij te lang werd.
Tegelijk groeit het aantal momenten waarop de organisatie de uitkomst moet kunnen verantwoorden, intern en extern. Wat eerst een operationele praktijkkeuze leek, wordt een vraag van bestuur en toezicht.
02
Waarom dit problematisch wordt
Een beslispunt zonder ontwerp is geen controle. Het is een handeling. Vier dingen ontbreken meestal: een duidelijke drempel waarop menselijke beoordeling begint, een vastgesteld criterium waarop wordt beoordeeld, een belegd mandaat om te besluiten, en een afspraak over wat er gebeurt bij twijfel of afwijking.
Het gevolg is dat dezelfde casus in twee teams anders wordt behandeld, dat escalatie afhankelijk is van wie er die dag werkt, en dat achteraf niet meer is uit te leggen waarom een bepaalde uitkomst is goedgekeurd.
03
Waar Pientro op let
Wij ontwerpen beslispunten als onderdeel van het proces, niet als toevoeging eraan. Een werkbaar beslispunt heeft, in onze ervaring, vijf elementen.
- Drempel. Wanneer komt het systeem langs een mens, en op basis van welk signaal.
- Criterium. Waarop wordt beoordeeld, in concrete termen die elk teamlid hetzelfde toepast.
- Mandaat. Wie mag besluiten, en wat ligt buiten dat mandaat.
- Escalatie. Wat gebeurt er bij twijfel, conflict of een uitkomst buiten bandbreedte.
- Spoor. Wat wordt vastgelegd, zodat de beslissing later reconstrueerbaar is.
Daarnaast meten wij niet alleen op doorlooptijd of volume, maar ook op bruikbaarheid van het beslispunt zelf: hoeveel zaken worden zonder inhoudelijke beoordeling weggeklikt, en hoeveel beslissingen worden later herzien.
04
Vragen die leiders moeten stellen
- Op welke punten in onze AI-processen vindt menselijke beoordeling plaats, en waarom daar?
- Wat is het criterium, en kan elk teamlid dat gelijk toepassen?
- Wie heeft welk mandaat, en wat ligt daarbuiten?
- Wat gebeurt er met zaken die buiten bandbreedte vallen?
- Kunnen wij een individuele beslissing achteraf reconstrueren?
Volgende stap
Wilt u dit binnen uw organisatie concreet maken?
De AI Operations Audit brengt processen, data, beslispunten en governance in kaart. Een gesprek is ook een goed beginpunt wanneer het vraagstuk nog niet scherp is.