Wat is model drift?

Model drift betekent dat een OpenAI-model zich na verloop van tijd anders gedraagt dan je gewend was, ook al verandert je prompt niet.

• Nieuwe snapshots: verschillende versies binnen dezelfde modelfamilie kunnen andere resultaten geven.
• Aliassen: een naam zonder datum kan naar een nieuwer model gaan wijzen.
• Variabele output: antwoorden van AI-modellen verschillen van nature al per keer.
• Gevolg: andere lengte, toon, opmaak of nauwkeurigheid.

Tip: kleine verschillen zijn normaal. Let op structurele verschuivingen die je resultaten beïnvloeden.

Bij model drift verandert het model zelf, bij prompt drift verandert de instructie die je meegeeft.

• Model drift: OpenAI past het model aan of vervangt het.
• Prompt drift: iemand in je team past de prompt aan, vaak onbewust en in kleine stapjes.
• Zichtbaarheid: modelwijzigingen merk je vaak pas aan de uitkomst.
• Oplossing: een vaste modelversie tegenover versiebeheer op je prompts.

Tip: in de praktijk komen beide tegelijk voor. Controleer dus altijd eerst welke van de twee is veranderd.

Je merkt model drift het best door uitkomsten structureel te vergelijken met een vaste referentie.

• Testset: bewaar 10 tot 20 prompts met een goed antwoord als maatstaf.
• Periodieke check: draai de testset maandelijks of na elke modelwijziging.
• Signalen: klachten van klanten, afwijkende lengte of een andere tone of voice.
• Logging: sla de gebruikte modelnaam en de output op, zodat je wijzigingen kunt terugvinden.

Tip: laat iemand uit het team steekproefsgewijs meelezen. Menselijke controle vangt vaak wat cijfers missen.

Je kunt model drift niet volledig uitsluiten, maar wel flink beperken.

• Pin een snapshot: gebruik een modelnaam met datum in plaats van een alias.
• Test voor je overstapt: probeer een nieuw model eerst in een testomgeving.
• Houd evals bij: een vaste set controles laat zien of de kwaliteit gelijk blijft.
• Volg aankondigingen: OpenAI meldt wanneer modellen worden uitgefaseerd.

Tip: een vastgezette versie verdwijnt uiteindelijk ook. Plan dus een moment in om bewust te upgraden.

Ja, ook in ChatGPT kan het gedrag veranderen, maar je hebt daar minder controle dan via de API.

• Geen vaste versie: in de app kies je meestal geen specifieke snapshot.
• Updates: OpenAI kan modellen aanpassen of vervangen.
• Gevolg: werkwijzen en prompts die gisteren goed werkten, kunnen vandaag anders uitpakken.
• Aanpak: leg belangrijke prompts vast en controleer de uitkomst bij elk gebruik.

Tip: heb je voorspelbare resultaten nodig voor je bedrijf? Werk dan via de API met een vastgezette modelversie.