Was es ist
Model Drift beschreibt den schleichenden Verlust an Genauigkeit eines KI-Modells, während sich die Daten, gegen die es bewertet, mit der Zeit verändern. Marktbedingungen verschieben sich, Kandidatenpools wachsen oder schrumpfen, Unternehmen verhalten sich anders als noch vor einem Jahr, und ein Modell, das auf die Muster einer bestimmten Phase trainiert oder justiert wurde, wendet diese Muster einfach weiter an, auch wenn sie längst nicht mehr gelten. Nichts crasht, keine Fehlermeldung erscheint, der Score sieht genauso aus wie immer. Er wird nur zunehmend falscher.
Das unterscheidet Model Drift klar von einer AI Hallucination. Eine Hallucination ist ein einzelner, falscher Output in einer einzelnen Antwort. Model Drift ist systemisch: ein langsamer Genauigkeitsverlust über viele Outputs hinweg, über Wochen oder Monate, der aus einer sich verändernden Realität entsteht und nicht aus einem einzelnen Fehler. Es ist ein Governance- und Monitoring-Thema, kein einmaliger Bug, den man einfach behebt.
Model Drift kündigt sich nie an. Der Score sieht normal aus. Er liegt nur zunehmend daneben.
Warum es zählt
Deine Lead-Scoring-, ICP-Fit- und Matching-Modelle sind auf Muster aus einer bestimmten Phase abgestimmt: welche Signale früher zu Abschlüssen führten, welche Accounts konvertierten, welche Kandidaten platziert wurden. Märkte verändern sich: Eine Branche, die aggressiv eingestellt hat, kühlt ab, ein Kandidatenpool trocknet aus oder füllt sich, das Kaufverhalten eines Unternehmens ändert sich nach einer Finanzierungsrunde oder einem Wechsel in der Führung. Wird das Modell nicht überprüft, spiegeln seine Rankings irgendwann eine Realität, die es gar nicht mehr gibt.
Das eigentliche Risiko ist, dass dich niemand warnt. Die Zahl sieht weiterhin wie ein normaler Score aus, du vertraust ihr aus Gewohnheit, gute Accounts rutschen leise nach unten, und Zeit fließt in Muster, die früher funktioniert haben und jetzt nicht mehr konvertieren. Niemand merkt es, bis Win-Rate oder Reply-Rate schon seit Wochen sinken, und dann war der Preis nicht ein schlechter Treffer, sondern ein langsames Aussickern über jede einzelne Einschätzung des Modells.
Wie boilr das übernimmt
boilr behandelt Model Drift als etwas, das laufend überwacht wird, nicht als Problem, das du einmal nach einem Trainingsplan löst und dann vergisst. Jedes Scoring- und Matching-Modell wird gegen echte Recruiter-Ergebnisse geprüft, Platzierungen, Antworten und die Korrekturen, die ein Consultant tatsächlich vornimmt, und das fließt zurück ins Company Brain. Wenn die Einschätzungen eines Modells nicht mehr zu dem passen, was tatsächlich konvertiert, wird diese Lücke sichtbar, statt verborgen zu bleiben in einem Score, der weiterhin normal aussieht.
Confidence Scores und die Prüfung im Human-in-the-loop-Schritt wirken dabei zusätzlich wie ein Frühwarnsystem: Steigt der Anteil an Erkennungen mit niedriger Confidence oder an Korrekturen für einen bestimmten Account-Typ, ist das ein frühes Zeichen, dass die Annahmen eines Modells nicht mehr zum Markt passen, und löst ein Retraining aus, bevor die Lücke deine Pipeline kostet. Weil diese Historie im Company Brain liegt und nicht im Kopf eines einzelnen Consultants, bleibt die Korrektur bestehen, auch wenn der Desk den Besitzer wechselt.
