Eine schnelle Modellantwort ist noch kein Produktivitätsgewinn.
Entscheidend ist die Zeit vom Beginn einer Aufgabe bis zu einem Ergebnis, das tatsächlich verwendet werden darf. Dazu gehören Vorbereitung, Kontext, Prüfung, Korrektur und Pflege. Für meine eigenen KI-Workflows habe ich bisher keinen belastbaren End-to-End-Messwert, der diese gesamte Kette abdeckt.
Gerade deshalb interessieren mich zwei Studien, die zu unterschiedlichen Ergebnissen kommen.
NBER und METR messen verschiedene Arbeit
Die NBER-Studie “Generative AI at Work” untersuchte 5.179 Beschäftigte im Kundensupport. Der Zugang zu einem generativen Assistenzsystem erhöhte die Produktivität im Durchschnitt um 14 Prozent. Die größten Gewinne zeigten weniger erfahrene und geringer qualifizierte Beschäftigte. Bei den erfahrensten Beschäftigten war der Effekt klein.
METR untersuchte 2025 erfahrene Open-Source-Entwickler, die Aufgaben in vertrauten Repositories bearbeiteten. Mit den getesteten frühen 2025er-KI-Werkzeugen waren sie im Mittel 19 Prozent langsamer. METR grenzt das Ergebnis selbst auf dieses Setting, diese Teilnehmenden und diese Werkzeuggeneration ein.
Die Befunde widersprechen sich nicht zwingend. Kundensupport mit wiederkehrenden Mustern ist eine andere Arbeit als Änderungen in einem vertrauten, kontextreichen Codebestand. Erfahrung, Aufgabentyp und Prüfaufwand verändern die Rechnung.
Die Rechnung beginnt vor dem Prompt
Für einen gesamten Workflow würde ich mindestens die manuelle Ausgangszeit und alle zusätzlichen Schritte mit KI erfassen. Dazu gehören Kontextbeschaffung, Prompting, Laufzeit, Prüfung, Korrektur, Freigabe sowie spätere Pflege. Auch Fehlversuche gehören in die Messung, wenn sie im normalen Betrieb vorkommen.
Der Vergleich braucht dieselbe Qualitätsgrenze. Ein schneller Entwurf ist nicht mit einem freigegebenen Bericht vergleichbar. Erst wenn beide Wege dasselbe brauchbare Ergebnis liefern sollen, wird die Zeitmessung sinnvoll.
Fehlerkosten dürfen ebenfalls nicht verschwinden. Eine eingesparte Stunde kann wertlos sein, wenn ein ungeprüfter Fehler einen Incident, eine falsche Entscheidung oder aufwendige Nacharbeit auslöst. Manche Kosten lassen sich in Zeit messen. Andere brauchen eine eigene Risikobewertung.
Was ich noch nicht belegen kann
Ich kann aus meinen bisherigen Erfahrungen sagen, dass einzelne Schritte schneller werden. Ich kann derzeit nicht seriös beziffern, ob ein ganzer wiederkehrender Workflow nach allen Prüfungen und Pflegekosten netto Zeit spart. Dafür fehlt mir eine durchgängig erhobene Vergleichsmessung.
Die Folgerung ist keine Absage an KI. Sie ist eine Anforderung an die nächste Messung. Start und Ende des Prozesses müssen vorab feststehen. Qualität und Fehlertoleranz müssen gleich sein. Die Arbeit rund um das Modell muss mit auf die Uhr.
Fragen zu kleinen Werkzeugkästen, Projektgedächtnis und Hilfsdateien habe ich in Agenten-Sicherheit 4, 5 und 6 behandelt. Hier zählen sie nur als mögliche Kostenpositionen.
Was die Rechnung zeigen muss
NBER zeigt einen deutlichen Gewinn in einem konkreten Support-Setting. METR zeigt einen Verlust bei erfahrenen Entwicklern in vertrauten Repositories. Für meinen eigenen Workflow fehlt noch die vollständige Messung. Eine ehrliche Produktivitätsrechnung muss den ganzen Weg bis zum freigegebenen Ergebnis erfassen.
Quellen: Brynjolfsson, Li & Raymond, “Generative AI at Work”; METR, “Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity”.
Gregor Lyttek ist Security Architect & AI Strategist und Threat Hunter im Versicherungsumfeld.