Wenn die KI programmiert – wer findet den Fehler?

Stell dir vor, du entwickelst mit KI eine Software. Du beschreibst, was sie können soll. Die KI schreibt den Code. Du probierst die Anwendung aus. Es funktioniert. Du ergänzt neue Funktionen, die KI programmiert weiter. Nach einigen Tagen ist daraus ein erstaunlich umfangreiches System geworden.

Dann tritt ein Fehler auf.

Du beschreibst ihn der KI. Sie verändert den Code. Der Fehler bleibt. Sie versucht einen anderen Ansatz. Jetzt funktioniert eine andere Funktion nicht mehr.

Und plötzlich stellt sich eine Frage, die während der erfolgreichen Entwicklung kaum eine Rolle gespielt hat: Wer versteht eigentlich, was wir hier gebaut haben?

Genau an diesem Punkt beginnt für mich eine der wichtigsten Diskussionen über die Zusammenarbeit von Mensch und künstlicher Intelligenz.

Ich würde zunächst drei Kompetenzniveaus unterscheiden.

Er beschreibt sein Ziel, formuliert Anforderungen und lässt die KI arbeiten. Er kann das Ergebnis ausprobieren und beurteilen, ob es seinen unmittelbaren Erwartungen entspricht. Beim Vibe Coding entsteht so möglicherweise eine funktionierende Anwendung, obwohl der Anwender kaum programmieren kann.

Das ist eine bemerkenswerte neue Möglichkeit. Menschen können Ideen verwirklichen, für die sie früher Entwicklerinnen oder Entwickler gebraucht hätten. Die Grenze zeigt sich jedoch bei Problemen, die sich nicht durch einfaches Ausprobieren erkennen oder beheben lassen.

Er kann Anforderungen präzisieren, Testfälle entwickeln, Fehler reproduzieren und überprüfen, ob eine Änderung tatsächlich eine Verbesserung bringt. Er muss nicht jede Zeile Code selbst schreiben können. Aber er weiß, wie man Ergebnisse überprüft, welche Risiken bestehen und wann weitere Fachkompetenz notwendig ist.

Damit ist er weniger abhängig von der Behauptung der KI, dass ein Problem nun gelöst sei.

Er besitzt genügend Fachwissen, um Architektur, Datenflüsse und technische Zusammenhänge nachzuvollziehen. Beim Programmieren kann er selbst debuggen, Fehler eingrenzen und beurteilen, ob eine vorgeschlagene Änderung langfristig sinnvoll ist.

Auch er wird KI intensiv einsetzen. Vielleicht lässt er sogar den Großteil des Codes erzeugen. Der Unterschied liegt nicht darin, wie viel Arbeit er selbst ausführt. Der Unterschied liegt darin, was er verstehen, überprüfen und verantworten kann.

Diese drei Typen sind keine wissenschaftlich etablierte Klassifikation. Sie sind unser Arbeitsmodell, um verschiedene Formen der KI-Nutzung und des Kompetenzerwerbs zu beschreiben. Je nach Aufgabe kann dieselbe Person Anwender, Prüfer oder Gestalter sein.

Beim Programmieren wird die Grenze besonders sichtbar, weil Software irgendwann nicht mehr funktioniert. Aber dasselbe Problem begegnet uns in vielen anderen Bereichen.

Eine KI erstellt eine Finanzplanung. Die Zahlen sehen plausibel aus. Wer überprüft die Annahmen? Eine KI empfiehlt eine Änderung an der Heizungssteuerung. Die Begründung klingt überzeugend. Wer erkennt, ob dabei ein sicherheitsrelevanter Zusammenhang übersehen wurde? Eine KI analysiert eine schwierige Entscheidung und präsentiert eine scheinbar klare Empfehlung. Wer erkennt, welche Informationen fehlen?

In allen drei Fällen kann das Ergebnis zunächst überzeugend wirken. Plausibilität ist aber kein Nachweis von Richtigkeit. Die Fähigkeit, ein Ergebnis zu erzeugen, ist nicht identisch mit der Fähigkeit, seine Qualität zu beurteilen.

In Co-Intelligence und der Diskussion um Co-Existence beschäftigt sich Ethan Mollick mit der Frage, wie wir mit immer leistungsfähigerer KI zusammenarbeiten und leben. Besonders wichtig ist dabei seine Vorstellung der Jagged Frontier: KI-Fähigkeiten verlaufen nicht entlang einer gleichmäßigen Grenze. Ein System kann bei anspruchsvollen Aufgaben erstaunlich leistungsfähig sein und gleichzeitig bei scheinbar einfachen Problemen scheitern.

Für unsere Überlegungen hat das eine wesentliche Konsequenz: Wir dürfen aus einer erfolgreichen Leistung nicht automatisch schließen, dass die KI auch den nächsten Schritt zuverlässig beherrscht.

Eine KI, die ein komplexes Programm erstellt hat, muss nicht zwangsläufig dessen Fehler finden. Und eine KI, die eine überzeugende Analyse liefert, muss nicht alle relevanten Annahmen richtig beurteilt haben.

Daraus folgt für mich nicht, dass wir KI grundsätzlich misstrauen sollten. Es bedeutet vielmehr, dass wir ihre Fähigkeiten aufgabenbezogen prüfen und die Kontrolle an die möglichen Folgen anpassen müssen.

Ich sehe keinen Widerspruch darin, einer KI ganze Aufgaben zu übertragen. Wenn sie einen Bericht erstellt, Messdaten aufbereitet oder eine Routine automatisiert, muss ich nicht jeden einzelnen Arbeitsschritt kontrollieren.

Entscheidend ist, welche Folgen ein Fehler haben kann. Bei einer leicht korrigierbaren, risikoarmen Aufgabe können wir viel Autonomie zulassen. Bei erheblichen finanziellen, technischen, rechtlichen oder menschlichen Konsequenzen brauchen wir entsprechend stärkere Kontrollen. Wesentliche Entscheidungen müssen beim verantwortlichen Menschen bleiben.

Dabei reicht es nicht immer, dass ein Mensch am Ende auf „Freigeben“ klickt. Wer eine Entscheidung verantwortet, muss ihre Grundlagen hinreichend beurteilen können – oder eine geeignete unabhängige Prüfung organisieren.

Menschliche Aufsicht ist nur dann wertvoll, wenn der Mensch tatsächlich etwas prüfen und gegebenenfalls eingreifen kann.

Wenn ich mit KI innerhalb weniger Stunden eine Anwendung erstelle, bin ich produktiver geworden. Aber bin ich auch ein besserer Programmierer geworden? Vielleicht. Vielleicht auch nicht.

Ich könnte viel über Softwarearchitektur, Schnittstellen und Fehlersuche gelernt haben. Ich könnte aber auch lediglich immer bessere Anweisungen formuliert haben, ohne das erzeugte System zu verstehen.

Beides kann wirtschaftlich sinnvoll sein. Doch es sind unterschiedliche Ergebnisse. Produktivitätsgewinn und Lernerfolg dürfen wir nicht miteinander verwechseln.

Gerade beim Lernen entsteht daraus ein Zielkonflikt: Die KI kann mir die schwierige Arbeit abnehmen, an der ich eigentlich wachsen möchte. Wenn mein Ziel ausschließlich das fertige Produkt ist, kann Delegation sinnvoll sein. Wenn mein Ziel darin besteht, eine Fähigkeit zu erwerben, muss ich bestimmte Aufgaben bewusst selbst bearbeiten.

Wir wollen diese Frage nicht nur theoretisch diskutieren. Wir wollen sie praktisch untersuchen.

Beim Balanceboard soll KI uns helfen, Bewegungen anhand von Sensoren und Video besser zu verstehen. Das Gleichgewicht müssen wir trotzdem selbst entwickeln.

Beim Smart Home wollen wir nicht nur eine funktionierende Hausautomatisierung besitzen. Wir wollen lernen, wie Sensoren, Aktoren, Netzwerke, Heiztechnik und Regelungen zusammenwirken. Wenn etwas ausfällt, möchten wir den Fehler zunehmend selbst eingrenzen können.

Beim Wargaming soll KI Situationen entwickeln, Annahmen hinterfragen und Rückmeldungen geben. Die Lagebeurteilung und wesentlichen Entscheidungen bleiben beim Menschen.

In allen drei Projekten interessiert uns deshalb nicht nur, ob wir mit KI bessere Ergebnisse erzielen. Wir wollen auch wissen, ob wir anschließend selbst mehr können. Dafür brauchen wir Aufgaben, die wir zunächst mit Unterstützung bearbeiten, später aber auch eigenständig lösen können.

Ich glaube nicht, dass wir in Zukunft jede delegierte Tätigkeit selbst beherrschen müssen. Ein Unternehmer muss nicht jeden Programmcode lesen können. Eine Führungskraft muss nicht jede Berechnung persönlich durchführen. Und ein Hausbesitzer muss nicht jede technische Anlage selbst reparieren können.

Aber wir müssen wissen, wo unsere Kompetenz endet, wie wir Ergebnisse prüfen und wann wir jemanden benötigen, der mehr versteht als wir. Manchmal ist das die KI. Manchmal ein anderer Mensch. Bei wichtigen Fragen kann es eine unabhängige fachliche Prüfung sein.

Daraus ergibt sich für mich ein Grundsatz: Delegiere die Arbeit. Nicht blind die Beurteilung. Und nicht die Verantwortung für wesentliche Entscheidungen.

Vielleicht ist das eine der entscheidenden Fähigkeiten im KI-Zeitalter: nicht möglichst viel selbst zu erledigen, sondern zu verstehen, was wir abgeben können, was wir kontrollieren müssen und welche Fähigkeiten wir bewusst weiterentwickeln wollen.

Denn am Ende interessiert mich nicht nur, was ich gemeinsam mit KI zustande bringe. Mich interessiert auch, was ich durch diese Zusammenarbeit geworden bin.

Learn. Apply. Prove It.

Mollick, E. (2024). Co-Intelligence: Living and Working with AI. Portfolio.

Mollick, E. R., & Mollick, L. (2023). Assigning AI: Seven Approaches for Students, with Prompts. SSRN.

Dell’Acqua, F., et al. (2023). Navigating the Jagged Technological Frontier. Harvard Business School Working Paper 24-013.

NIST. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0).