Menschliche Aufsicht bei KI im KMU: Was Art. 14 der KI-Verordnung von Betreibern verlangt und wie kleine Betriebe sie praktisch umsetzen

Art. 14 der KI-Verordnung (2024/1689) verlangt menschliche Aufsicht bei jedem hochriskanten KI-System. Die Deployer-Pflichten nach Art. 26 machen klar, wer dafür verantwortlich ist: der Betreiber. Also Sie. Was die Verordnung nicht sagt: wie ein 8-Personen-Büro das organisiert, ohne einen Vollzeit-Compliance-Beauftragten einzustellen. Diesen Artikel können Sie als Vorlage für Ihr eigenes Aufsichtskonzept verwenden.

Was Art. 14 konkret verlangt: fünf Fähigkeiten

Art. 14 Abs. 4 listet fünf Fähigkeiten auf, die das System der Aufsichtsperson ermöglichen muss. Für Betreiber heißt das: Wenn Ihr Tool eine dieser Fähigkeiten nicht unterstützt, haben Sie ein Problem mit dem Anbieter, nicht mit Ihrer Organisation.

1. Verstehen und überwachen (Abs. 4a). Die Aufsichtsperson muss die relevanten Fähigkeiten und Grenzen des KI-Systems verstehen und seinen Betrieb laufend überwachen können. In der Praxis: Sie müssen wissen, was das Tool kann und was nicht, und Anomalien erkennen.
2. Automatisierungsbias erkennen (Abs. 4b). Die Verordnung nennt das „Automation Bias" ausdrücklich. Das ist die Tendenz, KI-Ergebnissen blind zu vertrauen, weil sie „vom Computer kommen". Schulung ist die einzige Gegenmaßnahme, die funktioniert.
3. Ergebnisse korrekt interpretieren (Abs. 4c). Die Aufsichtsperson muss die Ausgaben des Systems richtig einordnen können. Wenn Ihr KI-Matching einen Kandidaten mit 92 % empfiehlt, muss die verantwortliche Person verstehen, was diese 92 % bedeuten und was sie nicht abbilden.
4. Übergehen und ablehnen (Abs. 4d). Die Aufsichtsperson muss in jeder Situation entscheiden können, ein Ergebnis nicht zu verwenden, es zu korrigieren oder das System gar nicht einzusetzen. Das ist keine Option, sondern eine Pflicht.
5. Eingreifen und stoppen (Abs. 4e). Es muss einen Stopp-Mechanismus geben, mit dem die Aufsichtsperson das System in einen sicheren Zustand versetzen kann. Fragen Sie Ihren Anbieter, wo der Notaus-Knopf ist.

Diese fünf Fähigkeiten sind keine Empfehlung. Erwägungsgrund 73 der Verordnung stellt klar: Das System muss der Aufsichtsperson aktiv helfen, informierte Entscheidungen zu treffen. Eine Black Box, die Ergebnisse ausspuckt, ohne zu erklären, wie sie zustande kommen, erfüllt Art. 14 nicht.

Drei Aufsichtsmodelle und wann welches reicht

Art. 14 Abs. 3 verlangt, dass die Aufsicht „dem Risiko, dem Autonomiegrad und dem Einsatzkontext angemessen" ist. Das heißt: Nicht jedes System braucht dieselbe Aufsicht. Die Verordnung unterscheidet drei Stufen.

• Human-in-the-Loop (HITL): Jede einzelne KI-Entscheidung wird vor der Umsetzung von einer Person geprüft und freigegeben. Art. 14 Abs. 5 schreibt das explizit vor für biometrische Fernidentifizierung (Anhang III Nr. 1a): Mindestens zwei Personen müssen das Ergebnis separat bestätigen. Für die meisten KMU-Anwendungen ist HITL weder gefordert noch praktikabel.
• Human-on-the-Loop (HOTL): Die Aufsichtsperson überwacht den laufenden Betrieb, prüft Ergebnisse stichprobenartig und greift bei Anomalien ein. Das ist das Modell, das für die Mehrheit der KMU-Anwendungen passt: DATEV-Buchungsvorschläge in der Kanzlei, KI-Matching in der Zeitarbeit, Deckungslückenanalysen im Maklerbüro.
• Human-in-Command (HIC): Die Person hat die übergeordnete Kontrolle über den Systemlebenszyklus, einschließlich der Entscheidung, das System nicht einzusetzen, zurückzuziehen oder grundlegend zu ändern. Das ist die Geschäftsführerebene: Sie entscheiden, ob und wie ein KI-Tool in Ihrem Betrieb läuft.

Wer die Aufsichtsperson sein kann und was sie braucht

Art. 26 Abs. 2 definiert drei Voraussetzungen für die Aufsichtsperson: Kompetenz, Schulung und Befugnis. In einem 5- bis 20-Personen-Betrieb ist das in der Regel der Geschäftsführer oder ein erfahrener Mitarbeiter. Ein IT-Hintergrund ist nicht verlangt.

Kompetenz heißt: Die Person versteht, was das KI-Tool tut. In einer Steuerkanzlei muss die Aufsichtsperson wissen, dass die DATEV-Sachkontierung bei 70 bis 85 % der Standard-Belege korrekt zuordnet, bei atypischen Buchungen aber regelmäßig danebenliegt. Ähnlich bei KI-gestützten Mandantenbriefen: Das Drei-Zonen-Modell trennt Routinetexte von §203-kritischen Einzelschreiben, die vollständige Kontrolle erfordern. Bei einem Personaldienstleister muss sie wissen, dass das KI-Matching Helferpositionen ohne formale Qualifikation schlecht abbildet.

Schulung meint: Die Person wurde nachweislich eingewiesen. Die Kompetenzpflicht nach Art. 4 verlangt das ohnehin seit Februar 2025 von jedem KI-Nutzer. Für die Aufsichtsperson geht es tiefer: Sie muss nicht nur das Tool bedienen, sondern dessen Grenzen kennen und den Automatisierungsbias verstehen.

Befugnis ist der Punkt, an dem viele scheitern. Die Aufsichtsperson muss die tatsächliche Autorität haben, ein KI-Ergebnis zu übergehen oder das System abzuschalten. Wenn der Disponenten-Chef das KI-Matching ablehnt, aber der Geschäftsführer die KI-Empfehlung trotzdem durchsetzt, ist die Befugnis nur auf dem Papier vorhanden. Art. 14 Abs. 4d verlangt echte Entscheidungsgewalt, nicht einen unterschriebenen Zettel.

Was Sie dokumentieren müssen: ein Aufsichtskonzept in fünf Punkten

Die Verordnung schreibt kein bestimmtes Dokumentenformat vor. Aber ohne schriftliches Aufsichtskonzept können Sie bei einer Prüfung durch die Bundesnetzagentur (zuständige Marktüberwachungsbehörde nach dem KI-MIG) nicht nachweisen, dass Sie Ihre Pflichten erfüllen. Diese fünf Punkte reichen für ein KMU:

1. KI-System und Risikostufe. Welches Tool, welcher Anbieter, welche Risikoeinstufung. Eine Zeile pro System. Verweisen Sie auf Ihr KI-Verzeichnis.
2. Aufsichtsmodell. HITL, HOTL oder HIC. Begründung, warum dieses Modell dem Risiko angemessen ist.
3. Benannte Person. Name, Funktion, Vertretung bei Abwesenheit. In einem 5-Personen-Büro kann eine Person mehrere Systeme beaufsichtigen.
4. Prüfroutine. Wie oft und wie wird geprüft? Tägliche Stichprobe, wöchentlicher Ergebnisabgleich, monatliche Anomalie-Analyse: Das hängt vom Durchsatz des Systems ab. Ein Maklerbüro, das fünf Deckungslückenanalysen pro Woche erstellt, prüft jede. Ein Personaldienstleister mit 200 Matching-Ergebnissen pro Tag prüft eine Stichprobe und definiert Schwellenwerte für automatische Eskalation.
5. Eskalationsregel. Was passiert bei einem Fehler oder einer Anomalie? Wer wird informiert, wer stoppt das System, wie wird der Vorfall dokumentiert? Bei schwerwiegenden Vorfällen (Gesundheitsschaden, Grundrechtsverletzung) muss nach Art. 26 Abs. 5 die Bundesnetzagentur und der Anbieter informiert werden.

Der Digital Omnibus (VO (EU) 2026/1744) gewährt KMU und kleinen Midcap-Unternehmen (bis 749 Mitarbeiter) vereinfachte Dokumentationsformate. Die Substanz bleibt: Sie brauchen das Aufsichtskonzept, dürfen es aber in einer schlanken Form führen.

Vier-Augen-Prinzip oder Eskalationsregel?

Die häufigste Frage in meinen Erstgesprächen: „Müssen wir jedes KI-Ergebnis von zwei Personen prüfen lassen?" Die Antwort: nur bei biometrischer Identifizierung. Für alle anderen Hochrisiko-Anwendungen stellt Art. 14 das Aufsichtsmodell ins Ermessen des Betreibers, solange es dem Risiko angemessen ist.

Für ein KMU mit 3 bis 20 Mitarbeitern gibt es zwei sinnvolle Varianten:

• Vier-Augen bei Entscheidungen über Menschen. Wenn das KI-System eine Empfehlung abgibt, die direkt über eine Person entscheidet (Kandidatenranking, Bonitätsbewertung, Risikoeinstufung), prüft eine zweite Person. Das ist aufwändiger, aber bei sensiblen Entscheidungen vertretbar und schützt vor Automatisierungsbias besser als jede Schulung.
• Eskalationsregel bei Prozessunterstützung. Wenn das System Prozesse unterstützt, aber nicht allein entscheidet (Buchungsvorschläge, Dokumentenklassifizierung, Terminplanung), reicht eine Eskalationsregel: Die Aufsichtsperson wird automatisch benachrichtigt, wenn bestimmte Schwellenwerte überschritten werden (Konfidenz unter 80 %, mehr als drei abgelehnte Vorschläge am Tag, unbekannter Eingabedatentyp).

Die meisten KMU-Anwendungen fallen in die zweite Kategorie. Dokumentieren Sie Ihre Wahl im Aufsichtskonzept und begründen Sie sie mit dem konkreten Risiko Ihrer Anwendung. Das ist kein Formalismus. Im Prüfungsfall zeigt die Begründung, dass Sie sich mit der Frage befasst haben, statt ein Standarddokument abzuheften.

Was die KMU-Erleichterungen an der Aufsichtspflicht ändern (und was nicht)

Der Digital Omnibus erweitert die KMU-Erleichterungen auf Unternehmen bis 749 Mitarbeiter. Die Erleichterungen betreffen Gebühren bei der Konformitätsbewertung, bevorzugten Zugang zu KI-Reallaboren und vereinfachte Dokumentationsformate. Sie betreffen nicht die Substanz der Aufsichtspflichten.

Art. 14 unterscheidet nicht nach Unternehmensgröße. Ein 5-Personen-Betrieb muss dieselben fünf Aufsichtsfähigkeiten sicherstellen wie ein Konzern. Der Unterschied liegt in der Umsetzung: In einem kleinen Betrieb kann eine Person die Aufsicht für mehrere Systeme übernehmen, die Dokumentation kürzer ausfallen und die Prüfroutine schlanker sein. Die Pflicht zur Schulung, Befugnis und aktiven Überwachung bleibt.