KI-Governance für KMU: Welche internen Regeln braucht Ihr Betrieb, bevor Sie KI einsetzen?

41 % der Unternehmen in Deutschland setzen KI ein (Bitkom, 2026). Aber nur 12 % haben eine formale KI-Richtlinie. Das heißt: In den meisten Betrieben entscheidet jeder Mitarbeiter selbst, welche Tools er nutzt, welche Daten er eingibt und ob er das Ergebnis prüft. Governance klingt nach Konzern, nach Compliance-Abteilung und 80-seitigen Handbüchern. Für einen Betrieb mit 5 bis 50 Mitarbeitern ist es etwas Einfacheres: ein klares „Ja, diese Tools. Nein, diese Daten. Und du bist verantwortlich."

Wer seine Datenstrategie bereits aufgesetzt hat, kennt die Grundlagen aus Woche 4 des 30-Tage-Plans: Verantwortlichkeiten, Eingaberegeln, Kurzprüfung. Dieser Artikel geht darüber hinaus. Er zeigt, was ein KMU als Minimalgerüst braucht, um KI kontrolliert einzuführen, statt sie unkontrolliert laufen zu lassen.

Schatten-KI ist das eigentliche Problem

Schatten-KI (Shadow AI) bezeichnet die Nutzung von KI-Tools ohne Wissen oder Genehmigung des Arbeitgebers. Laut Gartner (Umfrage unter 302 Cybersecurity-Verantwortlichen, Q1/Q2 2025) haben 69 % der Unternehmen Hinweise darauf, dass Mitarbeiter nicht freigegebene KI-Tools einsetzen. Die Harmonic-Security-Analyse von 22,4 Millionen KI-Prompts in Unternehmen zeigt, dass 2,6 % davon vertrauliche Firmendaten enthalten. Bei hochgeladenen Dateien steigt der Anteil auf 22 %.

Samsung hat das im März 2023 am eigenen Leib erfahren. Innerhalb von 20 Tagen nach der ChatGPT-Freigabe gab es drei separate Datenlecks: Quellcode einer Halbleiterfertigung, Programmcode zur Fehlererkennung, ein internes Meeting-Protokoll. Samsung hat daraufhin alle generativen KI-Tools gesperrt. Ein Totalverbot, das nur belegt, dass es vorher keine Governance gab.

Der IBM „Cost of a Data Breach Report" (2025) beziffert den Schaden: Datenvorfälle, die mit Schatten-KI zusammenhängen, kosten im Schnitt 670.000 US-Dollar mehr als gewöhnliche Vorfälle. 97 % der betroffenen Unternehmen hatten keine funktionierenden Zugriffskontrollen für KI-Tools.

Was in eine KI-Richtlinie gehört (Minimalversion)

Das Mittelstand-Digital Zentrum Berlin hat eine kostenlose Vorlage veröffentlicht: „KI-Richtlinie für Unternehmen in 7 Schritten". Für einen Betrieb mit 5 bis 50 Mitarbeitern lässt sich das auf fünf Bausteine verdichten, die auf zwei bis drei Seiten passen.

1. Freigabeliste. Welche KI-Tools sind im Betrieb erlaubt? Zwei bis drei konkrete Tools benennen (z. B. Microsoft Copilot, DeepL Pro, ein branchenspezifisches Tool). Alles andere ist nicht erlaubt, bis es geprüft und aufgenommen wurde. Wer ein KI-Verzeichnis führt, hat diese Liste bereits.
2. Datenregeln. Welche Informationen dürfen eingegeben werden, welche nicht? Faustregel: Keine Kundennamen, keine Personaldaten, keine Finanzzahlen, kein Quellcode. In einer Steuerkanzlei betrifft das Mandantendaten und Belegbilder. Bei einem Versicherungsmakler Vertrags- und Bestandsdaten. Bei einem Personaldienstleister Kandidatenprofile und Einsatzhistorien.
3. Prüfpflicht. Jedes KI-generierte Ergebnis muss geprüft werden, bevor es intern oder extern verwendet wird. KI liefert plausibel klingende Fehler. Ein Buchungsvorschlag in DATEV, eine Deckungslückenanalyse, ein Matching-Ergebnis: Der Mensch entscheidet, nicht das Tool.
4. Verantwortlichkeiten. Eine Person entscheidet, welche neuen KI-Tools auf die Freigabeliste kommen. In einem KMU ist das in der Regel die Geschäftsführerin oder der IT-Verantwortliche. Diese Person führt auch die Freigabeliste und prüft sie einmal im Quartal.
5. Meldeweg. Was tun, wenn jemand versehentlich vertrauliche Daten in ein KI-Tool eingegeben hat? Ein einfacher Satz reicht: „Melden Sie den Vorfall innerhalb von 24 Stunden an [Name/Rolle]. Wir klären gemeinsam, ob eine Meldung nach Art. 33 DSGVO nötig ist."

Die branchenspezifischen Vorlagen gehen tiefer. Für Steuerkanzleien hat der Deutsche Steuerberaterverband (DStV) im April 2026 eine kostenlose Muster-KI-Anwendungsrichtlinie veröffentlicht, die § 203 StGB und das Berufsrecht berücksichtigt. Für Maklerbüros zeigt unser Ratgeber zur KI-Richtlinie für Maklerbüros, wie die fünf Bausteine mit IDD-Anforderungen und Pool-KI zusammenspielen. Und der AfW Bundesverband hat einen „Praxisleitfaden KI-Governance" speziell für Versicherungsmakler herausgegeben.

Wer entscheidet, was eingesetzt wird?

Die häufigste Governance-Lücke in kleinen Betrieben: Niemand ist formal zuständig. Die Disponentin testet ChatGPT für Kandidatenanschreiben. Der Steuerfachangestellte lädt Belege in ein KI-Klassifizierungstool. Die Maklerin nutzt den Pool-Copilot für Vertragsvergleiche. Alles sinnvoll, aber niemand hat entschieden, ob das so laufen soll.

Governance heißt nicht, einen „KI-Beauftragten" zu ernennen (das verlangt auch die KI-Verordnung nicht). Es heißt, drei Fragen zu klären:

• Wer gibt neue KI-Tools frei? Eine einzige Person. In einem KMU typischerweise die Geschäftsführung, ergänzt durch den Datenschutzbeauftragten, sofern vorhanden.
• Wer schult? Die Schulungspflicht nach Art. 4 der KI-Verordnung liegt beim Betreiber. In einem KMU mit 15 Mitarbeitern kann das eine interne Einweisung durch die Geschäftsführung sein. Externe Seminare (IHK, Bitkom Akademie, DATEV-Lernvideo Art.-Nr. 77606) liefern den Nachweis, sind aber nicht vorgeschrieben. Die Details stehen im Ratgeber zur Art.-4-Kompetenzpflicht.
• Wer überwacht? Nicht im Sinne einer Überwachungskamera, sondern: Wer prüft einmal im Quartal, ob die Freigabeliste noch stimmt, ob neue Tools aufgetaucht sind und ob die Datenregeln eingehalten werden? Wer Schatten-KI sichtbar machen will, braucht genau diese Routine.

Betriebsrat und KI: Wann Mitbestimmung greift

Viele KMU mit 5 bis 50 Mitarbeitern haben keinen Betriebsrat. Aber wenn einer existiert, greift § 87 Abs. 1 Nr. 6 BetrVG: Der Betriebsrat hat ein Mitbestimmungsrecht bei technischen Einrichtungen, die objektiv dazu geeignet sind, das Verhalten oder die Leistung der Beschäftigten zu überwachen. Die meisten KI-Tools, die in Unternehmens-IT eingebettet sind, erfüllen dieses Kriterium.

Das Arbeitsgericht Hamburg hat im Januar 2024 (Az. 24 BVGa 1/24) allerdings klargestellt: Wenn Mitarbeiter ChatGPT freiwillig über private Accounts und ihren Browser nutzen, löst das kein Mitbestimmungsrecht aus, weil der Arbeitgeber das Tool weder bereitstellt noch Zugriff auf die Nutzungsdaten hat. Sobald der Arbeitgeber aber Lizenzen beschafft, Accounts verwaltet oder ein KI-Tool in die Arbeitsabläufe integriert, ist der Betriebsrat einzubeziehen, bevor das Tool eingeführt wird.

Bitkom hat im Februar 2026 einen „Leitfaden Künstliche Intelligenz und Mitbestimmung" veröffentlicht, der die Abgrenzung im Detail aufbereitet.

Geschäftsführerhaftung: Warum Governance Chefsache ist

Die Organisationspflicht nach § 43 GmbHG verpflichtet Geschäftsführer, Compliance-Strukturen aufzubauen. Wer KI-Tools im Betrieb duldet, ohne Regeln aufzustellen, handelt organisationswidrig. Wenn daraus ein Schaden entsteht, etwa ein Datenschutzvorfall durch unkontrollierte KI-Nutzung, haftet die Geschäftsführung persönlich.

Art. 99 der KI-Verordnung sieht bei Verstößen Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes vor (für KMU gilt der jeweils niedrigere Betrag). In der Praxis wird Art. 4 vermutlich nicht isoliert geahndet, sondern als erschwerender Faktor bei anderen Verstößen herangezogen, etwa bei mangelhafter menschlicher Aufsicht über Hochrisiko-KI-Systeme. Welche konkreten Pflichten ein KMU als Betreiber solcher Systeme nach Art. 26 treffen, zeigt der Ratgeber zu den Deployer-Pflichten. Das ändert nichts an der Haftungslage: Wer keine Governance hat, steht im Ernstfall schlechter da.

Der Einstieg: ein Nachmittag, nicht ein Quartal

KI-Governance für ein KMU ist kein IT-Projekt und kein Beratungsmandat. Es sind vier Schritte, die sich an einem Nachmittag erledigen lassen.

1. KI-Verzeichnis aufsetzen. Alle im Betrieb genutzten KI-Tools erfassen, inklusive der inoffiziellen. Der Ratgeber zum KI-Verzeichnis zeigt die zehn Felder, die jeder Betrieb braucht, und wie Schatten-KI aufgedeckt wird.
2. KI-Richtlinie schreiben. Zwei bis drei Seiten mit den fünf Bausteinen oben. Die Vorlagen vom Mittelstand-Digital Zentrum Berlin oder (je nach Branche) vom DStV oder AfW als Ausgangspunkt nehmen.
3. Schulungspflicht dokumentieren. Jede Person, die ein freigegebenes KI-Tool nutzt, einweisen. Das kann ein 30-minütiges Teammeeting sein. Teilnahme dokumentieren (Datum, Teilnehmer, Inhalt). Details zum Mindestumfang stehen im Art.-4-Ratgeber.
4. Quartalscheck einplanen. 30 Minuten alle drei Monate: Freigabeliste aktuell? Neue Tools aufgetaucht? Datenregeln eingehalten? Dokumentation vollständig?

Wer seinen KI-Reifegrad bestimmt hat und bei Stufe 2 oder 3 steht, braucht genau dieses Gerüst, um den nächsten Schritt strukturiert zu gehen. Und wer die KI-Bereitschaft geprüft hat, weiß, dass Governance einer der fünf Bereiche ist, die vor dem ersten Pilotprojekt stehen müssen.