Die ersten beiden Teile dieser Serie haben gezeigt, warum KI-Governance eine Führungsaufgabe ist [Teil 1] und welche Frameworks bei deren Strukturierung helfen [Teil 2]. Dieser dritte Teil richtet den Blick auf die Stellen, an denen Governance häufig vor den größten Herausforderungen steht: nicht bei den eigentlichen KI-Projekten, die bewusst gestartet werden, sondern bei der KI, die bereits im Unternehmen läuft, ohne dass es jemand weiß.
TL;DR:
Die größten KI‑Governance-Lücken entstehen nicht durch fehlende Frameworks. Sie entstehen durch fehlendes Bewusstsein: Mitarbeitende, die KI über private Accounts nutzen. SaaS-Produkte mit eingebetteter KI, die nie inventarisiert wurde. KI, die von Angreifern als Werkzeug gegen das Unternehmen eingesetzt wird. Und am Horizont: Agentic AI, die autonomer agiert als alle bisherigen KI‑Systeme. KI-Governance muss bei dem, was bereits sichtbar ist, beginnen, aber sie darf dort nicht enden.
Was ist Schatten-KI und was macht sie zu einem echten Governance-Problem?
Der Begriff „Schatten-KI“ beschreibt die Nutzung von KI-Tools durch Mitarbeitende ohne das Wissen oder die Freigabe des Unternehmens. Private ChatGPT-Accounts, KI-gestützte Übersetzungstools, Browser-Erweiterungen mit KI‑Funktionalität – in vielen Unternehmen nutzen Mitarbeitende diese Werkzeuge längst, ganz einfach, weil sie die tägliche Arbeit ungemein erleichtern. [KI‑Resilienz – Schatten-KI regulieren]
Das Problem ist nicht die Nutzung dieser Tools an sich. Das Problem ist die fehlende Kontrolle, die fehlende Risikobewertung und ein fehlendes Risikobewusstsein bei den Mitarbeitenden. Wenn diese beispielsweise Kundendaten in ein externes KI-Tool eingeben, ohne dass das Unternehmen davon weiß, können DSGVO-Risiken entstehen. Ein Datenschutzproblem entsteht, wenn vertrauliche Geschäftsinformationen in Systeme fließen, die das Unternehmen nicht kontrolliert. Ohne Richtlinien, die den Umgang mit künstlicher Intelligenz regeln, kann das Unternehmen im Schadensfall schlecht argumentieren, dass angemessene Vorkehrungen getroffen wurden.
Laut McKinsey liegt der Anteil der Mitarbeitenden, die KI intensiv im Arbeitsalltag nutzen, dreimal höher als von der Geschäftsführung geschätzt [1]. Diese Lücke zwischen Wahrnehmung und Realität ist ein Governance-Problem. Was der Geschäftsführung nicht bekannt ist und was diese nicht sieht, kann sie auch nicht steuern. Die Verantwortung liegt am Ende aber dennoch bei ihr.
Deshalb ist eine ehrliche Bestandsaufnahme ein wichtiger erster Schritt. Fragen Sie Ihre Mitarbeitenden, welche KI-Tools sie nutzen. Nicht als Kontrolle, sondern als Grundlage für eine gemeinsame Nutzungsstrategie, die von für alle geltenden Spielregeln getragen wird. In vielen Fällen lässt sich Schatten-KI in regulierte KI überführen, ohne den Produktivitätsvorteil zu verlieren. [KI-Implementierung im Mittelstand – Worauf es 2026 ankommt]
KI an Orten, an denen man sie nicht vermutet – KI in SaaS-Produkten
Eine weitere potenzielle Governance-Lücke entsteht durch die Software, die bereits im Unternehmen genutzt wird. Viele SaaS-Lösungen wurden um KI-Funktionen erweitert. Von automatischen Textzusammenfassungen in Office-Anwendungen über KI-gestützte Vorschläge in CRM-Systemen bis zur intelligenten Kategorisierung in der Buchhaltungssoftware. Auch diese Funktionen erleichtern den beruflichen Alltag und viele davon sind standardmäßig aktiviert.
Und wieder stellt sich die Frage nach der Verantwortung für den Einsatz dieser Features. Die Funktionalität wird durch den SaaS-Anbieter bereitgestellt. Aber das Unternehmen, das diese Features nutzt, ist der Deployer im Sinne des EU AI Act [2]. Die Verantwortung für die Compliance liegt damit beim Unternehmen selbst und nicht beim SaaS-Anbieter.
Ein Beispiel aus den USA ist der Fall Workday. Arbeitgeber, die Workdays KI-gestütztes Bewerber-Screening nutzten, gingen davon aus, der Anbieter sei für die Compliance verantwortlich. Das Gericht sah das anders [3]. Dieses Muster wird sich potenziell wiederholen, je mehr KI-Funktionen in Standard-Software implementiert werden.
Für den Mittelstand bedeutet das zwei konkrete Schritte.
Inventarisieren Sie, welche Ihrer SaaS-Produkte KI-Funktionen enthalten. Prüfen Sie, ob diese Funktionen Ihren Datenschutzanforderungen entsprechen.
Prüfen Sie Ihre Verträge. Wer haftet, wenn die eingebettete KI fehlerhafte Ergebnisse liefert? In vielen Standard-AGB ist diese Frage nicht oder nicht zufriedenstellend geregelt.
Wenn KI zum Angriffswerkzeug wird
Neben der KI, die im Unternehmen eingesetzt wird, gibt es eine weitere Dimension: KI, die von außen gegen das Unternehmen eingesetzt wird. Deepfakes, KI-generierte Phishing-Mails und synthetische Stimmen werden zunehmend überzeugender und schwerer vom Original zu unterscheiden. Das Risiko liegt nicht nur in der eigenen KI-Nutzung, sondern auch in der Frage, ob das Unternehmen auf KI-gestützte Angriffe vorbereitet ist.
Der Fall des Ingenieurbüros Arup zeigt, wie konkret diese Bedrohung bereits ist. Im Januar 2024 verlor das Unternehmen 25,6 Millionen US-Dollar durch einen Deepfake-Angriff [4]. Angreifer nutzten öffentlich verfügbare Videos von Führungskräften, um in einem Zoom-Call überzeugende Fälschungen zu erzeugen. 15 Überweisungen an einem einzigen Tag, ohne dass auch nur ein technisches System kompromittiert wurde. Arups CIO Rob Greig beschrieb den Vorfall als „technology-enhanced social engineering“. Das Problem war kein technisches Firewall-Problem, sondern ein fehlendes Verifikationsprotokoll für Finanztransaktionen.
Die Lehre daraus ist, ein Risikobewusstsein zu schaffen. Auch das ist eine Governance-Aufgabe, die alle Ebenen des Unternehmens betrifft. Mitarbeitende müssen wissen, dass KI-generierte Inhalte täuschend echt sein können. Führungskräfte müssen Verifikationsprotokolle etablieren, die auch dann greifen, wenn der vermeintliche Gesprächspartner überzeugend wirkt. Und die IT muss technische Schutzmaßnahmen implementieren, die diese menschlichen Schutzschichten ergänzen.
Was sollten Mittelständler über Agentic AI wissen?
Jenseits der heutigen Governance-Lücken zeichnet sich eine nächste Stufe ab: Agentic AI. Damit sind KI-Systeme gemeint, die nicht nur Antworten generieren, sondern eigenständig planen, handeln und lernen. Sie können mehrstufige Aufgaben durchführen, mit anderen Systemen interagieren und Entscheidungen treffen, ohne dass ein Mensch jeden Schritt freigibt.
Laut dem MIT-Sloan/BCG-Report „The Emerging Agentic Enterprise“ nutzen bereits 35 Prozent der befragten Unternehmen Agentic AI. Weitere 44 Prozent planen den Einsatz [5]. Große Softwareanbieter wie Microsoft, Salesforce und SAP betten agentic Funktionen zunehmend in ihre Plattformen ein. [Multi-Agenten-Systeme – was der Mittelstand darüber wissen sollte]
Gartner schätzt zudem, dass von Tausenden angeblicher Agentic-AI-Anbieter nur etwa 130 echte Fähigkeiten bieten [6]. Der Rest betreibt „Agent Washing“: Bestehende Chatbots und Automatisierungen werden umgelabelt.
Für den Mittelstand ist Agentic AI aktuell noch kein operatives Thema in dem Sinne, dass die meisten Betriebe diese Systeme aktiv einsetzen. Aber es ist ein Thema, das Governance-Strukturen perspektivisch berücksichtigen sollten. Denn wenn KI-Systeme autonomer werden, steigen die Anforderungen an menschliche Aufsicht und Verantwortungsklärung. Die Governance-Grundlagen, die Sie heute für generative KI schaffen, sind auch die Grundlagen, auf denen Sie zukünftig Agentic AI steuern werden.
Wie baut man Governance für das Unsichtbare auf?
Die oben beschriebenen Governance-Lücken haben einen gemeinsamen Nenner: fehlendes Bewusstsein. Schatten-KI ist unsichtbar, weil die Nutzung nicht erfasst wird. Vendor-KI ist unsichtbar, weil sie in bestehende Produkte eingebettet ist. KI-gestützte Angriffe sind unsichtbar, weil sie menschliche Wahrnehmung gezielt täuschen. Und Agentic AI wird unsichtbar werden, weil sie eigenständig handelt, ohne dass jeder Schritt nachvollziehbar ist.
Die Antwort darauf ist nicht mehr Überwachung, sondern bessere Strukturen und Richtlinien. Der Ausgangspunkt dafür ist Risikobewusstsein.
Risikobewusstsein als erste Verteidigungslinie. Bevor Inventare erstellt und Richtlinien geschrieben werden, braucht es ein gemeinsames Verständnis dafür, warum KI-Governance notwendig ist. Alle Ebenen im Unternehmen, vom Anwender bis zur Geschäftsführung, müssen ein Bewusstsein dafür entwickeln, welche Risiken mit dem Einsatz von KI verbunden sind und wie KI auch von außen als Angriffswerkzeug eingesetzt werden kann. Dieses Bewusstsein ist die Grundlage, auf der alle weiteren Maßnahmen aufbauen, und gleichzeitig die wirksamste Schutzmaßnahme gegen Risiken, die kein technisches System vollständig abfangen kann.
KI-Inventar als Grundlage. Listen Sie alle KI-Systeme auf, die in Ihrem Unternehmen im Einsatz sind. Dazu gehören explizit eingeführte Tools, KI-Funktionen in bestehender Software und privat genutzte KI‑Dienste. Dieses Inventar ist der „Map“-Schritt aus dem NIST-Framework und die Basis für jede weitere Governance-Massnahme.
Nutzungsrichtlinien statt Verbote. Mitarbeitende nutzen KI, weil sie einen Nutzen darin sehen. Eine Nutzungsrichtlinie, die regelt, welche Tools für welche Zwecke zugelassen sind und welche Daten nicht in externe Systeme eingegeben werden dürfen, ist wirksamer als ein pauschales Verbot. [KI-Strategie 2026 – Warum Transformation vor Tools kommt]
Regelmäßige Überprüfung. KI-Governance ist kein einmaliges Projekt. Die KI-Landschaft verändert sich schnell: SaaS-Produkte fügen neue Funktionen hinzu, Mitarbeitende entdecken neue Tools, regulatorische Anforderungen entwickeln sich weiter. Ein quartalsweiser Review der KI-Nutzung und der Governance-Strukturen ist ein pragmatischer Rhythmus.
Was verbindet die drei Teile dieser Serie?
KI-Governance im Mittelstand ist keine Frage einzelner Compliance-Checklisten. Sie ist ein Zusammenspiel aus Führungsverantwortung, strukturiertem Risikomanagement und operativer Sichtbarkeit.
Der erste Teil hat die Führungsperspektive geschärft: Governance ist Chefsache. Der zweite Teil hat die Werkzeuge vorgestellt: NIST als Denkmodell, EU AI Act als regulatorischer Rahmen, ISO 42001 als Standard. Dieser dritte Teil hat den Blick auf die Lücken gerichtet: die KI, die Sie nicht sehen, die KI, die gegen Sie eingesetzt werden kann, und die KI, die autonomer wird.
Die verbindende These: KI-Governance muss nicht perfekt sein. Aber sie muss vorhanden sein. Ein gemeinsames Risikobewusstsein, ein dokumentiertes KI-Inventar, klare Nutzungsrichtlinien, eine benannte verantwortliche Person und regelmäßige Überprüfung. Das ist eine solide Grundlage, die mit der Technologie mitwächst.
Quellen
[1] McKinsey, „Superagency in the workplace: Empowering people to unlock AI’s full potential at work“, Januar 2025. Befragung von 3.613 Mitarbeitenden und 238 C-Level-Führungskräften aus sechs Ländern. URL: https://www.mckinsey.com/capabilities/tech-and-ai/our-insights/superagency-in-the-workplace-empowering-people-to-unlock-ais-full-potential-at-work
[2] EU AI Act (Verordnung (EU) 2024/1689). Deployer-Pflichten gelten ab August 2026. URL: https://artificialintelligenceact.eu/article/3/
[3] Mobley v. Workday, Inc., N.D. Cal. Case No. 23-cv-00770-RFL. Vorläufige Zertifizierung als landesweite Sammelklage am 16. Mai 2025. URL: https://www.courtlistener.com/docket/66831340/mobley-v-workday-inc/
[4] CNN, Financial Times, WEF, 2024. Arup bestätigte den Vorfall im Mai 2024. URL: https://www.weforum.org/stories/2025/01/deepfakes-ai-what-to-know/
[5] MIT Sloan Management Review / BCG, „The Emerging Agentic Enterprise: How Leaders Must Navigate a New Age of AI“, November 2025. Basierend auf 2.102 Befragten aus 21 Branchen und 116 Ländern. URL: https://www.bcg.com/publications/2025/machines-that-manage-themselves
[6] Gartner, Pressemitteilung vom 25. Juni 2025. Basierend auf einer Umfrage unter 3.412 Webinar-Teilnehmern (Januar 2025). URL: https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027
Sie möchten KI in Ihrem Unternehmen einsetzen und haben Fragen zur KI-Implementierung?
Gerne analysieren wir mit Ihnen in einem ersten unverbindlichen Strategiegespräch, wie der Einsatz von KI in Ihrem Unternehmen aussehen könnte und was dabei zu beachten ist.
