Konform Tagebuch

Inventur des Grauens: Wie ich 42 Schatten-KIs in unserer Fertigung sortiert habe (ohne Jura-Studium)

Aktualisiert

Tobias schiebt mir die ausgefüllte Audit-Liste über den Tisch, ich werfe einen Blick auf den zweiten Bildschirm daneben, und für eine Sekunde ergibt die Zahl in der letzten Zeile keinen Sinn. 42. Nicht die drei offiziell genehmigten KI-Anwendungen, die in unserer Mittelstandsfertigung bislang als vollständige Liste galten, sondern zweiundvierzig einzelne Tools, verteilt über Werkstatt, Vertrieb und Verwaltung. Compliance war für mich bis vor Kurzem ein Wort aus Vorträgen, kein Teil meines Alltags im HR-Management – seit ich als AI-Act-Beauftragte benannt wurde, ist daraus mein wichtigstes Projekt geworden. Draußen im Flur zieht der Drucker mit einem kurzen Surren das nächste Blatt ein, während ich auf den Bildschirm starre und überlege, wo ich mit der Einstufung dieser Liste überhaupt anfangen soll.

Warum die Kanzlei-Anfrage ins Leere lief

Bevor Tobias mir diese Liste auf den Tisch gelegt hat, haben wir es anders versucht. Die Geschäftsführung wollte ursprünglich, dass sich eine externe Kanzlei um eine verständliche Einschätzung des AI Acts für unseren Betrieb kümmert. Das Angebot, das zurückkam, lag weit über dem, was sich für ein internes Projekt dieser Größe rechtfertigen ließ, und das Dokument, das wir stattdessen zu einem deutlich kleineren Umfang bekommen hätten, blieb so allgemein, dass in der Fertigung niemand etwas damit hätte anfangen können. Kein Wort zu unseren tatsächlich genutzten Tools, nur Verweise auf Paragrafen und Randnummern. Seitdem mache ich die Einstufung selbst – ohne Jura-Studium, aber mit einer Methode, die wenigstens auf das reagiert, was bei uns wirklich läuft.

Eine Schatten-KI-Inventur ist im Kern nichts anderes als eine ehrliche Bestandsaufnahme: welche KI-gestützten Tools benutzen Menschen in diesem Unternehmen tatsächlich, unabhängig davon, ob IT oder Einkauf davon wissen. Der Unterschied zu einer normalen Software-Inventur ist, dass ein Großteil dieser Tools nie über einen Beschaffungsprozess lief. Jemand hat eine Browser-Erweiterung installiert, eine App aufs Diensthandy geladen oder ein kostenloses Sprachmodell für eine einzelne Aufgabe ausprobiert, und dabei ist es geblieben. Für den AI Act zählt das trotzdem: Wer ein System betreibt, muss es kennen, bevor er es einstufen kann, und genau da hakt es in den meisten mittelständischen Betrieben, die ich kenne. Man kann kein Verzeichnis der KI-Anwendungsfälle führen, das man für das Gesetz über künstliche Intelligenz vorzeigen könnte, wenn man nicht einmal weiß, was im eigenen Haus läuft.

So kommen die im Mittelstand wirklich genutzten Tools ans Licht

Der einzige Weg, der bei uns funktioniert hat, war eine anonyme Umfrage an alle Kolleginnen und Kollegen, bewusst nicht "Kontrolle" genannt, sondern "Produktivitäts-Check". Die Frage war simpel: Was nutzt ihr wirklich, um eure Arbeit zu erledigen, und niemand bekommt dafür Ärger. Genau diese Zusage hat den Unterschied gemacht. Der Techniker, der seine Wartungsnotizen längst nur noch spricht statt tippt, hat mir das erst danach erzählt, nicht auf Nachfrage, sondern weil er wissen wollte, ob das jetzt verboten wird.

KI-Tool im Arbeitsalltag: Techniker nutzt Spracherkennung für Wartungsprotokolle – Beispiel für Schatten-KI im HR-Management-Alltag

Erwartet hatte ich eine Handvoll Rückmeldungen. Am Ende saß ich vor mehr als vierzig zusätzlichen Tools. Zusammen mit den drei offiziell bekannten kam ich auf die 42, die jetzt Tobias' Liste ausmachen. Doppelt so viele, wie ich für realistisch gehalten hätte, und das bei einem Betrieb mit 78 Mitarbeitenden, in dem ich dachte, ich hätte einen einigermaßen guten Überblick. Von KI-gestützten Formel-Generatoren für Excel bis zu Bild-Tools, mit denen Montage-Anleitungen aufgehübscht werden. Die Bandbreite hat mich mehr überrascht als die reine Zahl.

Whiteboard mit bunten Klebezetteln: Ergebnis der anonymen Umfrage zur Schatten-KI-Inventur im Mittelstandsbetrieb

Wer diese Umfrage plant, sollte sich auf genau dieses Verhältnis einstellen: Die Zahl der Tools, die offiziell bekannt sind, sagt fast nichts über die Zahl der Tools, die tatsächlich laufen. Ich würde grob mit dem Doppelten rechnen und die Auswertungszeit entsprechend einplanen, statt wie ich anfangs mit ein paar Stunden.

Welche Fragen über Risiko und Recht entscheiden

Bei jedem der 42 Einträge stelle ich mittlerweile dieselben Fragen, bevor ich überhaupt an Paragrafen denke: Geht es um Recruiting, um Sicherheit, um biometrische Daten? Wird mit dem Ergebnis über einen Menschen entschieden, oder unterstützt es nur eine Entscheidung, die am Ende ohnehin jemand trifft? Genau dieser zweite Punkt, die menschliche Aufsicht über die letzte Entscheidung, ist für mich inzwischen die wichtigste Leitplanke bei jeder Einstufung. Wie man diese Fragen systematisch in Risikoklassen übersetzt, habe ich an anderer Stelle ausführlicher beschrieben, falls du gerade vor derselben Tabelle sitzt wie ich damals: wie man KI-Systeme nach Risikoklassen im Mittelstand richtig einteilt.

Zwei der 42 Tools fielen bei uns unter Hochrisiko. Eines davon war ein Tool, das ein Kollege im Recruiting testen wollte, um Bewerbungen vorzusortieren – bei dem stellte sich sofort die Frage, ob es bestimmte Gruppen von Bewerbenden systematisch benachteiligt, ohne dass es irgendjemandem aufgefallen wäre. Das andere war eine biometrische Zugangskontrolle, die probeweise am Lager lief. Bevor ich Tobias die fertige Liste gegeben habe, habe ich einen ganzen Abend investiert, um zu verstehen, warum diese verbotenen KI-Anwendungen im EU AI Act überhaupt so streng geregelt sind – nicht weil ich es für die Liste unbedingt brauchte, sondern weil ich Tobias sonst nicht hätte erklären können, warum ausgerechnet diese beiden Tools anders behandelt werden als der Rest.

Bei den Text- und Bild-Tools kam zusätzlich die Frage auf, ob wir kennzeichnen müssen, dass ein Teil der Montage-Anleitungen KI-gestützt entstanden ist, und bei fast jedem SaaS-Tool die Frage, ob wir als Firma nur Nutzerin sind oder durch eigene Anpassungen selbst in eine Anbieterrolle rutschen. Für ein Tool wollte ich das genauer wissen und habe den Anbieter direkt nach einer Auftragsverarbeitungs- und Datenschutzübersicht gefragt. Die Antwort blieb erst ganz aus, dann kam ein Standardformular ohne konkrete Angaben zum Serverstandort, dann nichts mehr. Seitdem gilt bei mir: Wenn ein Anbieter diese Fragen nicht innerhalb weniger Wochen sauber beantworten kann, stufe ich das Tool vorsichtshalber höher ein, ganz unabhängig davon, wie harmlos die Funktion aussieht.

Yogamatte neben dem ausgedruckten AI-Act-Verordnungstext: Ausgleich zur Compliance-Arbeit als AI-Act-Beauftragte

Stefan Roth, ein HR-Kollege bei einem anderen Maschinenbau-Zulieferer, mit dem ich seit einem IHK-Abend zum AI Act in Kontakt bin, hat bei genau dieser Stelle sofort nachgehakt: "Und wenn der Anbieter nicht antwortet? Wer haftet dann, wenn doch was passiert?" Die ehrliche Antwort ist, dass ich das für die meisten unserer Tools noch nicht abschließend geklärt habe und dass die Frage, wer Anbieterin und wer Betreiberin ist, in vielen Fällen komplizierter ist, als die Funktion beim ersten Ausprobieren vermuten lässt. Was mich an solchen Tagen erdet, ist eine Stunde Yoga zwischendurch. Kein Geheimrezept, nur eine Pause, in der der dicke Verordnungstext auf der Fensterbank für sechzig Minuten liegen bleibt, gelb und orange von Textmarker inzwischen fast bunter als weiß.

Trainer und Betriebsrat: zwei Stellen, an denen es zusätzlich hakte

Für die Schulung der Kolleginnen und Kollegen, die mit den beiden Hochrisiko-Tools arbeiten sollten, haben wir zunächst einen externen Anbieter gebucht. Die Unterlagen, die ankamen, bezogen sich noch auf eine frühere Fassung der Regelungen und nannten Fristen, die zu diesem Zeitpunkt schon überholt waren. Aufgefallen ist mir das erst, als eine Kollegin aus der Fertigung nachfragte, warum ihre Unterlagen etwas anderes sagten als das, was ich ihr erklärt hatte. Seitdem prüfe ich bei jedem externen Trainingsanbieter zuerst das Datum der letzten Aktualisierung, bevor ich mir die Inhalte überhaupt ansehe. Ob am Ende ein Zertifikat über KI-Kompetenz aus so einer Schulung wirklich etwas bringt oder vor allem beruhigt, ist für mich persönlich noch nicht entschieden. Dass Mitarbeitende vor dem Einsatz eines Hochrisiko-Tools überhaupt geschult werden müssen, steht dagegen außer Frage.

Bei der biometrischen Zugangskontrolle am Lager kam eine weitere Stelle dazu, die ich unterschätzt hatte: die Mitbestimmung. Dass der Betriebsrat bei einem Tool, das Mitarbeitende erfasst und auswertet, ein gewichtiges Wörtchen mitzureden hat, war mir in dieser Deutlichkeit vorher nicht klar. Als ich die Testphase des Tools ohne vorherige Rücksprache in meine Liste eingetragen und Tobias mitgeteilt habe, dass wir es wohl weiterlaufen lassen, kam prompt ein Einwand aus dem Betriebsrat, verbunden mit der berechtigten Frage, warum er davon erst aus einer Excel-Zeile erfährt. Die Testphase wurde daraufhin ausgesetzt, bis eine ordentliche Vereinbarung stand. Das war am Ende kein Rückschlag, sondern genau die Kontrolle, die ein solches Verfahren eigentlich braucht. Nur hätte ich sie mir lieber vorher eingeplant als hinterher erklärt.

Was aus der Tabelle ein Pflichtdokument macht

Der AI Act fühlt sich in solchen Momenten an wie eine Fortsetzung der Datenschutz-Grundverordnung: bürokratisch, manchmal zäh, aber am Ende ein Anlass, intern aufzuräumen, was ohnehin überfällig war. Aus der Liste, die anfangs nur nach einer stinknormalen Excel-Tabelle aussah, ist inzwischen unser wichtigstes Dokument für den AI Act geworden. Sie beantwortet zuerst nur eine Frage (welche Tools überhaupt laufen), aber genau diese Frage ist die Voraussetzung für alles Weitere. Erst wenn eine Zeile in der Tabelle steht, kann ich mir überlegen, mit welchen Daten ein Tool eigentlich gefüttert werden darf und mit welchen nicht; das ist noch einmal eine eigene Baustelle, die ich getrennt von der reinen Inventur angehe. Für den AI Act zählt die fertige Tabelle schon jetzt als erstes greifbares Pflichtdokument, auch wenn sie sich für mich beim Ausfüllen nie danach angefühlt hat, sondern nach stumpfer Fleißarbeit am Schreibtisch.

Eine Leserin, Laura Schmidt, HR-Leiterin bei einem Sanitärunternehmen in Wuppertal, hat mir nach einem früheren Beitrag zu genau diesem Thema geschrieben, dass sie vor derselben Wand steht. Sie geht dabei methodischer vor, als ich es am Anfang getan habe, und dokumentiert jeden einzelnen Schritt, bevor sie zur nächsten Zeile springt – eine Disziplin, die ich mir inzwischen abschauen will. Parallel dazu versuchen wir gerade, die KI-Kompetenz im Mittelstand ohne IT-Experten zu fördern, damit möglichst wenige Tools überhaupt erst im Verborgenen laufen müssen.

Was am Ende zählt, ist nicht juristische Wasserdichtigkeit, die von einer HR-Managerin ohne Jura-Studium ohnehin niemand erwarten kann. Erwartet wird eine ehrliche, nachvollziehbare Liste – und die entsteht nicht am Schreibtisch einer Kanzlei, sondern nur, wenn man seine eigenen Leute wirklich fragt, was sie im Alltag benutzen.

Verwandte Artikel