Ein Algorithmus, der Bewerbungen vorsortiert, ist etwas anderes als ein Mensch, der am Ende die Einstellung entscheidet, und genau in dieser Lücke steckt die Pflicht zur menschlichen Aufsicht, die die KI-Verordnung jedem Unternehmen mit einem Hochrisiko-System auferlegt. Bei uns, einem Maschinenbau-Zulieferer mit 78 Mitarbeitenden, war das am Anfang keine abstrakte Frage der AI-Act-Compliance, sondern eine sehr konkrete: Wer schaut hin, wie oft, und was passiert, wenn diese Person die KI einfach durchwinkt? Seit ich als interne AI-Act-Beauftragte für unser HR-Management immer wieder genau diese Fragen aus anderen Mittelstandsbetrieben bekomme, hat sich ein fester Kern herauskristallisiert — den ordne ich hier, Frage für Frage, mit sechs Jahren HR-Praxis im Rücken, aber ohne juristischen Anspruch.
Was Artikel 14 von der HR-Abteilung tatsächlich verlangt
Artikel 14 verlangt mehr, als nur gelegentlich auf einen Bildschirm zu schauen. Wer ein Hochrisiko-System einsetzt, muss verstehen können, was es tut, muss es jederzeit unterbrechen oder stoppen können, und muss erkennen, wenn es Menschen systematisch benachteiligt. Betreiber solcher Systeme müssen außerdem die automatisch erzeugten Protokolle mindestens sechs Monate aufbewahren — ein Punkt, der in vielen Zusammenfassungen der Verordnung fehlt, obwohl er bei einer späteren Prüfung genauso zählt wie das Eingreifen selbst. Ob euer Recruiting-Tool oder eure Schichtplanungs-Software überhaupt in diese Kategorie fällt, hängt an der vorherigen Risikoklassifizierung des Systems — ein eigenes Thema für sich, das aber entscheidet, ob Artikel 14 für euch überhaupt greift.
Warum reines Draufschauen nicht reicht
Der Abnick-Reflex ist mir zuerst bei einem Kollegen aus dem Recruiting aufgefallen, der nicht verstand, warum er eine Empfehlung der KI noch einmal manuell begründen sollte, wenn das System doch schon "den besten Kandidaten" markiert hatte. Genau das beschreibt die Fachliteratur als Automation Bias: die menschliche Neigung, automatisierten Vorschlägen auch dann zu vertrauen, wenn der eigene Verstand Zweifel anmeldet. Ich habe lange angenommen, es würde reichen, wenn ich oft genug draufschaue — das war falsch. Draufschauen ohne die Bereitschaft, einen Vorschlag tatsächlich zu kippen, ist keine Aufsicht im Sinne von Artikel 14, sondern nur eine teurere Art des Wegschauens.
Muss ich technisch verstehen, wie die KI entscheidet?
Ja, zumindest so weit, dass ich einer Kandidatin oder einem Bewerber erklären könnte, warum das System zu diesem Ergebnis kam. Wie ich in diese Rolle als interne KI-Beauftragte hineingewachsen bin, habe ich in einem eigenen Bericht beschrieben, wie ich als interne KI-Beauftragte meine Aufgaben nach dem AI Act sortiert habe — an dieser Stelle nur so viel: Ein KI-Kompetenznachweis auf dem Papier ersetzt die praktische Fähigkeit nicht, ein konkretes System im Alltag zu stoppen, wenn es nötig wird.
Als Tobias mir vor Kurzem endlich eine vollständige Liste aller im Haus eingesetzten Tools schickte, saß ich eine ganze Weile nur da und starrte auf den Bildschirm. Mir wurde in diesem Moment zum ersten Mal wirklich klar, wie viele Systeme tatsächlich unter meine Aufsichtspflicht fallen — und wie wenig ich bis dahin über die meisten davon wusste.
Wenn ich widerspreche: Dokumentation und Mitbestimmung
Sobald ich eine KI-Empfehlung überstimme, halte ich das schriftlich fest — kurz, aber nachvollziehbar, denn genau das verlangen die allgemeinen Dokumentationspflichten des AI Acts über die reine Aufsichtspflicht hinaus. Bei uns hat außerdem der Betriebsrat ein Wort mitzureden, sobald ein solches System überhaupt eingeführt wird; Mitbestimmung bei KI-Systemen ist ein eigenes Kapitel, das ich hier nur streife, aber ignorieren lässt es sich in einem Betrieb unserer Größe nicht.
Ein KI-Führerschein ersetzt keine echte Aufsicht
Eine allgemeine Schulungspflicht existiert im AI Act getrennt von der Aufsichtspflicht, auch wenn beide in der Praxis gerne durcheinandergeworfen werden. Bei uns haben wir dafür einen internen KI-Führerschein für Mitarbeiter eingeführt — aber selbst der ersetzt keine echte Aufsichtsentscheidung im Einzelfall, sondern schafft nur die Grundlage dafür.
Bei einer Schulungseinheit hatte ich das einmal falsch herum aufgezogen: keine Inventur vorher, direkt losgelegt. Nach der dritten Frage aus der Runde musste ich abbrechen, weil niemand im Raum — mich eingeschlossen — genau sagen konnte, welches Tool gerade gemeint war. Seitdem steht die Inventur bei mir vor jeder Schulung, nicht danach.
Wer haftet, wenn ich als Aufsichtsperson einen Fehler übersehe?
Diese Frage kommt in jedem zweiten Gespräch mit anderen HR-Verantwortlichen. Die genaue Verantwortungsverteilung zwischen Betreiber und Anbieter ist ein eigenes Rechtsthema, das ich hier bewusst nicht aufdrösle — nur so viel: Sie befreit die Aufsichtsperson im Betrieb nicht von der Pflicht, tatsächlich hinzusehen. Wenn ich diese Frage meiner Freundin Julia Neumann schreibe, die als IT-Rechtsanwältin gelegentlich meine erste Anlaufstelle ist, kommt fast immer dieselbe Antwort zurück: Das kommt drauf an. Für den Alltag heißt das für mich: Ich kann die Aufsicht nicht outsourcen, nur weil im Vertrag mit dem Anbieter viel geregelt ist.
Diskriminierung erkennen, bevor sie zum Muster wird
Menschliche Aufsicht ist die praktische Gegenmaßnahme gegen verzerrte Ergebnisse — aber nur, wenn die aufsichtsführende Person überhaupt weiß, wonach sie suchen soll. Bei uns prüfen wir deshalb stichprobenartig auch die Profile, die die KI aussortiert hat, nicht nur die, die sie vorne einsortiert — denn ein Muster zeigt sich selten in einer einzelnen Entscheidung, sondern erst über mehrere hinweg.
Kenne ich überhaupt alle Tools, die ich beaufsichtigen müsste?
Das war lange meine größte Lücke: Ohne eine echte Inventur aller im Haus genutzten Tools — Stichwort Schatten-KI — weiß niemand, was überhaupt unter die Aufsichtspflicht fällt, weil einzelne Abteilungen still und leise eigene Anwendungen einführen. Manche Anwendungen fallen ohnehin komplett raus, weil der AI Act sie schlicht verbietet, unabhängig davon, wie gut die Aufsicht sonst organisiert ist.
Ein Leser aus Mönchengladbach, Uwe Hoffmann, Geschäftsführer eines 30-Personen-Betriebs, hat mir mal geschrieben, dass er diese Aufsicht komplett allein stemmt, weil sonst niemand im Haus dafür zuständig ist. Genau solche Fälle zeigen, warum die Frage, wer diese Rolle überhaupt ausfüllt, in einem kleinen Betrieb nicht abstrakt bleibt.
Kennzeichnung, Datenqualität und die Grenzen der Aufsicht
Kennzeichnungspflichten für KI-generierte Inhalte sind ein eigenes Kapitel und betreffen etwas anderes als die Frage, ob ich im Einzelfall eingreifen kann — die beiden werden in Gesprächen ständig vermischt. Genauso vorgelagert ist die Daten-Governance: Wie sauber die Eingabedaten gepflegt werden, entscheidet mit darüber, ob meine Aufsichtsarbeit überhaupt etwas bewirkt, oder ob ich am Ende nur schlechte Daten mit gutem Gewissen durchwinke.
Am Ende bleibt menschliche Aufsicht für mich kein Häkchen auf einer Compliance-Liste, sondern eine tägliche Entscheidung: dranbleiben, nachfragen, notfalls stoppen. Das ersetzt keinen Fachanwalt für IT-Recht und keine externe Datenschutzbeauftragte — aber es ist die Arbeit, die niemand sonst für uns im Haus übernimmt.