Viele Anbieter können nicht auf Anhieb sagen, in welche Risikoklasse ihr eigenes KI-Produkt fällt. Genau diese Frage stelle ich inzwischen bei jedem Software-Einkauf, seit ich neben meiner Arbeit im Personalbereich auch als KI-Beauftragte für unseren Maschinenbau-Zulieferer aus Düsseldorf gelte. Für ein kleines oder mittleres Unternehmen ist AI-Act-Compliance im Software-Einkauf kein Nebenprojekt, sondern inzwischen fester Teil jedes Anbietergesprächs.
Kurzer Hinweis vorweg: Ich bin keine Juristin, sondern HR-Managerin, und was hier folgt, ist keine Rechtsberatung. Auf diesem Blog verlinke ich gelegentlich Kurse, die ich selbst für unsere interne Schulung genutzt habe — wenn du darüber etwas buchst, bekomme ich eine kleine Provision, ohne Mehrkosten für dich.
Mein erster Reflex war, in LinkedIn-Gruppen nach fertigen KI-Richtlinien für Betriebe unserer Größe zu suchen. Gefunden habe ich dort vor allem Werbeposts großer Beratungsfirmen, die genau die externe Hilfe verkaufen wollten, die wir uns nicht leisten wollten. Also blieb nur, mir die Fragen für den Einkauf selbst zusammenzustellen — und genau die will ich hier teilen.
Uwe Hoffmann, Geschäftsführer eines 30-Personen-Betriebs in Mönchengladbach, hat mir nach einem früheren Beitrag geschrieben, dass er sich weniger Hintergrunderklärung wünscht und eher eine fertige Liste mit Fragen für Anbietergespräche. Diese Liste hier ist der Versuch, genau das zu liefern.
Ob unsere neue Software in eine Risikoklasse fällt, ist die erste Frage, keine Formalität
Sobald eine neue Anfrage aus dem Einkauf bei mir landet, geht der ausgedruckte Verordnungstext von der Fensterbank wieder auf den Tisch — inzwischen mehr Textmarker-Gelb und -Orange als weißes Papier. Wie man ein Tool im Detail einer Risikoklasse zuordnet, ist ein eigenes Thema, das ich hier bewusst nicht aufrolle. Für den Einkauf reicht mir zunächst eine einfache Antwort: Trifft das System Entscheidungen über Menschen, etwa bei Bewerbungen oder Leistungsbeurteilung, oder unterstützt es nur einen Prozess, den am Ende ohnehin jemand aus Fleisch und Blut entscheidet? Diese Unterscheidung allein sortiert schon einen Großteil der Anfragen vor, bevor ich überhaupt zum Telefon greife.
Die Grenze zwischen Anbieter und Betreiber entscheidet, was ich verlangen kann
Am Anfang dachte ich, die Verantwortung liege komplett beim Anbieter, sobald der ein CE-Kennzeichen vorweisen kann — das war falsch. Ein Teil der Pflichten bleibt bei uns als Betreiber hängen, egal wie gut die Software zertifiziert ist. Beim Software-Einkauf entscheidet genau diese Grenze zwischen Anbieter und Betreiber, welche Nachweise ich vom Hersteller verlangen kann und welche Aufgaben trotzdem bei uns liegen bleiben. Ohne eine gültige Konformitätserklärung und ein sichtbares CE-Kennzeichen verhandle ich inzwischen gar nicht erst weiter, was genau dahintersteckt, kann man dort nachlesen. Fast wichtiger als die Funktionsliste ist für mich mittlerweile die Frage, wohin unsere Daten fließen und wer sie zum Training der nächsten Modellversion weiterverwendet — nicht, was das Tool alles kann.
Gemeinsame Sprache mit der IT finden
Tobias aus der IT und ich haben einmal versucht, uns gegenseitig den Unterschied zwischen einer normalen KI-Anwendung und einem Hochrisiko-System zu erklären, und am Ende starrten wir beide ratlos auf denselben Bildschirm. Neben mir stand die graue Thermoskanne, der Kaffee darin längst kalt, seit der Mittagspause vergessen. Also haben wir gemeinsam ein paar Grundlagenmodule aus dem KI-Führerschein durchgearbeitet, allein um dieselbe Sprache zu sprechen, wenn es um Trainingsdaten oder Bias-Kontrolle geht. Begriffe, die mir dabei fremd vorkommen, schlage ich seitdem zusätzlich im EU AI Act Glossar nach, bevor ich in ein Anbietergespräch gehe.
Welche Unterlagen verlange ich vor der Vertragsunterschrift?
Ein Teil der Dokumentation muss vom Anbieter selbst kommen, und welche Unterlagen ich vor der Vertragsunterschrift einfordere, hat sich seit dem ersten Einkauf komplett verändert. Julia, eine Freundin aus dem Studium, die heute als IT-Rechtsanwältin arbeitet, beantwortet ungenaue Fragen grundsätzlich nicht — das hat meine Liste an den Anbieter geschärft, auch wenn sie jedes Mal betont, dass ihre Einschätzung keine Rechtsberatung ersetzt. Ob und wie KI-generierte Inhalte überhaupt gekennzeichnet werden, gehört inzwischen zu meinen Standardfragen; was die Kennzeichnungspflicht für KI-Inhalte im Detail bedeutet, habe ich an anderer Stelle ausführlicher aufgeschrieben.
Schulung und menschliche Aufsicht bleiben unsere Aufgabe
Dass unsere Mitarbeitenden geschult werden müssen, bevor sie mit einem Hochrisiko-Tool arbeiten, ändert sich nicht dadurch, dass die Software von außen eingekauft wird. Wie weit menschliche Aufsicht im Detail reicht, ist wieder ein eigenes Thema; beim Einkauf frage ich nur, ob der Anbieter das Konzept überhaupt schon kennt, bevor ich weiterlese. Wie wir Transparenz im Alltag umsetzen und mit den Kolleginnen darüber sprechen, habe ich in meinem Beitrag zu den Transparenzregeln im Büro beschrieben.
Vor dem Einkauf die Schatten-KI zählen
Bevor überhaupt eine neue Anfrage auf meinem Tisch landet, will ich wissen, welche KI-Tools in den Abteilungen längst inoffiziell im Einsatz sind. Sonst prüfe ich am Ende die Compliance für ein einziges neues Tool, während drei andere unter dem Radar weiterlaufen. Tobias hat davon meistens die bessere Übersicht, weil bei ihm zuerst die Supportanfragen landen, wenn irgendwo ein Browser-Plugin oder ein kostenloser Chat-Assistent auftaucht. Diese Inventur, so mühsam sie ist, ist inzwischen der erste Schritt vor jedem neuen Einkaufsgespräch.
Gibt es Anwendungen, die von vornherein tabu sind?
Manche Anwendungen frage ich beim Anbieter gar nicht erst im Detail ab, weil sie ohnehin zu den verbotenen Praktiken der Verordnung zählen und für uns nie infrage kämen. Diskriminierung durch den Algorithmus lässt sich beim Einkauf dagegen nie vollständig ausschließen, aber die Frage danach gehört für mich inzwischen zum Pflichtprogramm jedes Gesprächs, genauso wie die Frage nach den Trainingsdaten, mit denen ein Modell überhaupt gefüttert wurde.
Ein Zertifikat ersetzt keine eigene Prüfung
Ein KI-Zertifikat als Nachweis der eigenen Kompetenz – das ist eine andere Diskussion; beim Einkauf zählt für mich erstmal, ob der Anbieter uns Schulungsunterlagen mitliefert, die über ein Hochglanz-PDF hinausgehen. In den sechs Jahren, die ich inzwischen im Personalbereich hier arbeite, hat mir kein einzelnes Zertifikat so viel gebracht wie einfach zu üben, die richtigen Fragen zu stellen. Trotzdem hat der KI-Führerschein bei uns als gemeinsame Grundlage funktioniert, weil Tobias und ich danach wenigstens dieselbe Sprache gesprochen haben, wenn der Anbieter mit Fachbegriffen um sich wirft.
Was mache ich, wenn der Betriebsrat mitreden will?
Greift ein Tool tief in Personalentscheidungen ein, kommt früher oder später die Mitbestimmung ins Spiel, und je später ich den Betriebsrat einbinde, desto zäher wird das Gespräch. Wie wir das bei uns geregelt haben, habe ich in einem eigenen Beitrag über den Betriebsrat bei KI-Regeln beschrieben. Uwe Hoffmann aus Mönchengladbach hatte in seinem Betrieb noch nicht einmal eine eigene HR-Stelle, als er mir schrieb — für ihn war schon die Frage, wer überhaupt zuständig ist, der größere Brocken als die Mitbestimmung selbst.
Meine Kurzformel für den nächsten Software-Einkauf
Am Ende läuft es für mich auf eine kurze Formel hinaus: Risikoklasse grob einschätzen, Nachweise vom Anbieter einfordern, eigene Pflichten trotzdem im Blick behalten, Kolleginnen rechtzeitig einbeziehen. Mittwochabends beim Yoga ist das für mich mittlerweile der ehrlichste Test, ob eine Woche im Griff war: Wenn beim ersten Sonnengruß kein einziger Fachbegriff mehr durch meinen Kopf geistert, war der Einkauf sauber vorbereitet. Wenn du gerade selbst vor deiner ersten Anbieterliste sitzt, fang mit den Fragen an, die am wenigsten juristisches Vorwissen brauchen, der Rest kommt beim nächsten Gespräch von allein.