KI-Sicherheit in der öffentlichen Verwaltung
Was KI-Sicherheit im Behördenbetrieb bedeutet
Nach einer Bitkom-Erhebung zur Schatten-KI vermuten 17 Prozent der Unternehmen ab 20 Beschäftigten eine private KI-Nutzung, ohne sie belegen zu können. Nur 23 Prozent haben dafür überhaupt Regeln aufgestellt.
KI-Sicherheit bezeichnet den Schutz von KI-Systemen, ihrer Trainings- und Eingabedaten und ihrer Anbindung an andere Anwendungen vor Manipulation, unbefugtem Zugriff und Datenabfluss, zusammen mit dem Nachweis dieses Schutzes gegenüber Aufsicht und Beschaffung. Gemeint ist die Absicherung eingesetzter Systeme im Betrieb, nicht die Forschung an übergeordneten Zielen künstlicher Intelligenz.
Drei Felder, die regelmäßig verwechselt werden
Das BSI unterscheidet drei Felder, die im Alltag durcheinandergehen. IT-Sicherheit für KI schützt das System selbst vor Angriffen. IT-Sicherheit durch KI nutzt künstliche Intelligenz als Werkzeug der Abwehr, etwa in der Angriffserkennung. Angriffe durch KI beschreiben die Gegenseite, die mit denselben Mitteln arbeitet.
Dieser Text behandelt das erste Feld. Die Verwechslung ist teuer, weil sie die falsche Beschaffung auslöst. Ein Erkennungswerkzeug schützt kein Sprachmodell, und ein abgesichertes Sprachmodell erkennt keinen Angriff auf das Netzwerk. Die Zuständigkeit liegt in allen drei Feldern beim IT-Sicherheitsmanagement, die nötigen Kontrollen unterscheiden sich aber.
Was ist Schatten-KI und woran fällt sie auf?
Schatten-KI meint die Nutzung von KI-Diensten, die nie freigegeben wurden. Sie entsteht selten aus Böswilligkeit, sondern aus einem Zeitproblem. Ein Vermerk soll am selben Tag fertig werden, und der Browser ist schneller als das Freigabeverfahren.
Für die KI-Sicherheit ist das ein doppelter Befund. Es fehlt die Übersicht, welche Dienste im Einsatz sind, und damit fehlt die Grundlage für jede Regel. Ohne Liste der genutzten Dienste ist jede KI-Richtlinie im Unternehmen nur behauptet. Welcher Nachweis am Ende zählt, hängt davon ab, wer prüft, und wird deshalb erst bei den Nachweisen beantwortet.
Welche Daten nach außen gehen
Der Schaden hängt daran, was in die Eingabemaske gerät. Ein Textentwurf ist unkritisch, ein Vorgang mit Personenbezug nicht. Für eine Bestandsaufnahme sind vor allem diese Datenarten heikel:
- Entwürfe interner Schreiben und Vermerke
- Daten aus laufenden Verfahren mit Personenbezug
- Personal- und Bewerberdaten
- Auszüge aus Verträgen und Vergabeunterlagen
Ein freigegebener Dienst mit geklärtem Verarbeitungsort nimmt den Anreiz zur Schatten-KI, weshalb die KI-Integration für die öffentliche Verwaltung und sichere KI dieselbe Aufgabe sind.
Welche Sicherheitslücken KI-Systeme treffen
Ein KI-System bringt Angriffsflächen mit, die eine klassische Anwendung nicht hat. Sein Verhalten stammt aus Daten und nicht aus Programmcode, weshalb es weder einen Patchstand noch eine Schwachstellennummer gibt. Die üblichen KI-Sicherheitsrisiken lassen sich drei Angriffspunkten zuordnen, dem Modell, den Daten und der Anbindung.
Manipulierte Trainingsdaten und Eingaben
Beim Data Poisoning gelangen manipulierte Beispiele in die Trainingsdaten, sodass das Modell ein gewünschtes Fehlverhalten lernt. Adversarial Attacks verändern die Eingabe so, dass die Ausgabe kippt, ohne dass ein Mensch den Unterschied bemerkt. Vier Angriffsklassen sind dabei zu unterscheiden:
- Data Poisoning über manipulierte Trainings- oder Referenzdaten
- Adversarial Attacks auf die Eingabe eines trainierten Modells
- Evasion-Angriffe, die vorhandene Schutzmechanismen umgehen
- Datenexfiltration über die Ausgabe des Modells
Prompt Injection trifft jede Anwendung mit freier Texteingabe und ist deshalb der häufigste dieser Fälle. Gegen Prompt Injection hilft kein Update, weil die Ursache in der Bauweise liegt und nicht in einem Fehler.
Wenn ein Angriff keine Lücke braucht
KI-Sicherheitslücken nutzen keinen Programmierfehler aus, sondern die vorgesehene Funktion, nämlich die Verarbeitung von Text und Daten. Ein Schwachstellenscanner findet dabei nichts, weil formal nichts kaputt ist. Der Zyklus aus Erkennen, Bewerten und Beheben, den das Schwachstellenmanagement vorgibt, greift hier nur eingeschränkt, und die Sicherheit von KI-Anwendungen entsteht in Entwicklung und Abnahme.
Schatten-KI als offene Flanke im Betrieb
Die größten KI-Sicherheitsrisiken sind selten technisch. Ein Dienst, der nicht bekannt ist, lässt sich nicht absichern und im Vorfall nicht abschalten.
KI-Sicherheit beginnt deshalb mit einer Bestandsaufnahme, nicht mit einem Werkzeug. Sie beantwortet, welche Dienste im Einsatz sind, wer sie nutzt und welche Daten dabei verarbeitet werden. Erst danach lässt sich entscheiden, was freigegeben, ersetzt oder gesperrt wird.
Was sichere KI von klassischer IT unterscheidet
Ein vorhandenes Sicherheitsmanagement bleibt die richtige Grundlage, es kennt aber die neuen Schutzobjekte nicht. Vertraulichkeit, Integrität und Verfügbarkeit gelten weiter, nur hängen sie plötzlich an einem Modell, an Trainingsdaten und an einer Eingabemaske. Sichere KI verlangt keine neue Organisation, sondern drei zusätzliche Schutzobjekte in der bestehenden.
Modell, Trainingsdaten und Prompt als Schutzobjekte
Das Modell ist ein Vermögenswert und ein Angriffsziel zugleich. Es lässt sich auslesen, nachbilden und in seinem Verhalten verschieben. Die Trainings- und Referenzdaten bestimmen, was das System überhaupt sagen kann, weshalb ihre Herkunft und Qualität ein eigener Prüfpunkt sind. Das BSI hat dafür zehn Qualitätskriterien für Trainingsdaten veröffentlicht.
Der Prompt ist die Stelle, an der Betreibervorgabe und fremde Eingabe zusammenlaufen. Ein Rollenmodell für Menschen greift dort nicht, weil nicht eine Person handelt, sondern ein Dienst mit eigenen Rechten. Genau diese Rechte schneidet ein Rollenmodell für Individualsoftware so zu, dass ein übernommener Prompt wenig ausrichten kann.
Protokollierung für Software, die selbst handelt
Sobald eine KI-Anwendung Aktionen auslöst, also Daten abruft, Dokumente schreibt oder Vorgänge anlegt, wird die Protokollierung zum einzigen Weg, den Ablauf später zu rekonstruieren. Das Ergebnis allein genügt dafür nicht. Diese Angaben gehören in den Protokolleintrag:
- die Eingabe, die den Vorgang ausgelöst hat
- die Datenquellen, auf die der Dienst zugegriffen hat
- die ausgelöste Aktion samt betroffenem Datensatz
- Zeitpunkt, Nutzerkennung und verwendetes Modell
- die Antwort des Modells in ausgelieferter Form
Diese Ereignisse gehören in dieselbe Auswertung wie die übrigen Systeme, sonst entsteht eine zweite, unbeachtete Protokollwelt. Genau dafür ist eine SIEM-Anbindung gebaut.
KI-Sicherheit prüfen und im Auftrag festschreiben
Am Ende steht die Frage, wie sich KI-Sicherheit belegen lässt. Eine Zusicherung des Anbieters genügt dafür nicht, weil sie nichts über den konkreten Einsatzfall sagt. Prüfbar wird die Sicherheit von KI-Systemen erst, wenn Eigenschaften vereinbart sind, die sich in einer Abnahme nachstellen lassen. Genau das ist der harte Teil der KI-Governance.
Welche Nachweise am Ende akzeptiert werden
Für die Bundesverwaltung hat das BSI einen Kriterienkatalog zur Integration extern bereitgestellter generativer KI-Modelle vorgelegt, der ein Mindestsicherheitsniveau beschreibt. Auf Organisationsebene setzt die Norm ISO/IEC 42001 den Rahmen für ein Managementsystem für künstliche Intelligenz. Beide sind Prüfmaßstäbe für sichere KI und keine Siegel, und eine Zertifizierung nach BSI-Grundschutz gibt es in dieser Form nicht.
Für Cloud-Dienste kommt AIC4 hinzu, und mit der Prüfarchitektur A5 arbeitet das BSI seit Juli 2026 an einer Attestierung durch Dritte. Der Rahmen ist damit noch nicht abgeschlossen, weshalb ein KI-Audit heute Eigenschaften prüft und kein Zertifikat abhakt. Artikel 15 der KI-Verordnung nennt die Richtung, nämlich Genauigkeit, Robustheit und Cybersicherheit.
Wie lässt sich KI sicher nutzen statt verbieten?
Ein Verbot verlagert das Problem nur in den privaten Browser. Tragfähig ist der umgekehrte Weg, also ein freigegebener Dienst und eine Leistungsbeschreibung, die Sicherheit als prüfbare Eigenschaft verlangt. Diese Fragen machen KI-Sicherheit prüfbar:
❓ Welche Rechte hat der Dienst auf welche Datenquellen?
❓ Welche Ereignisse werden protokolliert und wohin gemeldet?
❓ Wie wird ein KI-Sicherheitsvorfall erkannt und eskaliert?
❓ Welche Testfälle belegen die Abwehr in der Abnahme?
❓ Wo werden Eingaben verarbeitet und wie lange gespeichert?
TenMedia entwickelt und betreibt KI-Anwendungen für Behörden und Unternehmen und legt Rechtebegrenzung, Protokollierung und Abnahmekriterien fest, die ein KI-Audit später prüfen kann. Ein Beispiel dafür ist die Plattform für einen KI-Assistenten, bei der Betrieb und Rechtevergabe von Anfang an zum Auftrag gehörten. So lässt sich KI-Sicherheit stärken und an Testfällen belegen, statt sie nur zuzusichern.
