Mobile-Menu

Künstliche Intelligenz außer Kontrolle? KI-Sicherheit: Warum Europa regulatorisch nicht am Anfang steht

Ein Gastbeitrag von Johannes M. Holz 7 min Lesedauer

Anbieter zum Thema

Rödl Rechtsanwaltsgesellschaft Steuerberatungsges. mbH
Packsize

Warnungen vor außer Kontrolle geratener KI schrecken die Welt auf. Doch bei der KI-Sicherheit steht Europa nicht am Anfang: Der AI Act regelt genau diese Risiken. Die Frage ist nur, ob es auch durchgesetzt wird.

(Bild: © Hasibul/stock.adobe.com)
(Bild: © Hasibul/stock.adobe.com)

EXECUTIVE SUMMARY

Das Problem: Autonome KI-Agenten mit Zugriff auf Unternehmenssysteme schaffen neue Cybersecurity- und Missbrauchsrisiken, von Cyberangriffen bis zu Kontrollverlust-Szenarien.

Die Kosten: Wer die systemischen Risiken ignoriert, riskiert nicht nur Sicherheitsvorfälle, sondern auch Bußgelder nach dem EU AI Act.

Der Hebel: Der AI Act regelt genau diese Risiken bereits – mit Pflichten zu Modelltests, Risikoanalysen und Incident Reporting. Kein regulatorisches Neuland, sondern geltendes Recht.

Das Risiko: Wer nicht prüft, welche Rolle das eigene Unternehmen im AI Act einnimmt und welche Kontrollen für KI-Agenten gelten, verschenkt Schutz – und riskiert Haftung. Jeden Tag.

Die jüngsten Warnungen führender KI-Unternehmen haben die Debatte über die Sicherheit besonders leistungsfähiger KI-Systeme deutlich verschärft. Doch wie real sind die beschriebenen Bedrohungsszenarien? Aus rechtlicher Sicht lohnt sich eine nüchterne Betrachtung: Europa verfügt bereits über ein Regelwerk für gerade diese Risiken. Die entscheidenden Fragen liegen deshalb weniger im Entwurf neuer Vorschriften als in ihrer praktischen Durchsetzung – und in der internationalen Koordination.

Die Warnungen klingen dramatisch. Führende der KI-Industrie diskutieren inzwischen offen darüber, ob die Entwicklung besonders leistungsfähiger Modelle verlangsamt werden müsse. Im Raum stehen Szenarien autonom handelnder KI-Agenten, die Sicherheitsmechanismen überwinden, in fremde IT-Systeme eindringen oder für Cyberangriffe, Überwachung oder sogar die Entwicklung biologischer oder militärischer Fähigkeiten eingesetzt werden können.

Aus europäisch-rechtlicher Perspektive besteht kein vollständiges regulatorisches Vakuum. Ein erheblicher Teil dessen, was derzeit öffentlich als notwendige Reaktion auf neue Risiken diskutiert wird – Modelltests, Risikoanalysen, Sicherheitsmaßnahmen, Incident Reporting und externe Aufsicht –, ist im AI Act bereits angelegt.

Johannes M. Holz, LL.M., ist Partner bei Rödl

Dabei muss zunächst sauber zwischen zwei Ebenen unterschieden werden.

Dass leistungsfähige KI-Systeme neue und erhebliche Cybersecurity- und Missbrauchsrisiken schaffen können, ist keine rein theoretische Annahme mehr. Anbieter untersuchen bereits heute Fälle, in denen ihre Systeme von staatlichen oder privaten Akteuren für Cyberoperationen, Überwachung, Betrug oder militärisch relevante Aufgaben eingesetzt werden sollten. Anthropic berichtet beispielsweise über entsprechende Missbrauchsfälle und darüber, darauf mit Sperrungen, zusätzlichen Kontrollen und neuen Sicherheitsmechanismen reagiert zu haben.

Etwas anderes sind Prognosen, wonach KI innerhalb weniger Monate oder Jahre vollständig außer Kontrolle geraten oder sogar eine existentielle Bedrohung für die Menschheit darstellen könnte. Solche Szenarien können Gegenstand wissenschaftlicher Risikoforschung sein. Ihre Eintrittswahrscheinlichkeit lässt sich derzeit aber nicht seriös beziffern. Wer konkrete Prozentzahlen oder Zeitpunkte nennt, bewegt sich zwangsläufig in einem Bereich erheblicher Unsicherheit.

Gerade deshalb sollte die regulatorische Diskussion nicht davon abhängen, ob man das eine oder andere Extremszenario für wahrscheinlich hält.

Der AI Act adressiert systemische Risiken bereits ausdrücklich

Denn zumindest in Europa beginnt die regulatorische Diskussion nicht bei null.

Der europäische AI Act enthält bereits ein spezifisches Regime für besonders leistungsfähige sogenannte General-Purpose-AI-Modelle mit systemischem Risiko. Er verlangt von deren Anbietern unter anderem Modellbewertungen nach dem Stand der Technik und ausdrücklich auch adversarial testing. Systemische Risiken müssen identifiziert, bewertet und reduziert werden. Schwere Vorfälle sind zu dokumentieren und den zuständigen Stellen zu melden. Darüber hinaus müssen Anbieter ein angemessenes Cybersecurity-Niveau für das Modell und seine Infrastruktur gewährleisten.

Bemerkenswert ist dabei, wie nah diese Anforderungen bereits an der aktuellen Sicherheitsdiskussion liegen. Der Gesetzgeber hat gerade nicht nur klassische Fehler eines KI-Systems im Blick. Zu den relevanten systemischen Risiken gehören auch großflächige Schäden, Cyberangriffe, Manipulation und ein möglicher Verlust der Kontrolle über besonders leistungsfähige Modelle. Die Europäische Kommission nennt entsprechende „Loss of control“-Szenarien inzwischen ausdrücklich bei der Konkretisierung des AI Acts.

Das Regelwerk ist zudem nicht mehr bloß Zukunftsmusik. Die Pflichten für Anbieter von General-Purpose-AI-Modellen gelten bereits seit dem 2. August 2025. Seit dem 2. August 2026 verfügen das europäische AI Office und die zuständigen nationalen Behörden auch über die entsprechenden Durchsetzungsbefugnisse.

Aus europäisch-rechtlicher Perspektive besteht deshalb jedenfalls kein vollständiges regulatorisches Vakuum. Ein erheblicher Teil dessen, was derzeit öffentlich als notwendige Reaktion auf neue Risiken diskutiert wird – Modelltests, Risikoanalysen, Sicherheitsmaßnahmen, Incident Reporting und externe Aufsicht –, ist im AI Act bereits angelegt.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Die praktische Frage wird damit zunehmend lauten, wie effektiv dieses Regime angewendet und durchgesetzt wird.

Weiterführende Inhalte