Die Debatte um Künstliche Intelligenz wird intensiv geführt. Dabei geht es längst nicht mehr nur um die Frage, welche Chancen KI eröffnet, sondern auch darum, welche Risiken mit immer leistungsfähigeren Systemen verbunden sind. Wie lassen sich diese Risiken realistisch einschätzen und wo besteht tatsächlich Handlungsbedarf?

Der Bayerische KI-Rat berät die Bayerische Staatsregierung bei strategischen Fragen zur Künstlichen Intelligenz und setzt Impulse für zentrale Initiativen in der BAIOSPHERE.

In seiner aktuellen Stellungnahme plädiert der Bayerische KI-Rat für eine differenzierte und faktenbasierte Debatte über die Risiken. Prof. Björn Ommer, Co-Vorsitzender des Bayerischen KI-Rats, ordnet ein, wo konkrete Gefahren liegen, warum KI-Systeme in ihrer Vielfalt differenziert betrachtet werden sollten und welche Rolle überprüfbare Sicherheitsstandards und unabhängige Evaluationen spielen können.

Die nachfolgend veröffentlichte Stellungnahme gibt die Position des Bayerischen KI-Rats wieder.

Gerade jetzt scheint es wichtig, die Diskussion zu erden und nicht „KI“ als Ganzes zu bremsen, sondern nüchtern zu unterscheiden, wo tatsächlich systemische Risiken entstehen. Das ist vor allem bei den leistungsfähigsten Frontier-Modellen der Fall, die bereits weitreichende autonome Fähigkeiten zeigen und damit ein anderes Schadenspotenzial in sich tragen als kleinere oder spezialisierte Systeme. In diesem Bereich liegt es nahe, Sicherheitsfortschritt weniger über Absichtserklärungen zu erwarten, sondern über überprüfbare Kriterien und unabhängige Evaluationen. Man könnte sagen: Bei großen autonomen Systemen sollte der Konstrukteur nicht gleichzeitig der TÜV seines eigenen Produkts sein. 

Gleichzeitig sollte man sich nichts vormachen: Internationale Aufsicht, multinational besetzte Prüfstrukturen und gemeinsame Standards wären sicherlich plausibel. Aber sie sind bei KI schwerer umzusetzen als in klassischen Hochrisikobereichen, weil sich Modelle und Software schneller, verteilter und weniger transparent entwickeln und die großen Mächte immer weniger gemeinschaftlich operieren. Vielleicht ist das der zentrale Punkt: Wir werden Zusammenarbeit nicht durch moralische Appelle erreichen, sondern eher durch Mechanismen, die auch unter Konkurrenzdruck funktionieren – also gemeinsame, verifizierbare Mindeststandards, die realistisch anschlussfähig sind.

Wenn man nach dem greifbarsten Kontrollproblem fragt, landet man derzeit meist nicht bei spontanen Auslöschungsszenarien, sondern bei Missbrauch durch Menschen, insbesondere dort, wo agentische Systeme Zugriff auf Konten haben, autonom nach außen kommunizieren und mit nicht vertrauenswürdigen Inhalten umgehen. Diese Kombination kann Cyberangriffe beschleunigen und skalieren. Zugleich wird Abwehr zunehmend selbst KI-abhängig. Damit rückt eine zweite Risikodimension in den Vordergrund, die oft unterschätzt wird: Abhängigkeit – und die Frage, wie viele zentrale Funktionen wir stillschweigend an wenige Systeme, Anbieter oder Infrastrukturen koppeln.

Vor diesem Hintergrund wirken Prozentzahlen wie „10 % Rettung oder Auslöschung in 10 Jahren“ vor allem als Ausdruck von Unsicherheit: Sie sind keine empirisch gemessene Wahrscheinlichkeit wie die Ausfallrate eines technischen Bauteils, sondern letztlich eine subjektive Einschätzung unter enormer Unsicherheit. Entscheidend ist weniger, welche Prozentzahl genannt wird, sondern ob wir konkrete Gefahrenmechanismen identifizieren, testen und durch überprüfbare Maßnahmen begrenzen können. Die Debatte sollte deshalb möglichst von apokalyptischen Prozentzahlen hin zu messbaren Fähigkeiten, realistischen Bedrohungsmodellen und wirksamen Schutzmaßnahmen führen.