Das Münchner Forschungsinstitut fortiss sucht kleine und mittlere Unternehmen (KMU) als Forschungspartner für ein gemeinsames Projekt zum sicheren Einsatz von KI-Agenten. Ziel ist die Entwicklung eines praxistauglichen Sicherheits-Frameworks, das Unternehmen den Einsatz autonomer KI-Systeme erleichtert und gleichzeitig Anforderungen an IT-Sicherheit und regulatorische Vorgaben berücksichtigt. Die gemeinsame Antragstellung soll im Förderprogramm KMU-innovativ erfolgen.

KI-Agenten übernehmen zunehmend komplexe Aufgaben wie die Automatisierung von Geschäftsprozessen, die Verarbeitung sensibler Unternehmensdaten oder die Analyse großer Informationsmengen. Gleichzeitig steigen die Anforderungen an Sicherheit, Transparenz und Compliance. Das geplante Framework soll deshalb sicherstellen, dass KI-Agenten nur autorisierte Aktionen ausführen, Manipulationsversuche wie Prompt-Injection- oder Jailbreak-Angriffe erkennen und rechtliche Vorgaben – etwa aus dem EU AI Act – automatisiert berücksichtigen.

Der Forschungsansatz umfasst vier Bausteine: eine verlässliche Identitätsprüfung für Nutzer und Agenten, Echtzeitschutz gegen Angriffe, die automatische Umsetzung regulatorischer und betrieblicher Anforderungen sowie digitale Nachweise, mit denen sich Sicherheit und Regelkonformität der KI-Systeme dokumentieren lassen. Ziel des Projekts ist ein Prototyp, der den sicheren Einsatz von KI-Agenten in Unternehmen ermöglicht und den Transfer der Technologie in die Praxis unterstützt.

Gesucht werden KMU aus den Bereichen Künstliche Intelligenz, Softwareentwicklung oder Cybersicherheit, die einen konkreten Anwendungsfall einbringen möchten. Denkbare Einsatzszenarien reichen von der Automatisierung von ERP-, CRM- oder HR-Prozessen über KI-gestütztes Wissensmanagement bis hin zu agentenbasierten Markt- und Trendanalysen. Die Partner definieren die Anforderungen aus der Unternehmenspraxis, begleiten die Validierung des Prototyps und wirken an der Verwertung der Projektergebnisse mit.

Nach Angaben von fortiss profitieren die beteiligten Unternehmen von einem frühen Zugang zu neuen Sicherheitslösungen für KI-Agenten, technischem Know-how zur Umsetzung des EU AI Acts sowie einer engen Zusammenarbeit mit den Forschenden. Nach erfolgreicher Bewilligung des gemeinsamen Antrags werden die Forschungsarbeiten über das Förderprogramm KMU-innovativ unterstützt.