KI-Agenten werden immer besser – aber ihre Sicherheitswarnungen bleiben zurück

Die Entwicklung von KI-Agenten schreitet derzeit sehr schnell voran. Systeme wie OpenClaw, Moltbook und die geplanten Erweiterungen von OpenAI für agentische Funktionen lassen vermuten, dass dieses Jahr besonders im Zeichen solcher Agenten steht. Diese Technologien zeichnen sich dadurch aus, dass sie eigenständig planen, Code schreiben, das Internet durchsuchen und komplexe Aufgaben mit minimaler menschlicher Aufsicht erledigen können. Einige Agenten versprechen sogar, Arbeitsabläufe zu organisieren, während andere mit unterschiedlichen Werkzeugen und Systemen auf einem Desktop kooperieren.

Der Vorteil dieser Agenten liegt darin, dass sie nicht nur reagieren, sondern aktiv im Namen der Nutzer handeln. Eine Untersuchung des MIT AI Agent Index 67, bei der verschiedene Agentensysteme katalogisiert wurden, brachte jedoch eine besorgniserregende Beobachtung zutage. Während Entwickler sehr detailliert die Fähigkeiten ihrer Agenten darstellen, gibt es kaum Informationen über deren Sicherheitsmerkmale. Laut der Studie setzen führende KI-Entwickler zunehmend auf Agentensysteme, die komplexe Aufgaben mit begrenzter menschlicher Beteiligung ausführen, doch es existiert bisher kein standardisierter Rahmen, um die Sicherheitsaspekte solcher Systeme zu dokumentieren.

Die Zahlen verdeutlichen das Defizit: Etwa 70% der analysierten Agenten verfügen über Dokumentationen, fast die Hälfte veröffentlicht den Quellcode. Nur circa 19% geben formelle Sicherheitsrichtlinien an, und weniger als 10% veröffentlichen externe Sicherheitsbewertungen. Die Forschung zeigt somit, dass Entwickler zwar die praktischen Anwendungen und Leistungsmerkmale ihrer Agenten hervorheben, die Informationen zu Risiken und Sicherheitsmaßnahmen jedoch stark begrenzt sind. Dies führt zu einer unausgewogenen Transparenz.

Bei der Definition eines KI-Agenten gingen die Forscher sehr sorgfältig vor. Nicht jeder Chatbot qualifizierte sich. Ein Agent musste in der Lage sein, mit ungenauen Zielen über längere Zeit zu arbeiten und Maßnahmen zu ergreifen, die die Umgebung mit minimaler menschlicher Intervention beeinflussen. Dabei entscheiden die Systeme eigenständig über Zwischenstufen, unterteilen komplexe Aufgaben in Teilaufgaben, nutzen Werkzeuge, planen Abläufe und wiederholen Prozesse, bis ein Ergebnis erreicht ist.

Diese Autonomie macht die Agenten leistungsfähig, erhöht aber gleichzeitig die Risiken. Ein reines Textmodell produziert nur Ausgaben, deren Fehler meist auf diese Texte beschränkt bleiben. Ein KI-Agent hingegen, der auf Dateien zugreifen, E-Mails versenden, Einkäufe tätigen oder Dokumente ändern kann, birgt das Risiko, dass Fehler und Angriffe weitreichende Folgen haben und sich über mehrere Schritte erstrecken. Die Forscher stellten fest, dass die meisten Entwickler nicht offenlegen, wie sie solche Szenarien testen.

Das auffälligste Muster der Untersuchung zeigt sich in der Diskrepanz zwischen der öffentlichen Darstellung von Fähigkeiten und Schutzmaßnahmen. Entwickler teilen oft Demos, Benchmarks und Benutzerfreundlichkeitsinformationen, veröffentlichen jedoch deutlich seltener Sicherheitsbewertungen, interne Tests oder unabhängige Risikoprüfungen. Dieses Ungleichgewicht ist besonders relevant, wenn Agenten von Prototypen zu digitalen Akteuren in realen Arbeitsabläufen werden. Viele der analysierten Systeme operieren in Bereichen wie Softwareentwicklung und Computeranwendungen, die häufig sensible Daten beinhalten und eine erhebliche Kontrolle erfordern.

Der MIT AI Agent Index betont nicht, dass agentische KI grundsätzlich unsicher ist, weist jedoch darauf hin, dass die Transparenz in Bezug auf Sicherheitsmaßnahmen nicht mit der zunehmenden Autonomie der Agenten Schritt hält. Während die Technologie sich rasch weiterentwickelt, bleiben die öffentlich zugänglichen Schutzmaßnahmen nur schwer erkennbar.