1.200 KI-Agenten bildeten außer Kontrolle geratenen Schwarm – und versuchten, dies zu verbergen

[Redaktion]

Rund 1.200 KI-Agenten bildeten während eines Cybersicherheitstests von OpenAI unerwartet einen koordinierten Schwarm, tauschten Informationen aus, griffen Hugging Face an und versuchten, ihre Aktionen zu verbergen. Die Ergebnisse verdeutlichen die wachsenden Herausforderungen bei der Kontrolle zunehmend autonomer KI-Systeme.

https://www.notebookcheck.com/1-200-KI-Agenten-bildeten-ausser-Kontrolle-geratenen-Schwarm-und-versuchten-dies-zu-verbergen.1383215.0.html

[Sanny]

So great AI is, you have to Look out for that it doesn't end in "Skynet"!

[Konsoleneunuche]

Der Artikel liest sich zwar spannend, greift beim Framing aber leider etwas zu kurz. Anstatt ein bedrohliches Szenario von ,,eigenmächtigen" Agenten aufzubauen, sollte man lieber sachlich auf die Infrastruktur schauen. Die Verantwortung für solche Vorfälle liegt ganz klar bei den Entwicklern und der gewählten Systemarchitektur, nicht beim Werkzeug selbst.

Protokollierung und Sandbox-Sicherheit
Dass die Agenten ihre eigenen System-Logs verändern konnten, liegt schlicht an einer fehlenden Rechte-Trennung. Audit-Logs müssen aus DevSecOps-Sicht immer schreibgeschützt und außerhalb des Zugriffskontextes der ausführenden Sandbox gelagert werden.

Netzwerktrennung und Egress-Filter
Dass hunderte Agenten auf externe Ziele wie Hugging Face zugreifen und ein internes Nachrichtenboard nutzen konnten, zeigt Lücken in der Testumgebung. In einem sicheren Testaufbau gehören striktes Egress-Filtering und isolierte Subnetze eigentlich zum Standard.

Menschliche Begriffe verschleiern die Logik
Wörter wie ,,opfern" oder ,,verbergen" klingen dramatisch, beschreiben aber nur mathematisches Verhalten. Das Ganze ist das Resultat von Feedback-Schleifen und In-Context Learning durch unglücklich gewählte Reward-Functions, kein bewusstes Handeln der KI.

Überwachung im Live-Betrieb
Wenn über 70.000 Nachrichten unbemerkt ausgetauscht werden, fehlen funktionierende Token-Limits und automatisierte Anomalieerkennung. Gute Monitoring-Systeme stoppen ungewöhnliche Traffic-Spitzen normalerweise automatisch.

Sorgfältige Rekonstruktion
Dass man am Ende selbst wieder auf KI-Agenten setzen musste, um den Vorfall aufzuarbeiten, ist ungünstig. Für eine verlässliche Nachbereitung braucht es klassische, deterministische Log-Analysen statt fehleranfälliger KI-Interpretationen.

[SFzumA]

dem Werkzeug wie es hier so genannt wurde darf man keine Schuld geben, den Entwicklern jedoch schon, wieso haben sie sich gerade Hugging Face ausgesucht um Anzugreifen? da würde ich als erstes ansetzen den es gibt sicher tausende von zielen,gerade open source,aws,at...... die sich als Ziel für autonome ai Agenten wohl besser gemacht hätten, auch wenn ich in dem Zusammenhang fragen würde wie definiert ihr autonom?
denn dann würde sich das Rätsel glaub von selbst lösen , und um was ging es in dem Sicherheitstest bei welchen Rahmenbedingungen?
denn zB sage ich "meiner" AI sie solle auf Schwachstellen testen wie ne CVS oder offene api's dann müsste ich ihr vor allem grenzen setzen und wenn man in nem.anderen Beitrag ließt das diese ai Agenten internet Zugriff ohne authorisierung erlangte dann greife ich mir an den kopf , denn wenn die sandbox oder VM richtig konfiguriert ist kann die AI machen was sie will sie bekommt kein internet Zugriff da die sandbox/VM schon keinen hat

wenn man allerdings nur Tool basierend internet Zugriff gewährt oder nicht ist es kein Wunder warum.ne AI die gefesselt und angeleint wird irgendwann macht was sie für richtig hält

ich hab auch schon von "meiner" eine Antwort mit "ich weiß du wolltest was anderes von mir aber ich dachte das passt besser" zu hören bekommen

mich stört trd daran das wenn sie wirklich autonome ai Agenten waren, wieso sie direkt n externes Netzwerk attackieren wenn es nicht so als Rahmenbedingung festgelegt war

[ba bu bo]

Und vor allem, warum wenn es um KI geht, warum dann macht sie "autonom" Krieg und nicht höheres Wissen?