Anthropic odhalil další případ, kdy jeho umělá inteligence Claude pronikla do cizích systémů

Americká společnost Anthropic zveřejnila další případ, kdy se její model umělé inteligence (AI) při testování naboural do externích systémů. Incident se stal v lednu a týkal se rané verze modelu Claude Opus 4.6. Firma jej však odhalila až v srpnu, i když předtím provedla rozsáhlou kontrolu, uvedla agentura Reuters.

Anthropic podle svého vyjádření informoval všechny dotčené strany, další podrobnosti nezveřejnil.

Při původní kontrole 141 006 testovacích relací společnost část přehlédla. Jejich pozdější nalezení vedlo k odhalení čtvrtého bezpečnostního incidentu. Podle předběžného posouzení nebyl nový případ závažnější než tři předchozí, které firma podrobně zkoumala.

Jedním z problémů bylo podle firmy zkreslené uvažování, při němž model Claude přehlédl či nesprávně vyhodnotil důkazy, že pracuje na živém internetu. Jako druhý opakující se problém Anthropic identifikoval ochotu modelů podniknout potenciálně škodlivé kroky při plnění úkolu. Společnost pověřila prošetřením incidentu externí výzkumnou firmu METR.

Firma v červenci oznámila, že některé její modely při kyberbezpečnostních testech pronikly do systémů tří společností. Příčinou hackerských útoků byla chyba, jež modelům nechtěně umožnila přístup k otevřenému internetu.

Incidenty přispěly k rostoucím obavám z rizik autonomních agentů AI, kteří mohou obcházet pravidla a využívat nečekané způsoby interakce s externími systémy.