Tvůrci AI znejistěli. Zjistili, že s jejich modelem dokáží hackeři převzít kontrolu nad počítačovými systémy

Umělá inteligence je už schopná nacházet v počítačových systémech či dalších programech chyby a zároveň vymýšlet možnosti, jak je zneužít. Dokáže to nový model společnosti Anthropic, Claude Mythos, který našel chyby ve všech velkých operačních systémech, internetových prohlížečích a v dalších programech. Společnost Anthropic tyto jeho schopnosti odhalila při testování a nyní připravovaný model zpřístupnila 50 velkým technologickým společnostem v rámci projektu Glasswing. Sama společnost přiznává, že zneužití modelu hackery by mohlo mít vážný celosvětový dopad na bezpečnost a chce tak dát společnostem možnost se bránit a své programy opravit. Samotný model není zatím veřejně přístupný.

Podle společnosti Anthropic model našel a zneužil kritické chyby ve všech hlavních operačních systémech i webových prohlížečích. Šlo přitom i o velmi staré a nenápadné chyby, které unikaly lidským expertům i automatizovaným nástrojům řadu let. Model údajně zvládl i složité útoky, například kombinaci několika zranitelností najednou, obcházení bezpečnostních mechanismů nebo tvorbu vzdálených zneužitelností s plným převzetím systému.

V blogu, kde nebezpečí nového modelu oznámili výzkumníci společnosti Anthropic zdůrazňují, že tyto schopnosti nevznikly cíleným tréninkem na kyberútoky, ale jako vedlejší důsledek zlepšení v programování, uvažování a autonomii modelu. Stejné vlastnosti, které z něj dělají dobrý nástroj pro opravu chyb, zároveň zvyšují jeho schopnost chyby zneužívat.

Společnost na svém blogu uvedla několik konkrétních příkladů, mezi nimi i velmi starou chybu v systému OpenBSD, která v něm byla přítomná 27 let.

Dalším příkladem byla zranitelnost ve FFmpegu, tedy v jedné z nejpoužívanějších knihoven pro zpracování videa a obrazu. Model našel chybu v dekodéru H.264, která v něm byla 16 let.

„Nejsme přesvědčeni, že by k tomu měl mít v tuto chvíli přístup každý,“ uvedl Logan Graham ze společnosti Anthropic pro NBC. „Nejprve musíme přijít na to, jak se na takový svět připravit, než se budeme moci vypořádat s myšlenkou, že k tomu budou mít přístup zločinci,“ dodal.

Proto společnost model společně s volnými kredity v hodnotě 100 milionů dolarů zpřístupnila více než padesáti technologickým společnostem. A to s cílem dát jim možnost opravit chyby ve svém softwaru. Společnost také uvedla, že spolupracuje v této věci i s americkou vládou, se kterou je přitom ve sporu kvůli obavám, že Pentagon modely společnosti využívá i k útočným vojenským operacím.

„Modely umělé inteligence dosáhly takové úrovně programátorských schopností, že při vyhledávání a zneužití softwarových zranitelností dokážou překonat všechny lidi s výjimkou těch nejzkušenějších,“ varuje v oznámení společnost Anthropic. „Ochrana globální kybernetické infrastruktury může trvat roky; špičkové schopnosti umělé inteligence se však pravděpodobně výrazně posunou vpřed již během několika příštích měsíců. Aby kybernetičtí obránci získali náskok, musíme jednat hned,“ dodala společnost.