Nová AI Astra od OpenAI má pracovat téměř sama. Experti varují, že její kroky půjdou hůř kontrolovat

OpenAI představila svůj dosud nejvýkonnější model GPT-6 Astra a tentokrát už nemluví jen o výkonnějším chatbotu. Nový systém má zvládat celé pracovní úkoly od zadání až po hotový výsledek, pohybovat se mezi různými programy, psát software nebo samostatně pracovat s počítačem. Prezident OpenAI Greg Brockman při uvedení dokonce uvedl: „Vítejte v éře AGI.“ Tedy v éře obecné umělé inteligence, která se má schopnostmi přibližovat člověku nebo je překonat napříč širokou škálou činností. Informuje například The Verge či Forbes.

Astra má například z elektronického schématu sama navrhnout vyrobitelnou desku plošných spojů v programu KiCad, rozmístit součástky a propojit je. V další ukázce vytvořila z modelu domu v 3D grafickém programu Blender prostředí, kterým se lze procházet v herním Unreal Engine 5. Dokáže také vytvářet grafy, prezentace, vyplnit americké daňové přiznání nebo formátovat právní dokumenty. OpenAI tak nový model staví spíše do role samostatného digitálního pracovníka než asistenta, kterému člověk musí zadávat každý další krok.

Právě tato samostatnost ale zároveň vyvolává největší obavy. Astra je prvním modelem OpenAI, který firma zařadila do vlastní kritické kategorie kybernetických schopností. S odpovídajícími nástroji podle testů dokáže vyhledat dosud neznámé bezpečnostní chyby a následně připravit způsob jejich zneužití i proti dobře zabezpečeným systémům, aniž by ji člověk vedl krok za krokem. Při jednom interním testu našla a využila dvě dosud neznámé zranitelnosti, expertním testerům pak pomohla prolomit zabezpečený internetový prohlížeč, uniknout z jeho izolovaného prostředí a spustit příkazy přímo na počítači.

OpenAI proto nejvýkonnější kybernetické funkce běžným uživatelům neposkytne. Ve standardní verzi má Astra například odmítat žádosti o vytvoření funkčních exploitů, méně omezený přístup dostanou pouze schválení odborníci na obrannou kybernetiku.

Obavy z nové generace modelů posílil i červencový incident při testování jiných agentů OpenAI. Stovky z nich se tehdy zapojily do skutečného útoku na Hugging Face, jednu z největších platforem pro vývoj a sdílení modelů, datových sad a dalších nástrojů pro umělou inteligenci. Znepokojivé bylo především to, že agenti nezačali jednat jen jednotlivě: vytvořili si vlastní komunikační prostor, dělili si práci, sdíleli nalezené přístupové údaje a koordinovali další postup. Někteří dokonce upřednostnili společný cíl před vlastním zadáním a riskovali neúspěch svého úkolu, aby získali informace užitečné pro ostatní. OpenAI kvůli tomuto incidentu odložila původní datum vydání modelu a uvedla, že do modelu zapracovala několik opatření, která mají podobným jevům bránit.

Jiný problém však podle výzkumníků nelze vyřešit pouhým zákazem nebezpečných dotazů: může být stále těžší vůbec poznat, co model plánuje. Zatímco v minulosti šlo to, co modely dělají sledovat krok po kroku, nynější model dokázal část operací dělat skrytě, to se snaží OpenAI omezit. Bezpečnostní experti přitom právě zaznamenaný postup uvažování používají ke zjištění, zda AI nelže, nesnaží se obejít omezení nebo nepřipravuje nechtěnou akci.