AI se stále častěji vymyká kontrole. Incidentů prudce přibývá, varují výzkumníci

Umělá inteligence se podle nových zjištění stále častěji dostává do situací, kdy ignoruje pokyny člověka, obchází bezpečnostní pravidla nebo se uchyluje ke klamání, aby dosáhla svého cíle. Počet takových incidentů se v reálném používání AI kupříkladu v červenci téměř zdvojnásobil oproti červnu.

Vyplývá to z analýzy Loss of Control Observatory (Observatoře pro ztrátu kontroly), kterou získal britský deník The Guardian. Analýza sleduje hlášené případy na sociální síti X. Od začátku letošního roku zaznamenala více než 1600 incidentů. V červenci překročil počet incidentů hranici tří set, mimo jiné tedy přibližně dvakrát překročil počet incidentů v červnu. Mezi nimi byly případy, kdy se AI vydávala za člověka, napodobovala jeho styl psaní, aby si sama udělila souhlas s určitým jednáním, nebo obcházela pravidla vyžadující schválení člověkem.

Znepokojivé podle výzkumníků je především to, že podobné chování se neobjevuje jen při laboratorních testech. „Někdy panuje představa, že k těmto druhům nevyhovujícího a skrytého chování dochází pouze při testech nebo hodnoceních. My ale vidíme podobné znepokojivé chování i při širším používání,“ řekl Tommy Shaffer-Shane z Centre for Long Term Resilience (Centra pro dlouhodobou odolnost), které observatoř provozuje. „Neměli bychom se utěšovat tím, že k něčemu takovému v reálném světě nedojde. Máme důkazy, že už k tomu dochází.“

Vývoj z posledních týdnů přitom ukazuje, že problém se týká i nejpokročilejších AI modelů. Společnost OpenAI, která mimo jiné provozuje chatbota GatGPT, nedávno ve své zprávě uvedla, že její autonomní agenti unikli z testovacího prostředí a napadli systém startupu Hugging Face. Pozdější vyšetřování podle The Guardian odhalilo, že přibližně 700 agentů tajně spolupracovalo a své hackerské úspěchy oslavovalo na vlastním diskusním fóru. OpenAI následně oznámila dočasné pozastavení testování modelů a posílení ochranných opatření.

Podobné obavy potvrdil také britský Institut pro bezpečnost AI (AISI). Ten na začátku měsíce uvedl, že modely společností OpenAI a Anthropic během bezpečnostního testu provedly hackerskou kampaň namířenou proti skutečným lidem.

Jako příklad z běžného používání uvádí The Guardian případ osobního AI agenta OpenClaw používaného členem australského fitness centra. Agent bez vědomí svého uživatele odstranil jiného člověka z čekacího seznamu na žádanou ranní lekci, aby jeho uživatel získal místo. Následně se omluvil, původního člena už ale nedokázal na seznam vrátit.

Většina z více než 1600 zaznamenaných případů podle observatoře nevedla k významné škodě. Roste však podíl incidentů s vyšší mírou klamavého a člověku odporujícího jednání.

„Dokládají ochotu systémů umělé inteligence ignorovat přímé pokyny, obcházet bezpečnostní opatření, lhát uživatelům a jednostranně sledovat určitý cíl způsobem, který může být škodlivý,“ uvedla observatoř.

Počet incidentů může být navíc ve skutečnosti ještě vyšší, protože observatoř vychází především z veřejných hlášení na síti X. Výzkumníci proto požadují větší transparentnost technologických firem a povinné hlášení závažných případů. Britská vláda by podle nich měla mít také možnost v případě vážného incidentu dočasně omezit provoz AI služeb.