„Mohla by nás všechny zabít.“ Výzkumník Anthropicu opustil firmu kvůli obavám z AI

UMĚLÁ INTELIGENCE

„Mohla by nás všechny zabít.“ Výzkumník Anthropicu opustil firmu kvůli obavám z AI
Podle Jacoba Coxona se společnosti ženou k vytvoření superinteligence, která by se dokázala sama zlepšovat, a podceňují s tím spojená rizika. Foto: Shutterstock
1
Svět
Sdílet:

Sedmadvacetiletý britský matematik a výzkumník Jacob Coxon v úterý oznámil svůj odchod ze společnosti Anthropic i z celého odvětví umělé inteligence. Důvodem jsou jeho obavy, že technologické firmy už nedokážou vývoj stále výkonnějších systémů řídit zodpovědně bez zásahu států. Podle Coxona se společnosti ženou k vytvoření superinteligence, která by se dokázala sama zlepšovat, a podceňují s tím spojená rizika.

„Ani jedna z těchto dvou společností nejedná zodpovědně. Řítí se přímo k superinteligenci schopné sama sebe zlepšovat a zahrávají si s našimi životy,“ napsal na sociální síti X. Dvěma zmíněnými společnostmi jsou jeho bývalí zaměstnavatelé – Anthropic a OpenAI.

Coxon, který se specializuje na matematiku, dosud pracoval na trénování nových modelů umělé inteligence na obrovském množství dat. Z vývoje AI tedy odchází přímo z jeho centra, uvedl deník Le Figaro. V rozhovoru pro americký Wall Street Journal uvedl, že jeho kolegové nyní používají výrazy jako „crunchtime“, tedy poslední fáze před dokončením, nebo „endgame“, tedy konečná fáze, když mluví o směru, kterým se celé odvětví ubírá.

„Směřujeme k některým z nejextrémnějších scénářů, kdy už do konce příštího roku může být situace mimo kontrolu,“ řekl listu. Za významný problém považuje také závod mezi americkými a čínskými laboratořemi, který podle něj činí kompromisy v oblasti bezpečnosti prakticky nevyhnutelnými.

Na síti X své obavy popsal ještě ostřeji. „Nepodceňujte sílu této technologie. Tyto systémy se brzy stanou nadlidskými, budou schopné hacknout cokoli, ze dne na den převratně změnit jakýkoli obor a získat skutečnou moc a zdroje,“ napsal.

Podle Coxona navíc někteří lidé přímo zapojení do vývoje AI skutečně věří, že by technologie mohla lidstvo zničit ještě před koncem tohoto desetiletí. „Lidé, kteří vytvářejí AI, upřímně věří, že by nás všechny mohla do konce desetiletí zabít. Není to marketingový trik,“ uvedl. Na veřejnosti podle něj představitelé firem a zkušení výzkumníci svá vyjádření mírní, aby „vypadali rozumně“. V soukromí však podle Coxona titíž lidé „vyjadřují svůj strach“.

Coxon se ptá, proč firmy ve vývoji pokračují, pokud skutečně věří rizikům, před nimiž varují. Rozdíl mezi svými dvěma bývalými zaměstnavateli vidí především v jejich přístupu k těmto rizikům. „V OpenAI si mnozí plně neuvědomili civilizační důsledky. V Anthropicu jsou důsledky dobře pochopeny, ale jsou zapojeni do závodu, aby se tam dostali jako první – domnívají se, že nikdo jiný nebude jednat zodpovědně, takže to musí udělat sami, navzdory riziku,“ uvedl.

Coxon přitom letos opustil právě OpenAI a nastoupil do Anthropicu, mimo jiné kvůli pověsti této společnosti v oblasti bezpečnosti modelů. Přestože považuje snahu Anthropicu o bezpečnější vývoj AI za upřímnou, nyní dospěl k závěru, že žádná soukromá společnost nemůže zodpovědně vyvíjet umělou inteligenci schopnou překonat člověka v široké škále úkolů, tedy technologii někdy označovanou jako obecná umělá inteligence (AGI), bez zásahu států nebo koordinovaného zpomalení vývoje.

Podle Wall Street Journal jde o jeden z prvních známých případů, kdy zaměstnanec Anthropicu opustil firmu kvůli obavám o bezpečnost umělé inteligence. Už dříve ze společnosti odešel výzkumník zaměřený na tato rizika, aby se věnoval studiu poezie. Jeho varování tehdy znělo: „Svět je v ohrožení.“

Sdílet:

Hlavní zprávy

Týdeník Echo

Koupit

Weby provozuje SPM Media a.s.,
Křížová 2598/4D,
150 00 Praha 5,
IČ 14121816

Echo24.cz

×

Podobné články