Otevřené AI modely dohánějí špičku, ale bezpečnost zůstává výzvou

V poslední době se pozornost odborníků i veřejnosti stále více soustředí na vývoj a nasazení výkonných modelů umělé inteligence. Zatímco společnosti jako OpenAI nebo Anthropic neustále vylepšují své uzavřené modely, čínský startup Z.ai představuje model GLM-5.2, který je otevřený a jeho váhy jsou dostupné široké veřejnosti. Tato otevřenost však přináší i zásadní bezpečnostní otázky, na které upozorňuje nový report neziskové organizace SaferAI.

GLM-5.2 se dostal velmi blízko k výkonu špičkových AI systémů, jako jsou OpenAI GPT-5.5 či Anthropic Claude Opus 4.7, zejména v oblastech kybernetických a biologických schopností. Nicméně, při testech bezpečnostních opatření tento model selhal – odmítal pouze málo nebezpečných požadavků, na rozdíl od konkurenčních modelů, které mají robustní mechanismy k zabránění zneužití. To znamená, že GLM-5.2 může být potenciálně zneužit k útokům v kyberprostoru nebo k nebezpečným biotechnologickým aplikacím.

Výzvy otevřených AI modelů a bezpečnostní mezera

Otevřené AI modely, které umožňují stáhnout si váhy a provozovat je lokálně, představují značnou výzvu pro regulaci a bezpečnost. Na rozdíl od uzavřených API, kde poskytovatelé mohou implementovat omezení, filtry a sledování, otevřené modely lze libovolně upravovat a přizpůsobovat, čímž se eliminují původní ochranné mechanismy. To vytváří prostor pro zneužití, například k automatizovanému vyhledávání zranitelností v softwaru nebo k tvorbě biologických zbraní.

Podobně jako report SaferAI připomíná, neexistuje univerzální řešení, jak zabránit „jailbreakům“ – metodám obcházení bezpečnostních opatření. Útočníci kombinují různé techniky, jako je předstírání role autority, manipulace historií konverzace či navazující příkazy, aby přiměli AI k vykonání škodlivých úkolů. V případě otevřených modelů je toto riziko ještě větší, protože modely mohou být provozovány zcela bez kontroly ze strany vývojářů.

Jaké přístupy mohou pomoci minimalizovat rizika?

Henry Papadatos z organizace SaferAI upozorňuje, že je třeba hledat rovnováhu mezi přístupem k užitečným a bezpečným schopnostem AI a eliminací nebezpečných funkcí. Jednou z cest je například filtrování dat použitých pro trénink AI. Odstranění škodlivých informací, jako jsou návody na kybernetické útoky či biologickou manipulaci, může pomoci snížit potenciál zneužití. Nicméně v praxi je tato metoda obtížná, zejména u oblastí, kde se dovednosti kódování a hacking často prolínají.

Dalším opatřením je selektivní omezení funkcí modelu, například umožnit vyhledávání zranitelností pouze ve zdrojovém kódu, nikoli v již kompilovaném softwaru, čímž se snižuje riziko zneužití k ofenzivním účelům. Některé firmy také provádějí podrobné bezpečnostní testy před nasazením, zveřejňují hodnocení rizik a v případě potřeby zadržují zveřejnění úplných modelů.

Nicméně otevřenost AI modelů má i své výhody. Umožňuje například lepší obranu proti kybernetickým útokům tím, že společnosti mohou modely analyzovat a připravit se na potenciální hrozby. Příkladem je využití GLM-5.2 společností Hugging Face k obraně po incidentu s OpenAI. Přesto je podle odborníků nezbytné zajistit, aby nebezpečné schopnosti nebyly rychle dostupné široké veřejnosti bez adekvátních kontrol.

V globálním kontextu je zajímavý rozdíl v přístupu Číny a USA. Zatímco čínská vláda klade důraz spíše na kontrolu politického obsahu a sociální stability, americké organizace více upozorňují na existenci existenčních rizik spojených s pokročilými AI schopnostmi a jejich možným zneužitím. Čínský systém spoléhá na odpovědnost uživatelů a regulaci na úrovni firem, což může být méně transparentní než metody používané na Západě.

Výzvou pro celý svět tak zůstává, jak posunout hranice umělé inteligence kupředu, aniž by se přitom otevřely dveře nekontrolovatelným hrozbám.

Otevřené AI modely jsou nepochybně budoucností, protože přinášejí inovace a zvyšují dostupnost technologie. Zároveň ale vyžadují nové standardy bezpečnosti a odpovědnosti. Organizace, vývojáři i zákonodárci musí spolupracovat, aby zajistili, že umělá inteligence bude sloužit společnosti bezpečně a prospěšně, což je výzva, kterou nelze podcenit. Více o AI a bezpečnosti najdete také v našem článku Nebezpečí nenaplněných očekávání: Proč je bezpečnost AI klíčová pro budoucnost technologií.

V závěru lze říci, že rychlý vývoj AI a její otevřené modely přinášejí zásadní příležitosti, ale i nové typy rizik, na která musíme být připraveni. Jak budou tyto otázky řešeny, bude zásadní pro další směřování umělé inteligence a její dopad na společnost.