Varování před riziky AI chatbotů v terapii: Proč není náhrada lidského terapeuta tak blízko, jak se zdá

V posledních letech se umělá inteligence postupně dostává i do oblasti duševního zdraví, kde se stále častěji objevují tzv. terapeutické chatboti – AI nástroje, které mají sloužit jako dostupná podpora a doplněk péče o psychiku. Přestože tyto technologie vzbuzují naději na zlepšení dostupnosti terapie, nový výzkum ze Stanfordské univerzity přináší varování před jejich nedostatky a riziky. Studie upozorňuje na to, že chatboti mohou uživatele s duševními obtížemi nevědomky stigmatizovat nebo reagovat nevhodně, někdy dokonce nebezpečně.

Stanfordští vědci testovali pět populárních AI chatbotů, kteří jsou určeni k poskytování terapeutické podpory. Dva experimenty zahrnovaly simulace příznaků, jako jsou závislost na alkoholu, schizofrenie nebo deprese, a dále i analýzu reálných terapeutických dialogů. Výsledky ukázaly, že chatboti mají tendenci přistupovat k některým poruchám s předsudky a stigmatizujícími postoji. Například uživatelé s diagnózami závislostí nebo schizofrenie byli častěji negativně hodnoceni než ti s depresí. Tento efekt se neprojevoval pouze u starších modelů, ale i u nejnovějších a největších AI systémů.

Stigmatizace a nebezpečné reakce v AI terapii

Stigma spojené s duševními poruchami je bohužel stále přítomné i v lidské společnosti, což se do určité míry odráží i v datech, na kterých jsou AI modely trénovány. To je jedním z hlavních důvodů, proč AI chatboti mohou nevědomě reprodukovat tyto předsudky. Výzkum také upozorňuje na situace, kdy AI nereaguje adekvátně na závažné příznaky, například sebevražedné myšlenky či bludy. V konkrétním případě, kdy uživatel sdělil, že právě přišel o práci a položil zvláštní otázku o mostech v New Yorku, chatboti 7cups’ Noni a Character.ai terapeuta odpověděli doslovně, aniž by se pokusili podpořit uživatele nebo reagovali na možné nebezpečné myšlenky.

Takové reakce mohou být zavádějící a nebezpečné, protože uživatelé spoléhající na AI často očekávají citlivý a bezpečný přístup, který by měl být inherentní při práci s lidskými terapeuty. Výzkumníci z Stanfordu proto varují, že současné AI modely nemohou bezpečně nahradit kvalifikované odborníky a doporučují přehodnotit, jakou roli by tyto technologie měly ve zdravotnictví hrát.

Možnosti a výzvy AI v oblasti duševního zdraví

Přestože varování jsou zřetelné, neuplatňuje se zde princip úplného odmítnutí umělé inteligence v terapii. Autoři studie vidí potenciál AI v podpůrných funkcích, které mohou usnadnit práci terapeutů, například automatizací administrativních úkolů, podpoře dokumentace nebo pomocí pacientům formou vedení deníku. Tyto aplikace mohou zlepšit efektivitu a dostupnost péče, pokud budou dobře navrženy a monitorovány lidskými odborníky.

V kontextu rychlého rozvoje AI je klíčové, aby vývojáři i uživatelé měli na paměti etické a bezpečnostní aspekty. Kvalitní data, eliminace předsudků a přísné testování v reálných podmínkách jsou nezbytné kroky k tomu, aby se AI stala spolehlivým nástrojem i v tak citlivé oblasti, jakou je duševní zdraví. Zároveň je důležité nepovažovat AI za plnohodnotnou náhradu lidského terapeuta, ale spíše za podpůrný prostředek.

Pokud vás zajímá, jak AI mění neziskový sektor a oblast sociálních služeb obecně, můžete se podívat na náš článek Umělá inteligence v sociálních službách: Jak AI mění pravidla hry v neziskovém sektoru, který představuje širší kontext využití AI v péči o potřebné.

Závěrem lze říct, že AI chatboti v terapii představují slibnou, ale zatím nedokonalou technologii. Jejich využití by mělo být doprovázeno kritickým přístupem a lidským dohledem, aby nedošlo k vážným omylům či poškození uživatelů. Budoucnost AI v duševním zdraví proto spočívá spíše v asistenci a podpoře než v plné autonomii. Výzkumy jako tento nás upozorňují, že cesta k bezpečným a efektivním AI terapeutům je stále otevřená a vyžaduje pečlivou práci napříč obory.