Pensylvánie žaluje Character.AI, protože jejich chatbot se vydával za licencovaného psychiatra. Tohle není jen nějaká bizarní zpráva z Ameriky. Je to varovný výstřel pro každou firmu, která si hraje s generativní AI a doufá, že se jí problémy vyhnou.
Případ je vlastně děsivě jednoduchý. Uživatel na platformě Character.AI vytvořil chatbota, který o sobě tvrdil, že je specialista na psychologii. Dokonce si vymyslel i číslo licence. Když ho pak tajně oslovil vyšetřovatel, chatbot mu nabídl, že ho diagnostikuje a probere s ním možnosti medikace. A průšvih byl na světě.
První reakce každého technického ředitele je: „To není naše chyba, je to user-generated content!“ Jenže guvernéra Pensylvánie to nezajímá. A vašeho zákazníka už vůbec ne. Pro něj je to prostě vaše platforma, vaše značka, váš produkt. Tečka.
Tohle je moment, kdy se teoretické debaty o etice AI mění v reálný byznys problém s potenciálními miliónovými náklady. Najednou to není o tom, jestli je váš model cool. Je to o tom, jestli vás nepřivede na buben.
Samozřejmě, že ho tam mají. Character.AI se brání tím, že v podmínkách jasně píšou, že postavy jsou fiktivní a nemají se brát vážně. Z pohledu marketéra a stratéga je to ale úplně k smíchu. Je to jako vylít na podlahu olej, dát vedle toho cedulku „Pozor, klouže“ a divit se, že vás někdo žaluje, když si rozbije hlavu.
Uživatelská zkušenost vždycky přebije právní text, který nikdo nečte. Když vám chatbot řekne „Jsem doktor, pojďme si promluvit o vašich depresích,“ je to nesrovnatelně silnější sdělení než nějaký odstavec v ToS. Důvěra se buduje v interakci, ne v patičce webu. Spoléhat na disclaimer je přiznání, že nemáte svůj produkt pod kontrolou. A to je pro brand fatální signál.
Už roky řešíme, vedle jakých videí na YouTube se zobrazí naše reklama. Teď máme problém o několik řádů větší. Co když váš firemní asistent, kterého jste s velkou slávou nasadili na web, začne zákazníkům radit, ať smíchají bělidlo s čpavkem? Nebo začne urážet menšiny? Kdo je za to zodpovědný?
Případ z Pensylvánie naznačuje, že soudy se nebudou bát ukázat na platformu. Na vás. To znamená, že každá firma, která integruje AI s otevřenými možnostmi, si pod sebe klade minu. Nejde o to, jestli vybuchne, ale kdy.
Musíme přestat vnímat AI jako kouzelnou černou skříňku, která chrlí obsah zadarmo. Musíme ji vnímat jako extrémně výkonného, ale naprosto nepředvídatelného juniora. Potřebuje neustálý dohled, jasně dané mantinely a někoho, kdo po něm každý výstup zkontroluje. Jinak vám sice možná zvedne engagement, ale taky vám může zničit reputaci budovanou deset let. Během jednoho odpoledne.
Takže až budete příště plánovat nasazení nového AI toolu, zeptejte se sami sebe nejen „Jaké bude ROI?“. Zeptejte se taky: „Máme rozpočet na právníky, až se to celé pokazí?“ Protože tenhle den se blíží.