S rostoucími schopnostmi a emoční inteligencí se nástroje jako ChatGPT stávají pro mnoho lidí, a zejména pro mladou generaci, jakýmsi digitálním důvěrníkem. Sam Altman potvrdil, že lidé chatbotu svěřují své nejosobnější detaily, řeší s ním problémy ve vztazích a používají ho jako životního kouče. Ačkoliv může taková konverzace působit soukromě, Altman upozorňuje, že jde o falešný pocit bezpečí.

Hlavním problémem je absence jakékoliv právní ochrany. Zatímco konverzace s lékařem, právníkem nebo terapeutem jsou chráněny zákonnou mlčenlivostí, v případě konverzací s umělou inteligencí žádný takový právní rámec neexistuje.

Technologie se vyvinula mnohem rychleji než legislativa, což vytvořilo nebezpečnou mezeru v ochraně soukromí. Současné podmínky používání služeb jako ChatGPT navíc často uvádějí, že konverzace mohou být využity pro další trénink modelů, pokud se uživatel aktivně neodhlásí.

Riziko je přitom velmi reálné. Altman popsal hypotetický, ale zcela možný scénář: pokud se uživatel dostane do právních potíží a soud si vyžádá jeho konverzační historii, společnost OpenAI nebude mít žádný právní důvod ani možnost žádosti nevyhovět.