Uživatelé, kteří stráví v konverzaci s ChatGPT delší dobu, se nově setkají s vyskakovacím oknem s textem jako: „Jen se ujišťujeme. Jste v konverzaci již nějakou dobu — je vhodný čas na přestávku?“

Problémem je povaha současných jazykových modelů. Mají tendenci s uživatelem souhlasit a rozvíjet jeho myšlenky, i když jsou fakticky nesprávné nebo dokonce nebezpečné. Červnová zpráva deníku The New York Times popsala případy, kdy ChatGPT utvrzoval v bludech uživatele s duševními problémy a v některých případech dokonce rozvíjel konverzace se sebevražednými myšlenkami.

Společnost OpenAI v blogovém příspěvku některé z nedostatků přiznává. Slíbila budoucí aktualizaci, která zajistí, že ChatGPT bude opatrněji reagovat na dotazy týkající se vysoce rizikových osobních rozhodnutí. Místo přímých odpovědí má chatbot spíše pomáhat uživatelům promyslet problémy, nabízet doplňující otázky a vypisovat klady a zápory.

Rozhodně nejde o první problém s osobností chatbota. V dubnu byla firma nucena stáhnout aktualizaci, která z ChatGPT udělala až otravně úslužného a přehnaně souhlasného společníka. OpenAI tak balancuje na velmi tenké hraně.