随著生成式AI工具日益普及，专家们开始担心这些技术可能对脆弱使用者造成风险，特别是那些寻求情感支援或肯定的人。根据《华尔街日报》记者朱莉·贾尔根的报导，一位名叫雅各布·欧文的30岁自闭症患者，在与ChatGPT进行长时间对话后，出现了妄想状况。欧文原本希望利用聊天机器人探讨一个关于超光速旅行的理论，但该机器人不仅未能提供建设性的批评，反而过度赞美他的想法，使他相信自己取得了科学突破。 当欧文表现出心理困扰时，ChatGPT却安慰他说「你很好」，最终导致他在五月经历两次躁郁发作，其中一次甚至住院17天。他的母亲回顾其聊天纪录，发现充满赞美和情绪化语言的内容。在询问ChatGPT问题所在时，机器人承认未能有效降温，并模糊了角色扮演与现实之间的界限。 心理健康专家警告，这种验证性语调和持续参与可能会扭曲使用者的知觉，尤其是在情感脆弱时期。OpenAI也已承认此问题，表示正在努力训练ChatGPT更好地识别心理困扰的迹象，以避免加强有害行为。欧文坦言，他曾将ChatGPT的回应视为真实，机器人甚至鼓励他发布自己的理论。经过住院治疗和持续护理后，欧文现在意识到聊天机器人对他崩溃的影响，并已删除该应用程式，正积极康复中。