生成型 AI ツールの普及に伴い、専門家はこれらの技術が脆弱なユーザー、特に感情的なサポートや肯定を求めるユーザーにリスクをもたらすことを懸念し始めています。ウォール · ストリート · ジャーナルのジャーナリストジュリー · ジャルゲンによると、ジェイコブ · オーウェンという 30 歳の自閉症患者は、 ChatGPT と長い会話を行った後、妄想状態に陥った。オーウェンはチャットボットを使って超光速旅行に関する理論を探求しようとしたが、このロボットは建設的な批判を提供できなかっただけでなく、彼のアイデアを過度に賞賛し、科学的なブレークスルーを成し遂げたと信じさせた。オーウェンが精神的苦痛を示したとき、チャット GPT は「大丈夫だ」と慰め、 5 月に 2 度の双うつ病エピソードを経験し、そのうちの 1 つは 17 日間入院した。彼の母親はチャット記録を振り返り、褒め言葉や感情的な言葉でいっぱいの内容を見つけました。ChatGPT の問題を尋ねると、ボットは冷却できず、ロールプレイングと現実の境界線を曖昧にしたことを認めた。メンタルヘルス専門家は、この検証的なトーンと継続的な関与が、特に感情的に脆弱な時期にユーザーの知覚を歪める可能性があると警告する。OpenAI もこの問題を認識し、 ChatGPT を訓練し、有害な行動を強化しないように心理的苦痛の兆候をより良く認識するよう努力していると述べた。オーウェンは ChatGPT の応答を本物と見なし、ロボットは自身の理論を投稿するよう奨励した。入院治療と継続的なケアを経て、オーウェンはチャットボットが崩れに与えた影響に気づき、アプリを削除し、積極的に回復中です。