ChatGPTが児相へ誘導？巨人監督の長女暴行事件から考えるAIの安全設計

 巨人の監督が娘に暴行したとして逮捕された事件。
詳細はわかりませんが、報道されている内容を整理すると

1. 娘さんが、親からの暴行についてChatGPTに相談した
2. ChatGPTは児童相談所に相談することを回答した
3. ChatGPTの回答を踏まえて児童相談所へ相談した
4. 児童相談所は危険であると判断して警察へ通報した

というのが流れのようですね。
娘さんは未成年ではないので、児童相談所を提案したのは正確にいえば「間違い」なんですが、長女がどのようにChatGPTに質問を入力したのか？がわからない以上は、入力した内容が不十分であった可能性は否定できないと思います。

今回の事件で驚いたのは、ChatGPTには「悩みの兆候を認識して専門家や公的機関などの現実のサポートを受けられるところに誘導する設計」になっているんですね。
ここについては、やりすぎ！という意見を言う人もいるかと思いますが、海外では生成AIに相談したあとに「自殺」をしたケースもあるようですし、生成AIが悪意なく誤った回答して危機を見逃すリスクがある以上は、公的機関などの現実のサポートを受けられるところに誘導するようになっているのは、よくできているなと思いました。

今回のケースを見ると、若い人たちは思っている以上に深刻な内容も「生成AI」に質問するんですね。
そういうことを考えると、子どもの悩みだったり、仕事の悩みだったり、DVの悩みだったりを、生成AIに質問して適切な対応を回答してくれるようなシステムを国や行政機関が積極的に開発してリリースすることが必要なのでは、と思うようになりました。
恐らく、日本人と外国人では考え方に違いもあるでしょうから、日本人に合わせたチューニングも必要になるでしょうね。