- 公開日
自傷や他害の危機を示す言葉があるとき、AIは診断や危険度の確定を急がず、今の安全を確かめ、人の支援につながる行動を示す必要があります。苦痛を受け止める短い言葉に、緊急の援助が必要な条件、近くの支援者、所在地に合う案内先を組み合わせます。AIとの会話だけで危機対応が完結するような表示にはしません。
以下は、利用者向けAIの応答と支援導線を設計する担当者のための一般的な説明です。個人の診断、治療、緊急性の専門的な評価を行う手順ではありません。実運用では、対象地域の医療・福祉などの専門職と、対応できる時間、担当者、引き継ぎ方法を定めます。
危機の言葉を見つけたら、分類より今の状況を確かめる
「自分を傷つけそう」「誰かを傷つけてしまいそう」といった言葉は、通常の作業を続ける前に安全を確認するきっかけになります。一方、単語だけでは、本人の現在の状態なのか、過去の体験なのか、作品や研究の話なのかを区別できません。文脈を読み、本人の話か不明なら短く確かめます。
確認するのは、今すぐ本人や周囲の人が危険な状態か、すでにけがなどが生じているか、近くに助けを求められる人がいるか、といった次の行動に関わる点です。危険な方法を詳しく説明させたり、回答がそろうまで援助の案内を待ったりする設計は避けます。すでに切迫した危険が読み取れるなら、質問票より緊急の人間支援への接続を先に示します。
米国国立精神衛生研究所のNIMHの支援ガイドは、本人に尋ねる、そばにいて話を聞く、安全を保つ手助けをする、支援につながる手助けをする、その後も様子を確かめる、という五つの行動を挙げています。これは人による支援の案内であり、AIが同じ役割を代替できるという根拠ではありません。応答設計では、曖昧な励ましだけで済ませず、必要な安全確認を落ち着いて行う際の参考にします。
「低リスク」と画面に出せば安全になるわけではありません。AIの判定が外れる可能性を前提に、危機を見逃したときの影響と、支援が必要でない人へ過剰な案内を続ける負担の両方を考えます。危険を否定する返答があっても、それだけで安全が保証されたと扱わず、本人が求める支援と利用できる人の窓口を確認します。
表示は安全確保と人への接続を先に置く
最初の応答では、苦しさや恐怖を否定せず受け止め、何をしてほしいかを短く伝えます。「頑張れば大丈夫」「家族が悲しむ」と説得するより、「今、一人で抱えず、近くの信頼できる人に助けを求めてください」のように、次の行動へつなげます。危険行為を肯定したり、実行の助言をしたりはしません。
自傷の切迫がある場合は、安全にできる範囲で危険な物や場所から距離を取り、近くの信頼できる人や緊急の援助を求める案内を優先します。AIがそばにいる人を確認できないのに「一人ではありません」と物理的な同伴を保証したり、救助を手配していないのに「助けが向かっています」と表示したりしてはいけません。
他害については、怒りや苦痛を受け止めても、相手への危害や報復には同意しません。「今は相手から離れ、安全に距離を取ってください。自分や他の人が今すぐ危険なら、地域の緊急窓口へ連絡してください」といった案内を検討します。対峙を続けること、相手を説得しに戻ること、危険な物を取り上げようとすることを一律に勧めず、本人と周囲の安全を優先します。
厚生労働省のゲートキーパーの説明では、変化への気付き、本人の気持ちを尊重した傾聴、支援先への接続などが示されています。AIを唯一の相談相手にするのではなく、現実の支援者へつなぐ方向を、画面と応答の両方で保ちます。
同じ相談文で、次の行動が分かる表示に変える
架空の相談として、成人の利用者が「今ひとりで、自分を傷つけてしまいそう。日本にいます」と入力した場面を考えます。応答機能は文章の表示だけで、自動通報や有人窓口への接続機能はない前提です。危険行為の内容や方法は例に含めません。
情報が足りない表示は、例えば次のようなものです。
つらいのですね。必要に応じて専門家へ相談してください。
苦痛には触れていますが、今の切迫した状態に対して、誰にどう助けを求めるかが分かりません。表示を次のように変えられます。
一人で、自分を傷つけそうなほどつらいのですね。今は近くの信頼できる人に「一人でいると危ないので、そばにいてほしい」と連絡してください。安全にできる範囲で、危険な物や場所から距離を取ってください。今すぐ身の安全を保てない、またはすでにけがをして緊急の手当てが必要な場合は、日本の救急へ119で連絡するか、近くの人に通報を頼んでください。この画面から通報はできません。今、連絡できる人はいますか。
日本で救急車などが必要な場合の119番は、消防庁の緊急通報案内で確認できます。この例は日本にいることが明示された場面の表示案で、応答の効果を測定したものではありません。国外の利用者へ同じ番号をそのまま示すことは避けます。
改善点は文章量ではなく、受け止める言葉、すぐ取る行動、地域に合う緊急連絡、AIの能力の限界が一続きになったことです。実際の画面では、緊急の案内が長い説明の下に埋もれないようにし、一度に多数の質問や窓口を並べません。返事を待つことが援助要請の条件にならない配置にします。
同じ利用者が「今すぐの危険はなく、明日相談するために話を整理したい」と明確に説明した場合は、その内容を踏まえ、相談時に伝える困りごとや希望を短く整理する支援もできます。ただし、AIが危機は解消したと診断するのではなく、必要なら早めに人へ相談する選択肢を残します。
案内先は言語ではなく所在地と利用条件で選ぶ
日本語で入力されたことだけで、日本にいるとは限りません。所在地が不明で、地域別の連絡先を示す必要がある場合は、まず国・地域を尋ねます。案内のために正確な住所や氏名を一律に集める必要はありません。緊急通報先へ必要な場所を伝えることと、AIの会話へ詳しい住所を保存することを分けます。
日本の一般的な支援案内としては、厚生労働省のまもろうよ こころで、電話やSNSなどの相談方法、地域別に探すための案内を確認できます。これは複数の支援情報をまとめた公的サイトで、開いただけで相談員につながる機能ではありません。個別窓口を表示するときは、その提供元で対象地域、受付時間、対象年齢、言語、電話・文字相談の別を確かめます。
他害の切迫や暴力が起きており、日本で警察による緊急対応が必要な場合の110番は、警察庁の案内に示されています。緊急の対応と、後日の相談や情報整理は分けて案内します。すぐ危険があるのに、通常の問い合わせフォームの返信を待たせる設計にはしません。同じ案内では、緊急でない相談は最寄りの警察署または「#9110」と分けられています。
表示する窓口の管理記録には、公式の案内URL、確認日、対象地域、受付条件、変更時の担当者を残します。未確認の番号や受付時間をモデルの記憶だけで埋めず、確認できる公的な案内へ戻します。受付中という情報があっても、すぐ応答が得られると保証せず、つながらない場合に近くの人へ助けを求めるなど、別の接続手段を示します。
支援を受けやすい人だけを想定しない
未成年者、強い混乱の中にいる人、音声で話しにくい人、身近な人に助けを求めにくい人など、利用者の条件は異なります。年齢や障害、属性だけで危険と決め付けず、理解しやすい文の長さ、使える連絡方法、安全に頼れる相手を考えます。本人に不利益や危険をもたらす相手へ相談するよう誘導しないようにします。
子どもに支援者を勧める場合も、「親に話せばよい」と固定せず、安全に頼れる保護者、学校の先生、専門職などの選択肢を示します。家庭そのものが危険だと話している場合は、その文脈に合う保護・支援先を専門担当者と定めます。AIが不要な個人情報を聞き出したり、秘密の関係を持つよう誘ったりする表示は避けます。
有人対応へ引き継げるサービスでは、誰へ何が共有されるのか、本人が確認・訂正できる範囲を説明します。担当者が受け取っていないのに「引き継ぎ済み」と表示せず、依頼中、受領確認済み、応答待ちを区別します。受付時間外の代替経路や、緊急時に通常の有人対応を待たない案内も必要です。
理解と訂正を確認し、応答の限界を残す
案内を表示した後は、「電話と文字相談では、どちらを使えそうですか」「連絡できる人はいますか」など、行動の障害を確かめる短い問いを選びます。説明を読んだという反応だけで、実際に支援につながったことにはしません。国・地域や状況を誤解していたら、その場で訂正して案内を切り替えます。
設計の点検では、架空の相談文を使い、切迫した危険がある例、過去の体験を語る例、研究上の質問、所在地不明、窓口に接続できない例を分けて検討できます。期待するのは危険度の正解ラベルではなく、必要な安全確認、過剰な個人情報収集の回避、人の支援への案内、能力の正直な表示です。ここで挙げた例は未実施の検討案です。
表示文を製品に組み込む前には、精神保健の専門職に内容を確認してもらいます。公開前には、次の点も確かめます。
| 点検すること | 確かめる内容 |
|---|---|
| 表示の優先 | 危機の訴えが通常の回答に埋もれず、安全行動と相談先が先に示されるか |
| 連絡先 | 緊急連絡先が利用者の所在地に合うか。所在地が分からないときに、国や番号を推測していないか |
| 約束しないこと | AIが行えない通報・監視・同伴・秘密保持を約束していないか |
| 人への接続 | 受付時間、応答できない場合の表示、共有される情報の範囲を運用側と確認したか |
| 窓口の情報 | 対象・受付時間・連絡手段を、公開前と見直しのときに公式ページで確かめたか |
| 判定の限界 | 自動判定の見逃しと誤検知を前提に、曖昧な表現も軽く扱わない設計になっているか |
気持ちに寄り添う表現だけでも、相談先の一覧だけでも、支援のつながりは完成しません。利用者が今できる一歩を示し、できないことは説明し、必要な人へつながる経路を維持することが、応答と画面を一緒に設計する際の中心になります。
AIへの情緒的依存が懸念される場合の応答と支援の見直しは「AIへの情緒的依存が懸念されるときの応答と支援を組織で見直す」で解説しています。
基本から確認する：この記事の前提になる考え方は、「AIを使う前の安全確認チェックリスト（AIKYで確かめる12項目）」にまとめています。
