生成AIのハルシネーションとは？
生成AIの使用において最も気をつけなければいけないことが、「ハルシネーション」です。
ハルシネーションとは「AIが事実に基づかない、または誤った情報を自信を持って生成すること」ことを言います。
生成AIの登場直後、「生成AIはすぐに嘘をつく」「ChatGPTはデタラメで役に立たない」といったことが言われました。
技術の進歩によってAIがハルシネーションを起こす頻度は格段に下がりました。
しかし、いまだに誤った回答をしてしまうことはよくあります。
このハルシネーションの対策方法について、Claudeを提供するANTHROPIC社が「Reduce hallucinations」という記事で７つのテクニックを紹介しています。
この記事では、ANTHROPIC社が提唱するハルシネーションを減らす７つのテクニックと、その具体的なプロンプトについて解説します。
ハルシネーション対策：基本的な三つのテクニック
①AIに「わからない」と言わせる
AIに対して、「わからないことがあれば、はっきりとわからないと言ってもいいですよ」と伝えます。これにより、AIが不確かな情報を出力するリスクが大幅に減ります。
例：以下の財務データを分析し、XYZ社の財務状況について300字程度で説明してください。データに明示されていない情報や、確実に判断できないことがある場合は、「その情報はデータに含まれていません」または「このデータからは判断できません」と明確に述べてください。
■XYZ社財務データ（単位：百万円）
売上高: 100,000
営業利益: 10,000
当期純利益: 7,000
総資産: 150,000
負債: 80,000
純資産: 70,000
■分析には以下の点を含めてください：
・今後の課題
・収益性
・財務健全性
・成長性
②直接引用を使う
長い文書を分析する場合、まずAIに関連部分を正確に引用させます。これにより、AIの回答が実際の文書内容に基づいたものになります。
例：以下の短い記事を分析してください。まず、記事の主要なポイントに関連する部分を正確に引用してください。その後、それらの引用を使って記事の要約を作成してください。
記事：
近年、日本では少子高齢化が進んでいます。2022年の統計によると、65歳以上の高齢者人口は総人口の29.1%を占めています。一方、15歳未満の子供の割合は11.7%にまで低下しています。この傾向は、労働力の減少や社会保障制度への負担増加など、様々な社会問題を引き起こしています。政府は、この問題に対処するため、子育て支援や高齢者の就労促進などの政策を実施しています。
③引用で検証する
AIに各主張の根拠となる引用を示させます。引用が見つからない場合は、その主張を取り下げるよう指示します。
例：以下の製品説明書を基に、新製品のプレスリリースを作成してください。プレスリリースの各主張について、それを裏付ける説明書からの直接的な引用を見つけてください。主張の裏付けとなる引用が見つからない場合は、その主張をプレスリリースから削除し、削除した箇所を空の[]括弧で囲んでください。
■製品説明書
製品名：スマートウォッチX1
特徴：
– 心拍数、血圧、血中酸素濃度を24時間測定
– 50m防水
– バッテリー持続時間：通常使用で5日間
– GPSによる位置情報記録
– スマートフォンとの連携でメッセージ通知
価格：39,800円（税込）
発売日：2024年4月1日
ハルシネーション対策：高度な四つのテクニック
④思考過程の検証：
AIに最終的な答えだけでなく、そこに至る思考過程も説明させます。これにより、論理の誤りを見つけやすくなります。
例：以下の問題を解いてください。ただし、最終的な答えを出す前に、あなたの思考過程を段階的に説明してください。各ステップの理由も述べてください。
■問題
ある町の人口は毎年5%ずつ増加しています。現在の人口が10,000人だとすると、3年後の人口は何人になりますか？小数点以下は切り捨てて整数で答えてください。
⑤複数回の実行と比較
同じ質問を複数回行い、回答を比較します。回答に矛盾があれば、それはハルシネーションの可能性があります。
例：次の質問に3回答えてください。それぞれの回答を[回答1]、[回答2]、[回答3]のように分けて記述してください。その後、3つの回答を比較し、矛盾点や違いがあれば指摘してください。
■日本の四季の特徴について、それぞれ1文で説明してください。
⑥段階的な改善
AIの回答を基に、さらに詳しく質問します。これにより、前の回答の矛盾を見つけたり、より正確な情報を得たりできます。
例：
ステップ1: 「再生可能エネルギー」について、50字以内で簡単に説明してください。
ステップ2: ステップ1の回答を基に、以下の質問に答えてください。
a) 再生可能エネルギーの主な種類を3つ挙げてください。
b) 再生可能エネルギーの最大の利点は何ですか？
ステップ3: ステップ1と2の回答を踏まえて、再生可能エネルギーの普及促進策について、200字程度の提案を作成してください。
⑦外部知識の制限
AIに対して、「与えられた情報のみを使って回答してください」と明確に指示します。これにより、AIが不確かな一般知識を使用するリスクを減らせます。
例：以下の情報のみを使用して質問に答えてください。この情報に含まれていない外部知識は使用しないでください。情報が不足している場合は、「与えられた情報では答えられません」と明確に述べてください。
■情報
スマートフォンX
– 画面サイズ: 6.1インチ
– バッテリー容量: 3000mAh
– カメラ: メイン48MP、広角12MP、望遠8MP
– 重量: 180g – 価格: 89,800円（税込）
■質問
1. スマートフォンXの画面サイズは何インチですか？
2. スマートフォンXのバッテリー持続時間はどのくらいですか？
3. スマートフォンXのカメラ構成を教えてください。
4. スマートフォンXの重量と価格はいくらですか？
5. スマートフォンXは防水機能がありますか？
まとめ
生成AIのハルシネーションは、その使用において最も注意すべき点です。
ANTHROPIC社が提唱する7つのテクニックは、このハルシネーションのリスクを軽減するための効果的な方法を提供しています。
- AIに「わからない」と言わせる
- 直接引用を使う
- 引用で検証する
- 思考過程の検証
- 複数回の実行と比較
- 段階的な改善
- 外部知識の制限
これらのテクニックを理解し、実践することで、生成AIをより安全かつ効果的に活用することが可能となります。
誤った情報を使用してしまわないよう、しっかりとハルシネーション対策をしましょう。