事業の悩みを相談する

AIに文書を書かせるとき、書かせてはいけないもの——「捏造ゼロ設計」の考え方

報告書や評価書の下書きをAIに任せたいけれど、事実でないことを書かれるのが怖い。そう感じている方の感覚は正しいと思います。結論から言えば、鍵はAIの精度を上げることではなく、「書かせない部分」をあらかじめ仕様で決めておく設計にあります。

この記事でわかること
  • 生成AIが事実でない記述を作ってしまう理由
  • 「書かせてよい部分」と「書かせない部分」を分ける基準
  • 捏造ゼロ設計を業務に組み込む5つの手順
  • 導入時によくある失敗と、その対処法

なぜ生成AIは「事実でないこと」を書いてしまうのか

捏造ゼロ設計とは、AIに文書の下書きをさせるときに、公開情報や提供資料から客観的に書ける部分だけを書かせ、専門家の判断が必要な部分は空欄と「要確認」の印で残すよう仕様で決めておく設計の考え方です。

生成AIは、文章の流れとして自然な言葉を選び続けることで文書を作ります。裏を返すと、根拠を持たない事柄でも、流れに合えばもっともらしく書けてしまいます。存在しない数値や出典が生成される現象は、一般にハルシネーションと呼ばれます。

雑談や下書きのアイデア出しなら、笑って直せば済む話です。しかし報告書や評価書で数値や結論が捏造されると、文書全体の信頼が崩れます。しかも文章がもっともらしいほど、読み手は誤りに気づきにくくなります。

大切なのは、これをAIの欠陥ではなく性質として受け止めることです。性質である以上、モデルの進化を待つのではなく、使い方の設計で受け止める必要があります。それが本記事で説明する「捏造ゼロ設計」の出発点です。

書かせてよい部分と書かせない部分——線引きの基準

原則はシンプルです。提供資料や公開情報から客観的に書ける部分は、AIに全力で書かせます。一方で、専門家の判断が必要な部分は、最初からAIに書かせません。埋めさせず、空欄のまま残します。

文書の構成要素AIの扱い例
資料からの転記書かせてよい住所・面積・提供資料内の数値
公開情報の整理出典を示して書かせる地域の概況、制度の一般的な説明
体裁・書式書かせてよい章立て、文体統一、レイアウト
専門家の判断書かせない(空欄+要確認)評価、結論、数値の決定

線引きに迷ったときの基準は一つです。「その記述の根拠を、渡した資料か公開情報の中に指させるか」。指させない記述は、どれだけ自然な文章になりそうでも、AIに書かせない側へ分類します。

「気をつけて使う」ではなく「仕様で守る」という考え方

線引きを決めても、それを「注意して使いましょう」という運用ルールにすると長続きしません。忙しい日、締切の前、担当者の交代。注意力に頼るルールは、そうした場面で静かに破られていきます。

AID CRAFTの場合:線引きをシステムの仕様として実装しています。判断が必要な箇所には何も書かせず、「要確認」の印だけを出力する。そう仕様で決めてしまえば、誰がいつ使っても線は越えられません。「気をつける」は破れますが、仕様は破れないのです。

こうした仕組みを自社だけで作るのが難しい場合は、外部と一緒に小さく作って育てる方法もあります。当方でも社内AI・業務自動化「ハカドル」として、人の確認を前提にした仕組みづくりを支援しています。

空欄を「要確認の一覧」に変えると仕事が変わる

書かせなかった空欄は、放置すればただの歯抜けの文書です。そこで、空欄の一つひとつに「要確認」の印を付け、文書のどこに何箇所あるかを一覧にして出力します。この一覧が、専門家の作業台になります。

すると仕事の形が変わります。「ゼロから書く」が「確認して埋める」になるのです。筆者が関わった実案件では、要確認箇所が150を超える文書でも、下書きの土台と一覧があるだけで作業の質が変わりました。確認すべき場所が明示されるため、見落としも減ります。

どんな文書に向いているか——業種別の一般例

向いているのは、書式が決まっていて、事実部分と判断部分を分けられて、繰り返し作成する文書です。逆に、毎回形式が大きく変わる文書や、ほぼ全体が判断でできている文書には向きません。

例えば製造業なら、検査成績書や作業標準書の定型部分が候補になります。士業なら、申請書類の基本情報欄や添付資料の整理。介護や医療の関連なら、記録類の整形や転記です。どの業種でも共通するのは、判断そのものは必ず人に残すという点です。

捏造ゼロ設計を導入する5つの手順

ここまでの考え方を、実際の業務に落とすときの手順です。一気にすべてを自動化しようとせず、文書を一つ選んで小さく始めることをおすすめします。

  1. 対象文書の選定:書式が決まっていて作成頻度の高い文書を一つ選び、完成品のサンプルを数件用意します。
  2. 要素の仕分け:文書を段落や項目の単位で「事実で書ける」「判断が必要」に分類し、判断箇所に印を付けます。
  3. 仕様への明文化:判断箇所は埋めずに空欄と「要確認」の印を出力するよう、指示文や仕様書に書き込みます。
  4. 過去案件での試運転:完成済みの案件で下書きを生成し、捏造や勝手な穴埋めがないか人の目で突き合わせます。
  5. 一覧運用の定着:要確認箇所の一覧を毎回出力し、「確認して埋める」を標準の手順として業務に組み込みます。

手順4の試運転は省略しないでください。正解が分かっている過去案件と比べることで、そのAIがどこで嘘をつきやすいかを、実害が出る前に把握できます。

よくある失敗と対処

失敗1:プロンプトの注意書きだけで防ごうとする

「捏造しないでください」と指示に書くだけでは、防ぎきれません。書くなというお願いより、書けない仕組みのほうが確実です。判断箇所を空欄で出力する形式まで指定し、出力後の検査も組み合わせてください。

失敗2:出力をそのまま提出してしまう

下書きの品質が上がってくると、確認が形だけになりがちです。要確認の一覧を必ず経由し、誰がいつ埋めたかが残る運用にしてください。確認の記録が残る形にすると、チェックが形骸化しにくくなります。

失敗3:最初から全部署・全文書に広げようとする

対象が広いほど、線引きの精度は落ちます。まず一つの文書で「確認して埋める」運用を定着させ、そこで得た仕分けの知見を次の文書に移す。この順番のほうが、結果的に早く広がります。

よくある質問

Q. 無料のチャットAIでも捏造ゼロ設計はできますか?

A. 考え方は同じように使えます。指示文に「判断箇所は空欄にして要確認と書く」と明記すれば、一定の効果はあります。ただし出力の検査や一覧化までは自動にならないため、確認の手間は仕組み化した場合より多く残ります。

Q. AIが書いた部分の責任は誰が負いますか?

A. 提出する文書の責任は、最終的に提出者である人と組織が負います。だからこそ、AIに書かせる範囲を事実の転記と整形に絞り、判断を人に残す設計が重要になります。責任を負える形にAIの仕事を絞る、と考えると分かりやすいはずです。

Q. 要確認箇所が多いと、かえって手間になりませんか?

A. 件数だけを見ると多く感じますが、比較の対象は「ゼロから全文を書く時間」です。転記と体裁が済んだ土台の上で確認だけを行うほうが、負担は軽くなるのが通常です。それでも重いと感じる場合は、対象文書の選び方を見直すサインです。

正直にお伝えすると、捏造ゼロ設計を導入しても、誤りの可能性はゼロにはなりません。転記のミスや資料の読み違いは起こり得ますし、最終確認の責任は常に人の側に残ります。この記事は「確認をなくす方法」ではなく、「確認を確実にする方法」の話です。

AIに文書を任せるときの分かれ道は、精度の高いAIを選ぶことではなく、書かせない部分を仕様で決めることにあります。まずは身近な定型文書を一つ選び、段落ごとに「事実か、判断か」を仕分けるところから始めてみてください。それだけでも、AIに任せてよい範囲がはっきり見えてくるはずです。

社内AI・業務自動化「ハカドル」

御社の業務フローに合わせて、人の確認を前提にしたAIの仕組みを小さく作って育てます。初期15万円〜。

ハカドルを見る

まずは自社で検討したい方へ:AI導入チェックリスト20(無料PDF・登録不要)/AI・業務改善のサービス内容

順教寺一咲
この記事を書いた人順教寺 一咲(AID CRAFT 代表)KAISER GROUP様の業務システムや、要確認箇所が150を超える専門文書を下書きするAIなど、実案件の開発を担当しています。代表プロフィール LinkedIn

用語に迷ったら用語解説へ。記事の根拠・実績と例示の区別は掲載情報・編集方針をご覧ください。地域でのご相談は石川・北陸の対応案内にまとめています。

事業の悩みを相談する