アンケートの集計、売上の表、会議資料の要約。AIに頼むと、数分できれいな表や文章ができあがります。ただ、見た目が整っているほど、数字の間違いに気づきにくくなります。運営者は調査の仕事を15年続けてきて、いまは集計やレポートづくりにAI(Claude)を使っていますが、AIが出した数字は、そのまま使わないと決めています。この記事では、AIが作った表や資料の数字を短い時間で確かめる5つのチェックを紹介します。特別な道具は要らず、どの部署の資料にも使えます。
なぜ確かめる必要があるのか
AIは、もっともらしい文章や数字を作るのが得意です。その分、元のデータにない数字や、少し言い過ぎた表現が混ざることがあります。Claudeを開発するAnthropicの公式ドキュメントでも、間違い(ハルシネーション)を減らす方法を紹介したうえで、「減らせるが、なくせるわけではない。大事な情報は確かめること」としています。人に渡す資料ほど、最後の確認は人の仕事です。
数字を確かめる5つのチェック
| # | チェック | 見る所 |
|---|---|---|
| 1 | 合計と分母 | 割合を足して100%になるか。「何人のうちの何%か」が書いてあるか |
| 2 | 元データと突き合わせ | 表の数字を1〜2か所だけ、元のデータで数え直す |
| 3 | 言葉と数字のずれ | 「半数以上」「2人に1人」「急増」などの言い方が、数字と合っているか |
| 4 | 根拠を出させる | AIに、どのデータ・どの文から出した数字かを示させる |
| 5 | 別の方法で出し直す | 同じ集計をExcelや別の頼み方でもう一度出して、結果が同じか比べる |
1. 合計と分母を見る
いちばん簡単で、いちばん効くチェックです。1つだけ選ぶ質問なら、割合を足すと100%前後になるはずです。大きくずれていたら、どこかがおかしいサインです。また、「利用者の60%」と「全員の60%」では意味がまったく違います。何人のうちの割合なのか(分母)が書いていない表は、そのまま使わないようにしています。
2. 元データと1〜2か所だけ突き合わせる
全部を数え直す必要はありません。目立つ数字(いちばん大きい数字や、結論に使う数字)を1〜2か所選び、元のデータで数え直します。Excelなら、フィルターをかけて件数を見るだけで確かめられます。ここが合っていれば、ほかも合っている可能性が高く、合っていなければ全体を見直します。
3. 言葉と数字のずれを見る
見落としやすいのがここです。数字は正しくても、説明の言葉が言い過ぎていることがあります。運営者がClaudeで見本の調査レポート(架空のデータ)を作ったとき、見出しの案に「2人に1人」と書かれていましたが、元の数字は49.2%でした。半分に届いていないので、「約半数」に直しました。ほかにも、「〜が原因」と書いてあるのに、データからは「関係がありそう」までしか言えない、ということもよくあります。
4. AIに根拠を出させる
頼むときに、次の一文を足しておくと確かめやすくなります。
それぞれの数字について、元のデータのどの列・どの行から出したかを書いてください。データから分からないことは「分からない」と書いてください。
Anthropicの公式ドキュメントでも、「分からないと言ってよい」と伝えることや、主張ごとに根拠となる引用を示させ、根拠のないものを外すことが、間違いを減らす方法として紹介されています。資料の要約なら、「使ってよいのは添付した資料だけ」と伝えるのも効果があります。
5. 別の方法でもう一度出す
大事な数字は、別の方法でもう一度出して比べます。たとえば、AIが作った集計を、Excelのピボットテーブルでも作ってみる。あるいは、新しい会話で同じデータを渡して、同じ集計を頼んでみる。結果が違えば、どちらかが間違っています。公式ドキュメントでも、同じ頼み方を何度か試し、答えが食い違う所を間違いの候補として扱う方法が紹介されています。
運営者が実際にやっている確認の流れ
- AIに集計とグラフ、要点の文章まで作ってもらう
- 合計と分母を見る(チェック1)
- 結論に使う数字を2か所、元データで数え直す(チェック2)
- 見出しと要点の言葉を、数字と見比べる(チェック3)
- 人に出す資料なら、別の方法でもう一度集計して比べる(チェック5)
全部を毎回やる必要はなく、社内向けのメモなら1〜3だけでも十分です。AIのおかげで短くなった時間の一部を、この確認に回すイメージです。
編集部の視点
調査の仕事では、数字が1つ違うだけで、レポート全体の信用がなくなります。AIを使うようになって集計はかなり速くなりましたが、そのぶん「確かめる時間」は意識して残すようにしています。とくに気をつけているのは、数字そのものより、見出しや要約の言い回しです。AIは読みやすい言葉を選んでくれる半面、少し強めの表現になりがちです。最後に人が数字と言葉を見比べる。この一手間で、安心して人に渡せる資料になると考えています。
出典
※AIの機能や画面は変わることがあります。最新の内容は公式ページをご確認ください。
