「ChatGPT」「チャットGPT」「chatgpt」「チャットジーピーティー」。自由に書いてもらうアンケートでは、同じものを指す答えがばらばらの書き方で集まります。このまま集計すると、同じ答えが4つに分かれて、順位や割合が正しく出ません。運営者は調査の仕事を15年続けてきて、この「表記ゆれ」をそろえる作業(名寄せ)は調査の基本作業だと考えています。AIに下書きを任せる場合も、最後の確認は人がするのが大事です。この記事では、その手順を紹介します。社内アンケートや問い合わせ履歴の整理にも使えます。
手順は3つ
| # | 手順 | ポイント |
|---|---|---|
| 1 | 答えを重複なしで一覧にする | Excelの「重複の削除」やピボットで、書き方の種類をすべて出す |
| 2 | AIに「そろえ方の対応表」を作らせる | 元の書き方→そろえた書き方の2列。元データは直接書き換えさせない |
| 3 | 人が対応表を確認してから反映する | 確認する3か所は下で説明 |
1. 答えを重複なしで一覧にする
最初に、自由記述の列から「書き方の種類」だけを取り出します。100件の回答でも、種類にすると30〜40行ほどになります。AIに渡す量が減り、確認もしやすくなります。
2. AIに「対応表」を作らせる
次のように頼みます。
下の一覧は、アンケートの自由回答です。同じものを指す書き方をまとめて、「元の書き方」と「そろえた書き方」の2列の表にしてください。確信が持てないものは、そろえずに「要確認」と書いてください。元の一覧にない言葉は足さないでください。
ポイントは2つです。「要確認」の逃げ道を作ることと、元データそのものではなく対応表を作らせることです。対応表なら、どの答えをどうまとめたかが、あとから見て分かります。
3. 人が確認する3か所
- まとめすぎていないか:似ているだけで別のものを、同じにしていないか(例:「Gemini」と「Google検索」)
- 「要確認」の行:AIが迷った行は、人が元の回答の前後を見て決める
- 件数が合うか:反映の前後で、回答の合計件数が変わっていないか
やってはいけないこと
AIに元データを渡して「きれいにして返して」と頼むと、気づかないうちに回答の一部が書き換わったり、抜けたりすることがあります。元データは必ずコピーを残し、直すのは対応表を使った置き換えだけにします。
自由回答の分類の例
運営者は、自由回答50件をAIに分類させて、人が確認する作業を試しました。AIの分類と人の判断が一致したのは44件で、6件は人が直しました。AIは速いのですが、人の確認なしではそのまま使えない、という結果でした。くわしくはnoteの記事にまとめています。
名寄せで迷いやすい例
対応表を確認するとき、判断に迷いやすいパターンを4つ挙げます。
- 全角・半角、大文字・小文字の違い:「ChatGPT」と「chatgpt」のように、意味が同じなら1つにそろえて問題ありません。
- 略称と正式名称:同じものを指すかどうか、回答の文脈で確認します。略称が複数の意味を持つ場合は、そろえません。
- 似ているが別のもの:まとめると意味が変わる組み合わせは、迷ったら「要確認」のまま残します。
- 1つの回答に複数の答え:「AとB」と書かれた回答を、分けて数えるのか1つとして数えるのかを、先に決めておきます。
決めたルールは、メモに残しておきます。次に同じ調査をするとき、同じ基準でそろえられるので、前回との比較も正しくできます。手作業のときも、AIを使うときも、基準を先に書いておくのが、ばらつきを防ぐいちばん確実な方法です。
編集部の視点
表記ゆれの整理は、地味ですが、結果の信頼性を左右する作業です。AIを使えば、対応表の下書きは短い時間で作れます。一方で、「どこまで同じものとして数えるか」を決めるのは、調査の目的を知っている人間にしかできません。AIに作らせて、人が決める、という分担がいちばん安心だと考えています。
出典
- 運営者の調査業務(15年)と、AIを使った自由回答の分類(note #5)にもとづく記載
※AIの機能や画面は変わることがあります。最新の内容は公式ページをご確認ください。
