アンケートデータを歪める最もタチの悪い回答者は無関心な人達だと思っていませんか？時代は変わりました。そう、ロボットです。
AIを搭載したボットがオンラインの会話に潜り込み、ディスカッションフォーラムやソーシャルメディアで人間に成りすますようになって久しくなります（イーロン・マスク氏に聞いてみましょう）。ボットはさまざまなオンラインチャンネルに大量の迷惑メッセージを送っていますが、今やあなたのアンケートデータも例外ではありません。
アンケートを狙う理由は？最も一般的な動機は、インセンティブ付きのアンケートで直接金銭を得るため、あるいは、アンケートへの参加を不正行為や詐欺の足がかりにするためです。そして、さらに危険な動機として、政治的・商業的な利益のためにデータやランク付け、世論を故意に歪める場合すらあります。
もちろん、悪い面ばかりではありません。AIと機械学習は企業、特にマーケターにメリットをもたらします。リードジェネレーションやカスタマーサービスでのチャットボットの活用から、マーケティングキャンペーンの自動化に至るまで、マーケターはAIを概ね歓迎しています。最近実施されたSurveyMonkeyの調査によると、マーケターの73%が、AIによって業務効率が改善されていると感じています。
しかし、市場調査の担当者に限って言えば、アンケートフォームの入力に使用されるAI搭載型ボットは百害あって一利なし。悪いデータを生む存在でしかありません。アンケートデータは回答の質によってその価値が決まります。そこで私たちはSurveyMonkeyプラットフォームの腕試しをするため、チャットGPTを活用したボットを開発しました。課せられた課題は、ボットが生成する偽の回答を見つけ出すためにアンケートの専門家が採用する一般的な方法を、AI搭載型ボットがいかに出し抜くかを理解することです。
AI搭載型ボットはどこまでアンケートデータに影響を与えているのか
ボットの能力と、市場調査者がボットを検出する際に直面する課題に関して初期の調査結果がでたので、その一部をご紹介します。
- ボットはハニーポット質問をスキップする。私たちのテスト用アンケートには、ハニーポット質問と呼ばれる「罠」を紛れ込ませていました。これは白い背景に白い文字で表示される質問で、人間には認識できませんが、ボットは通常検出します。ところが、この罠を検出してスキップするという指示をボットは難なくクリアしました。
- ボットはブレーキを踏む。ボットは驚くほど速く回答できるため、市場調査者はページあたりの所要時間やアンケート全体に費やした時間を測定する品質指標として「スピードフラグ」を設定し、対策を講じることができます。しかし、私たちのボットはこのスピードフラグも回避することに成功しました。つまり、人間と同じように質問と質問のあいだで間を取り、複数選択式の質問では複数の選択肢を選び、自由形式の質問では一文字一文字入力していくなど、アンケート全体で本来ボットには必要のない時間のかけ方をしたのです。
- ボットは人間のような一貫性を生む。ボットはChatGPTを使ってアンケートの文脈を理解することもできました。ただランダムに選択肢を選ぶのではなく、アンケート全体の情報を読み取ってから質問に答えます。たとえば、アンケートのタイトルに「市場調査」とあるのを検出し、スクリーニング質問で「市場調査」を選択する可能性を高めることができました。さらに私たちは、自由形式の質問で人間のように答えるよう指示することにも成功しました。典型的なボット調の語り口はほぼ影を潜めた、（長い文章や段落、一貫した正しい句読点、単調でない様々な単語やフレーズの使用など）多様性のある回答です。たとえば、「市場調査でAIを使用する際に最も楽しみなことは何ですか」という質問には次のような回答が生成されました。
- 「生産性の向上です。」
- 「顧客に関するより深いインサイトを獲得すること」
- 「データ分析と意思決定の改善」
- 「AIが洞察を導き出すスピード感を最も楽しみにしています。」
アンケートにおけるAIボット検出のベストプラクティス
もちろん絶対確実な解決策はありませんが、以下の例のようなハードルや適応戦略を取り入れることで、ボットを検出し、アンケートデータに与える影響を最小限に抑えることができます。
- スクリーニング質問の前に提示する文脈を制限する。すでに述べたように、私たちが開発したボットはChateGPTを利用して文脈を理解し、論理的で人間に近い回答をすることができました。ボットによるスクリーニング質問の予測や回答を難しくするために、最初はアンケートのタイトルを隠して、一連のスクリーニング質問の後にアンケートのトピックを提示するようにしましょう。
- ボットが処理しにくいアンケート要素を使う。ボットはアンケートのWebページ内のコードに表示されているアンケートタイトル、質問、回答選択肢をいとも簡単に検出しました。ボットが質問を理解し、解釈するのを防ぐため、文字ではなく画像を使用します。
- 人間の複雑な操作による確認を組み込む。ボットは私たちの実験でWebページを上下にスクロールする、入力に時間をかける、質問と質問のあいだで間をあけるなど、人間がアンケートに回答するときの動作を巧みに模倣することができました。アンケートでボットの活動を漏れなく検出するには、CAPTCHAなどの高度なボット検出手段を実装したり、マウスの動きやタイピングのパターンを分析したりすると良いでしょう。
- 複数送信を防ぐ。他にボットにより起こりうる損害は何でしょうか？そう、1つのアンケートに何度も回答することです。ボットの中には異なる発信元IPアドレスを駆使するものもありますが、特に同じIPアドレスからの回答者で、同じアンケートに何度も回答できないようにブロックして「票の水増し」対策をすることができます。
- ロジックチェックとひっかけ問題を追加する。他にも、回答者が集中し、一貫した回答をしているかどうかを確認する質問を加えることでボットを検出できます（こちらの引っかけ問題の例を参照してください）。
実験で示したように、今日のAIを搭載したボットは高性能で巧妙なため、人間らしい操作をまねることができ、市場調査者が使用する一般的なボット検出手法の多くを回避できます。
ボットが可能にするアンケートでの不正行為は、市場調査業界に深刻な脅威を与えています。もしこのまま野放しにしていれば、データの完全性とインサイトの信頼性が損なわれ、甚大な被害につながる可能性があるのです。しかし今、私たちが敵を知れば知るほど、イノベーションが進んで適応力が高まり、ボットの悪影響を排除した、インサイトと行動に役立つアンケートデータを導き出すことができるでしょう。
