無回答というエラーを防ぐ5つの方法

無回答バイアスと回答バイアスの違いとは何でしょうか。

すべてのバイアスは、回答バイアスと無回答バイアスの2つのカテゴリーに分類できます。バイアスとは何かを理解するには、これら両カテゴリーの内容を見て、違いを説明することが重要です。

回答バイアス とは研究の純サンプル集団における変数の真の値と、同じ研究の結果で得られた変数の値の差である、と定義できます。つまり、サンプル集団の回答者が実際に持っている意見や事実と異なる結果を引き起こすリサーチ内のすべての要素が、回答バイアスの原因となります。多くの場合、この種類のバイアスの原因は、回答者が誤った回答を寄せたり、回答が不正確に記録・分析されることです。

無回答バイアス は、サンプル集団内に回答しない人がいた時に起こります。大きな違いは、このタイプのエラーは、大量のデータの回収ではなく、回答がないことによるということです。もう少し技術的な言葉で説明すると、無回答バイアスとは、元のサンプルリスト(アンケートの招待が送られた人)における真の値と、実際のサンプル(実際に回答した人)における真の値の差にあたります。原因の多くは、回答者が参加を拒否したり、回答者に到達できないことにあります。

以前のブログでバイアスとエラーについて述べたように、エラーの元がその性質において系統的でなければ、バイアスの一種とはみなされません。無回答バイアスもこのルールの例外ではありません。あるアンケートが、予定回答者のうち特定のグループにとって参加を拒否したり、アンケート期間中に不在になっている可能性が高くなるような方法あるいはデザインになっている場合、系統的なバイアスを作り出していることになります。以下に2つの例を挙げます。

1. デリケートな情報を聞く:納税の遵守について測定するアンケートを考えてみましょう。税法にきちんと従っていない市民は、このアンケートに記入することに非常に抵抗感を感じ、回答を拒否する可能性が高いでしょう。従って明らかに、データは本来のサンプルよりも法を順守する純サンプルに傾いてバイアスがかかっているでしょう。法的にデリケートな情報を尋ねるアンケートにおける無回答バイアスは、データを回収しているのが政府やその他の行政組織であると記載されている時にとりわけ顕著になることが証明されています!

2. 招待状の不具合: 多くのリサーチ担当者は、招待状を事前に適切にテストしないことで無回答バイアスを作り上げています。例えば、若年成人層やビジネス部門で働いている人の大部分は、スマートフォンを使用して大部分のEメールに回答します。もしアンケートの招待が携帯端末にはうまく対応していない メールで提供された場合、スマートフォン使用者の回答率は大幅に下がるでしょう。これにより、純サンプルはスマートフォン使用者というデモグラフィックの意見を十分には代弁しなくなります。

無回答バイアスを避ける方法

無回答バイアスを完全に削除することはほぼ不可能ですが、可能な限り避ける方法はいくつかあります。もちろんプロ仕様の、念入りに構成・作成されたアンケートを使うのも回答完了率を上げる一助になりますが、リサーチプロセスにご自分で手を加えて、アンケートの無回答バイアスを低く抑える5つの方法をご紹介します。

1. アンケート媒体を慎重に設定する:上記の例で説明したように、見込み回答者が使用する可能性のあるすべてのメディア・端末でアンケートとその招待状をスムーズに動作させることは非常に重要です。読み込み時間が長すぎたり、質問が画面に収まらなかったり、アンケートを端末に対応させる手間がかかる招待状は無視される可能性が非常に高くなります。アンケート対象者の使用するコミュニケーション用ソフトウェアや端末の異なる方式を知り、おのおのにおいてアンケートと招待状の事前テストを行い、回答者全員におけるアンケートのスムーズな動作を確認することを強くおすすめします。

2. データの回収期間はあせらずに長くとる:リサーチ担当が行う可能性のある最悪な出来事の一つは、厳しい締め切りを守るために、データ回収期間を絞り込むことです。回答者がアンケートに答える期間に余裕を持たせないと、研究における無回答バイアスの程度は著しく上昇します。幸運なことに、柔軟性はオンラインアンケートの主要な特長の1つです。オンラインアンケートでは日中の特定の時間に完了する必要のある(電話や対面)インタビューを行う必要がありません。ただし、アンケートを数日しか実施しなければ、見込み回答者が回答する可能性を大幅に限定する可能性はまだあります。代わりに、アンケートの回収期間を最低2週間に延長して、参加者が忙しいスケジュールの中でも週の好きな日を選べるようにしましょう。

3. 見込み回答者にリマインダーを送信する:データ回収期間を通してリマインダーメールを数通送信すると、完了した回答がより効果的に集まります。最初のリマインダーメールは回収期間の中盤に、二度目は回収期間終了間近に送信するのがおすすめです。メーリングリストに載っていて、アンケートを完了済みの回答者を煩わさないように気を付けましょう!

4. 秘密情報を保持する:個人情報を必要とするアンケートは必ず、回収されたデータが完全に機密扱いされることを回答者に保証しなければなりません。デリケートな問題に焦点を当てたアンケートではとりわけ重要です。招待状を読んだ人が、自分の提供した情報はサンプル集団全体の一部として表示され、個人を特定しないことを理解するようにしましょう。

5. インセンティブを利用する:多くの人は、質問に答える時間がないと思って、アンケートへの回答を拒否します。通常は、研究への参加を促すために、インセンティブが必要です。インセンティブは、アンケートの長さや正しい回答者の見つけにくさ(例:片足の、15世紀のスプーン収集家など)、質問する情報などによって最低限から比較的高い価値までの幅になります。多くの回答者にとって、あなたの研究は特に興味をひくものではないかもしれません。時間と引き換えにアンケートに答えても良いと感じさせる必要を忘れないようにしましょう。

フィードバックを受け取る準備はできていますか? 今すぐ次のアンケートを送信しましょう。→

SurveyMonkeyが好奇心に火をつける様子をご覧ください