コンセプトテストの究極ガイド

Eric Van Susteren
コンテンツストラテジスト

目次
────

この数字について考えてみましょう。調査、開発、マーケティング、セールス、販促イベントなど、製品のありとあらゆる側面に膨大なお金をかけたはずです。その結果が、消費者の求めていない製品だったとは。無駄になった時間とお金を、もっと投資収益率の高い何かに費やせば良かったのに、と思いませんか。

恐ろしいシナリオですよね。でも、ちょっと見方を変えてみましょう。

候補に挙がっていたのに、日の目を見なかったアイデアがたくさんあるはずです。いまいち自信がなかったもの、上司に気に入ってもらえなかったもの、絶対売れるという証拠が揃わなかったもの。

ここで、もう1つの、ある意味非公式なデータポイントをご紹介します。これはWayne Gretzkyの言葉だと言われていますが、Michael Jordan、あるいはMichael Scottだという人もいます。

打たないシュートは100%外れる。

しかしWayneはやみくもにシュートを打ったわけではありません。パックがスティックを離れる瞬間に、得点できるかどうかが彼にはわかっていました。彼のシュートは計算されて磨かれ、テストされたシュートだったからです。

ビジネスの世界で、Wayneのような第六感を身につけられるだけのシュートを打つには、時間もお金も足りないのが現実です。そこで活躍するのが、コンセプトテストです。

コンセプトテストとは、コンセプト（製品、広告キャンペーンなど）を市場に出す前に、それが消費者にどのように受け止められるかを評価するプロセスです。コンセプトテストにはさまざまな手法がありますが、ここではもっとも一般的なアンケートを使った手法を取り上げます。

コンセプトテストは先ほど提示した2つの問題にスマートに対処して、次のようなメリットをもたらします。

要するに、よく練ったプロフェッショナルなコンセプトテストを実施すれば、お金が節約できます。

独自のコンセプトテストプログラムを作成して実施する方法を、一から十までお教えします。参考となる例も随所でご紹介しましょう。

このガイドで使用する手法は、製品開発やパッケージテスト、メッセージングといった他の使用事例にも応用できますが、この記事では名前、ロゴ、広告の各テストの3つに重点を置きます。

このガイドではコンセプトテストの詳細を学びながら例としてアンケートを作成しますが、それは独自のテストを行う際に参考にできます。本題に移る前にSurveyMonkeyのメリットについて一言。SurveyMonkeyにはさまざまなエキスパートソリューションが用意されているので、手間のかかる作業を省略してコンセプトテスト用アンケートを簡単に作成して分析し、ターゲット層から信頼の置ける回答をすばやく得られます。

このガイドで学ぶコンセプトテストの原則には、すばらしい特性があります。それは、プロジェクトのあらゆる過程でさまざまな目的に利用できる、という点です。ほんの少しピント調整が必要なだけです。

アンケートのデザインを考える前に第一にすべきことは、目標の定義です。具体的に考える必要があります。なぜなら、目標によってテストのあらゆる属性が変わってくるからです。優れたアンケートは、次の3つの問いに答えてくれます。

下のペットフードのパッケージをご覧ください。コンセプトテストを行う場合に、目標を「良いパッケージかどうかを確認する」としただけでは足りません。上記の3つの問いに答えるような、具体的な目標を設定する必要があります。

我が社のペットフードのパッケージデザインについてフィードバックを得たい。

ペットの飼い主の皆様に、我が社のパッケージデザインを見たときに製品を買う気になるかどうかが聞きたい。また、パッケージによって中身が高品質な製品だと思わせるようなデザインであるかも知りたい。その結果を参考にして、パッケージを採用するかデザインし直すかを決めたい。

多くの人は何がテストしたいのかを漠然と把握していながら、それを具体的な目標に変換する頭脳労働を怠っています。しかし、この手間をかけてテストの焦点を定めることで、作成作業がずっと楽になって最終的には結果の質が改善されるのです。

ペットフードの潜在的顧客であるペットの飼い主をターゲット層に設定しました。

テストする広告は1つだけですが、高いレベルの確実性が求められます。なぜなら、このデータによって広告デザインの成否が分かれる可能性があるからです。

テストするコンセプトが1つだけで目標も絞られているので、比較的早く簡単にアンケートを作成して実施できるはずです。

聞きたいことは決まっています。製品の購入意思、品質、魅力、価値についてです。目標の設定に時間を割いたおかげで、質問はもう書けたも同然です！

テストの目的を詳しく定義すると、目覚ましい効果が表れます。計画や基本的な設計作業の大部分がすでに終わっているのです。これが、コンセプトテストの計画において目標の設定が重要である理由です。

目標を立てたら、どんな種類のコンセプトテストを作成するか、いつ実施するかを検討します。テストのタイミングは、何をテストするのか、製品がライフサイクルのどの段階にあるかに大きく左右されます。

テストの実施時期について考える際は上のグラフが参考になりますが、コンセプトテストの長所はその柔軟さです。

プロセスの早い段階では、アンケートを通じてコンセプトの方向性が正しいかどうかを大まかに判断できます。あるいは、ほぼ完成しているコンセプトであれば、広告やロゴの色、フォント、テーマといった具体的な要素についてフィードバックを得ることで、微調整を加えられます。コンセプト、ロゴ、広告が1つしかなくても、複数の代替案をテストできます。

実際には、多くのコンセプトテストがどこか中間の際どい領域に位置していて、その位置からそれが使えるコンセプトなのか、どれが最良のコンセプトなのかを判断しなければなりません。

各種のテストはそれぞれ異なる役割を果たし、必要な手間もさまざまであり、プロジェクトのタイムラインにおいて異なる段階に適しています。

下のチャートを見てください。実施するコンセプトテストの種類や実施時期がプロジェクトのタイムラインに大きな影響を及ぼすことがわかるでしょう。このトピックについては後で詳述しますが、このチャートを参考にすれば、プロジェクトを完了するのに十分な時間が残っているかどうかを判断できます。

コンセプトテストの中核は刺激です。では、刺激とは何を指すのでしょうか。この気取ったマーケティング用語は、実際のところ、個々のコンセプト、広告、名前、パッケージといったテスト対象を指すに過ぎません。コンセプトAをコンセプトBとの比較でテストする場合は、どちらも「刺激」と呼ばれます。刺激は、次の3つのカテゴリーに分類できます。

刺激は常に、整った、一貫した状態で提示することが大切です。プロフェッショナルな印象を与えるためだけではありません。ちょっとした何かで回答者にバイアスをかけてしまうことがないように、細心の注意を払う必要があるためです。

各種の刺激をどうすればプロのように提示できるか、ヒント（と例）をご紹介しましょう。

ペットフードメーカーの会社名を決めるアンケートでは、テキスト形式の刺激が上手に表示されています。どんな点が上手なのでしょうか？

上の例では、検討対象が「GoodBoy」という名前であることは明らかです。しかし、質問に「GoodBoy」という言葉がなかったとしたら、何について聞かれた質問なのかわからないでしょう。

ペットフードの広告テストアンケートまたはロゴテストアンケートを例に取ってみましょう。

重要: これらのアンケート例では、刺激の画像をアンケートページの冒頭に表示して、質問では刺激に言及しているだけです。SurveyMonkeyで同じアプローチを採用する場合は、1度に1つの質問機能をオフにすることを忘お忘れなく。そうすれば、回答者が画像と質問の間を簡単に行き来できるようになります。

ビデオの場合は他の種類の刺激とは異なり、アンケートに組み込む前にビデオ自体をホストする場所を見つけなければなりません。幸い、YouTubeのようなサイトを使えばとても簡単にビデオをホストできます。

まだ放映されたことがないビデオやプライバシー上の問題が懸念されるビデオを使う場合は、Vimeoのように高度なプライバシーオプションを提供している動画サイトが適しているでしょう。

ちょっと待って！用意した刺激はプロジェクト計画にふさわしいでしょうか。

事前の計画に費やした手間を無駄にしてはいけません！テスト対象の刺激が用意できたら、定義した計画にいったん立ち返ってみましょう。刺激は本当に目標に合っているでしょうか？

公正なテストになっていますか？完全に仕上がっているデザインと未完成のデザインを比べたら、どちらが勝つかは明らかです。

コンセプトテストの基本要素は刺激ですが、刺激について聞く質問もそれに劣らず重要です。コンセプトテストでは、評価基準、つまり回答者が刺激を評価する際に使う尺度が質問の鍵を握ります。

第1章でコンセプトテストの計画段階における目標設定の重要性をご説明しましたが、それが実り始めるのがこの段階です。コンセプトテストの評価基準は目標によって決まるからです。

目標が明確に定義されていれば、この部分は楽な作業になります。明確に定義されていない場合は、苦労するでしょう。定義した目標を下の表と照らし合わせてみてください。

プロジェクトの目標に最もふさわしい評価基準はどれですか。すべて書き留めてください。いくつでもかまいません。

目標が2つの広告コンセプトの効果を比較することであれば、評価基準として購入意思、関連性、オリジナリティ、感情を使うのが適切でしょう。

新しいロゴが目立つかどうかを査定するのが目標であれば、可視性、外観、見つけやすさ、オリジナリティを評価してもらいましょう。

ここで、上司に最終結果を披露する場面を想像してみてください。自分のコンセプトが綿密にテストした最適なコンセプトであることを納得してもらうには、どのような特性を強調すべきでしょうか。

刺激をアンケートの中で公正に、一貫した形で表示することが大切だという点にはすでに触れました。同じことが質問にも当てはまります。

簡単に事を進めるために、刺激の評価に5段階のリッカート尺度を使用することをお勧めします。特にコンセプトテストに慣れていない方には最適です。リッカート尺度の質問は選択回答形式で、たとえば「大いにそう思う」から「まったくそう思わない」までのように、両極端な評価の間に複数の選択肢を提示します。

リッカート尺度のメリットは、分析が簡単で選択肢が一貫していて、回答者が直感的に理解できる点です。

しかし最も重要なのは、リッカート尺度の選択肢が一貫したロジックに従っている点です。そのため、任意の評価基準をはめ込むだけでコンセプトテストに適した質問ができあがります。たとえば「オリジナリティ」を測定したいとしましょう。

次のようなリッカート尺度質問テンプレートにその言葉を組み込んでみましょう。

刺激はどの程度 _____ がありますか。

A. 非常に _____ がある
B. かなり _____ がある
C. まあまあ _____ がある
D. あまり _____ がない
E. まったく _____ がない

それだけで完全な質問ができあがります。

このロゴはどの程度オリジナリティがありますか。

A. 非常にオリジナリティがある
B. かなりオリジナリティがあるC. まあまあオリジナリティがある
D. あまりオリジナリティがない
E. まったくオリジナリティがない

この方法なら、コンセプトテストに使いたい評価基準を簡単に質問に変えられます。もっと手軽に済ませたいなら、SurveyMonkeyの質問バンクを見れば、上のグラフにある評価基準を組み込んだ質問がそのまま使える形で用意されています。

プロのヒント: SurveyMonkey Audienceのようなアンケートパネルを利用して回答を有料で得ている場合は、強制選択式、あるいは必須回答式の質問を作成するのが適切です。そうすれば、すべての質問に回答してもらえます。

目標を定めて刺激を用意し、評価基準を適切な質問の形に変えたところで、今度は実際にコンセプトテスト用アンケートの作成を始めましょう！ありがたいことに、必要なパーツはすでに揃っています。あとは、一貫したアンケートデザインの中にそれを配置するだけです。

SurveyMonkeyでは、一般に使用できる次のようなアンケートデザインをお勧めしています。以降、各種の質問について詳しく解説して、使い方をご紹介していきます。

基本的には自分で作った刺激と質問をこのアウトラインにはめ込めばいいのですが、アンケートのデザインを左右する要因が2つだけあります。テスト対象である刺激の数と、アンケートがモナディック法なのかシークエンシャルモナディック法なのか、です。では、詳しく見ていきましょう。

モナディック法とシークエンシャルモナディック法は、回答者に刺激を提示する2つの手法です。それぞれ長所短所がありますが、どちらもコンセプトテスト用アンケートには欠かせません。次の図は、2つの手法をわかりやすく説明したものです。

それぞれの手法をどのような場合に使用するかについては別の記事で詳述しているので、ここでは要点だけをまとめます。

モナディック法のテストでは、回答者を複数のグループに分けて各グループに異なる刺激を見せます。1つの回答者集団を無作為にグループ分けしただけなので、各グループの回答を比較して「最も優れた」刺激を判定することは公正なやり方です。

シークエンシャルモナディック法では、回答者に複数またはすべての刺激を見せます。刺激をランダムな順序で表示することで、回答を比較して「最も優れた」刺激を判定できるようになります。この2つの種類のテストについて、長所と短所を簡単にまとめると次のようになります。

長所:

短所:

長所:

短所:

どちらの手法にすべきかを決めるうえで重要な要因については後で取り上げますが、ここでは2つの手法の違いを理解しましょう。

モナディック法とシークエンシャルモナディック法のどちらを使う場合でも、質問の数は30以下に抑えましょう。それを超えると回答者に過度の負担がかかって、途中でやめてしまう人が出たりデータの質が損なわれたりします。

「そんなにたくさん質問するつもりはない」と思われるかも知れませんが、複数の刺激を表示してそれぞれについて複数の質問をし、さらにスクリーニング質問やデモグラフィック質問を追加すれば、30個なんてあっと言う間です。

次のように計算することをお勧めします。

テスト対象である刺激の数と、それぞれについて評価してもらう質問の数を掛け合わせた値が25を超えないようにします。そうすれば、他の種類の質問をするだけの余裕が確保できます。

アンケートの質問の数が30に届かなくても、一向にかまいません。

質問が10個あまりのアンケートでも的を射た内容であれば、30個の質問をするより効果があります。

モナディック法とシークエンシャルモナディック法の場合、アンケートの長さはさまざまですが、アンケートのデザインそのものはこのセクションの冒頭でご紹介したとおりで変わりがありません。では、ここで各パートとそこに含まれる質問の種類を見ていきましょう。

最初に、回答を始める前に、アンケートの目的は何か、どのような質問がされるのかを大まかに説明します。何か特別な指示や断り書きがあるなら、それもこの部分に含めます。次の例を参考にしてください。

これから、当社がペットフードのために用意した3種類の広告コンセプトについて、ご意見をお聞きしたいと思います。答えに正誤はありません。いただいた回答を第三者に提供することもありません。

推奨事項

回答者に複数の刺激が提示されることを知らせる（シークエンシャルモナディック法の場合）。それによってバイアスを取り除いて、アンケート疲れを防げます。

指示は簡潔に。指示文が長いと回答者のやる気がそがれてしまいます。

非推奨事項

所要時間がどれぐらいかを説明することに力を入れる。アンケートの長さについて警告する必要性を感じるなら、そのアンケートは長すぎる可能性があります。

SurveyMonkey Audienceなどのパネルソリューションでは、パラメーターを通じて対象を絞って、潜在的な顧客と一致する属性を持った回答者を選べます。しかし、一般的な回答者を対象としたい、またはパラメーターより厳密に対象を絞りたい場合は、スクリーニング質問を使います。

スクリーニング質問とはターゲット層の条件に合わない回答者を除外するための質問で、アンケートの冒頭に配置します。

たとえば、アンケートの対象者を、ペットの飼い主の中でもオンラインでペットフードを購入したことがある人に絞りたいとします。その場合は、ペットフードをオンラインで購入したことがない人を除外するようなスクリーニング質問を作成します。

推奨事項

スクリーニング質問によって対象者を絞ることが本当に重要なのか、よく考える。なぜなら、対象を絞ると十分な数の回答者を見つけることが難しくなったり、プロジェクトのタイムラインに遅延が生じたりするからです。

非推奨事項

スクリーニング質問が細かすぎるか尋ねる。たとえば、過去1年の間にペットフードを購入した回答者を見つけるのは簡単ですが、過去1週間にペットフードを購入した回答者を見つけるのは大変です。

カテゴリー質問は回答者の除外ではなく回答者の理解を目的とした質問で、スクリーニング質問のすぐ後に配置するのが普通です。スクリーニング質問とカテゴリー質問をどのように組み合わせるか、例をご覧ください。

スクリーニング質問: ペットフードをどのぐらいの頻度でオンライン購入しますか。
カテゴリー質問: ペットフードの購入時に利用しているウェブサイトは、次のうちどれですか。どのブランドのペットフードを購入していますか。

推奨事項

カテゴリー質問を、刺激を見せる前のアンケートの冒頭部分に配置する。カテゴリー質問には、回答者に頭の準備をしてもらう効果があります。

テーマに焦点を当てたカテゴリー質問を作成する。アンケートの目的に関連しない質問は、アンケートの最後に挿入するデモグラフィック質問として取っておきましょう。

非推奨事項

カテゴリー質問の数が多すぎる。アンケートの最も重要な部分は刺激に関するフィードバックなのに、カテゴリー質問に気を取られてしまいます。

先ほどすでに取り上げましたが、刺激と評価基準の質問こそアンケートの肝心な部分であり、コンセプトがどのように受け止められるかを判断するのに役立ちます。どのようなデザインパターンを使用するかにもよりますが、アンケートの中で最も長い部分でもあります。

推奨事項

刺激を1つずつ個別のページに配置して、ページの順序をランダム化する。これは、コンセプトテスト用のアンケートに広く使われている最も効果的なデザインです。「回答者は最初に見せられた刺激に最も好意的に反応する傾向がある」というプライマシーバイアス（初頭効果）を防げます。

一貫性を持たせるため、同じ評価基準に関する質問はどのページでも同じ順序で聞く。その方が回答者にとって直感的であるため、一貫したデータが得られます。

非推奨事項

リッカート尺度の選択肢をランダムな順序で表示する。最適なのは、選択肢の順序（肯定的なものから否定的なものへ、または否定的なものから肯定的なものへ）を決めて、アンケート全体で同じ順序を使用することです。

ペットフードの購入者の中には、ペットフードのロゴについて特に意見を持たない無頓着な人もいるでしょう。そのような場合でも、最後に強制選択式質問をすれば、必ず意見を聞けます。

回答者に一番好きなものを聞いておけば、万が一、刺激に対する回答者の反応に有意な差が見られなかった場合に参考にできます。これは、回答が2つの評価基準に五分五分に分かれてしまい、どちらが重要か判断しかねる場合にも有効です。たとえば、コンセプトAについて信憑性が高いと答えた人の数と、コンセプトBについて差別性が高いと答えた人の数が同じだった場合などです。どのコンセプトが最も気に入ったかを聞いておけば、最終的な判断の助けとなります。

推奨事項

（例にあるように）言葉ではなく画像を選択肢として表示する。好きなものを選ぶとき、画像の方がずっと簡単に直感的に選べます。

非推奨事項

ランキング質問をして、選択肢を気に入った順に並べてもらう。ランキング質問は神経を集中させないと回答できないうえ、モバイル端末では回答しにくいという短所があります。

カテゴリー質問のように、デモグラフィック質問はアンケートパネルから提供される以上のプロフィール情報が欲しい場合に使用します。デモグラフィック質問はアンケートのテーマと関連がなくてもよく、アンケートの最後に配置するのが普通です。データのフィルタリングに役立つツールです。

自社のペットフードをよく買ってくれるのは、定年退職した女性なのでしょうか？回答者の就労状況について聞くデモグラフィック質問を作成して、質問と回答でフィルタリングして定年退職した女性の回答を調べてみましょう。

推奨事項

デモグラフィック質問に、調査目的に合った回答の選択肢を用意する。たとえば、ミレニアル世代の回答をベビーブーム世代の回答と比較して分析したいなら、それに合った年齢範囲を選択肢として設定する必要があります。

SurveyMonkeyの質問バンクにあるデモグラフィック質問を使用する。これらの質問は専門家によって作成されたもので、デモグラフィック質問の一般的な分野をほぼカバーしています。

非推奨事項

デモグラフィック質問の作成に手間をかける。デモグラフィック質問は、SurveyMonkey Audienceなど多くのアンケートパネルに組み込まれています。

SurveyMonkeyに用意されているアンケートテンプレートは、専門家が一般的なコンセプトテストの使用事例に合わせて作成したものです。テンプレートはそのまま使用することもできれば、独自のコンセプトテストを作成するための下書きとしても使えます。

誰にアンケートを受けてもらうか、アンケートをどれほど厳密に行うか、これらはテストする対象によって異なります。

このガイドの計画セクションで触れたとおり、すべてのコンセプトテストで完璧なアンケートと細かく絞り込んだターゲット層が必要なわけではありません。しかし、一部のコンセプトテストではそれが不可欠です。コンセプトテスト用アンケートのために集める回答者のグループは大きく3つに分かれます、それぞれ見ていきましょう。

この場合、はっきり言って母集団を代表するようなサンプルは得られません。統計的に有意なデータも、次回の戦略ミーティングで発表できるようなデータも得られません。しかし、プロジェクトの早い段階で身の回りの人たちからフィードバックを得ることには相応の価値があるうえ、コストがかかりません。このグループにアンケートを受けてもらう状況として次のような例が挙げられます。

もう1つ、実行可能（で無料！）なサンプルは顧客ですが、家族や友人の場合に比べてアンケートの作りや提示の仕方に注意が必要です。既存の顧客を対象にしたアンケートの真価は、なじみのあるもの（製品、ウェブサイト、ブランドなど）について感想を得られることです。

顧客はアンケートを受けることで開発プロセスに関与している実感が得られるため、顧客ロイヤリティの向上につながります。

特に広告やコンセプト、新製品をテストする場合は、市場全体からサンプルを抽出したいのが本音でしょう。顧客、消費者、視聴者全体を正確に反映した集団の意見が欲しいためです。そこで活躍するのが、パラメーターでターゲット層を絞れる、信頼の置けるアンケートパネルです。

アンケートの対象とする回答者パネルが決まったら、次に重要なのは、何人に送信するかを決めることです。アンケートのサンプルサイズは結果に大きく影響するので、慎重に検討しましょう。サンプルサイズを左右する要因は4つあります。その1つひとつを考慮したうえで決定を下すことが大切です。

誤差の範囲（信頼区間）とは、結果がサンプリングする前の母集団全体のものとどのぐらい異なるかを示します。言い換えれば、アンケート結果がどれほど忠実に母集団を代表していると考えられるかを表します。たとえば、誤差の範囲が5%で回答者の60%がコンセプトAを最も高く評価した場合、真の値は55%から65%の間にあると考えられます。

結果の有効性という面から見れば誤差の範囲は低い方がいいですが、それはサンプルサイズに大きく影響してきます。

ペットフードの例で見てみると、米国全体でペットを飼っている家庭は8,500万に上ります。これを、対象とする回答者の母集団としましょう。この母集団を95%の信頼水準（サンプルが母集団を正確に反映する確率）と5%の誤差の範囲で代表するサンプルを抽出したい場合は、385人の飼い主にアンケートを送る必要があります。しかし、許容誤差を3%とした場合、必要なサンプルサイズは1,068に跳ね上がります。

難しく聞こえるかも知れませんが、ご心配なく。まずサンプリングの母集団のサイズを推定して許容誤差と信頼水準を設定し（5%と95%にすれば間違いはありません）、こちらのサンプルサイズ計算ツールまたはこちらの誤差の範囲計算ツールによってサンプルサイズを算出します。詳細については、計算ツールのページにある説明をお読みください。それとも、手っ取り早くざっくり調べたいだけですか？

コンセプトテストのデザインによって、対象とすべき人数は大きく変わってきます。先ほどの例によって、信頼できる結果を出すため385人の飼い主に回答してもらうとしましょう。

前の章で取り上げたモナディック法とシークエンシャルモナディック法を思い出してください。シークエンシャルモナディック法では回答者全員がすべての刺激を見て回答するので、必要な回答者数は385人です。しかし、モナディック法のテストでは、1つの刺激を385人の回答者に見せる必要があるため、刺激が6種類ある場合に実際に必要な回答者の数は2,310となります（385 x 6）。

モナディック法のアンケートはサンプルサイズがすぐに大きくなってしまうものの、メリットもあります。たとえば、2分間の広告ビデオが6種類ある場合に、シークエンシャルモナディック法は現実的ではありませんよね。ビデオを見るだけで12分かかり、合間に質問に答えてもらうのですから、ものすごく時間がかかってしまいます。

ターゲットとする母集団が特殊であればあるほど、十分なサンプルサイズを確保するのが難しくなります。たとえば、中所得の女性の飼い主を見つけるのはそれほど大変ではありませんが、そこに「ポメラニアンを飼っているカリフォルニア在住の人」という条件を加えると、十分な数の回答者が見つからない可能性があります。

そのような条件は、デモグラフィック質問の形で追加して、条件を満たした回答者がどのように回答したかを調べるのが適切です。

上の例で言えば、中所得の女性の飼い主を対象として、どの州に住んでいるか、飼っている犬の種類は何かを聞くのです。回答が集まったら、これらの質問をフィルターとして使い、この特殊なグループがどのように回答したかを調べます。

最終的には、予算に合わせたデザインが必要になります。希望どおりのコンセプトテストが無理な場合でも、何らかの形でテストを実施することには意味があります。妥協案でもかまわないので実施しましょう。なぜなら、少ないデータでもないよりはマシだからです。

一般に、いつアンケートを行うかについてそれほど頭を悩ませる必要はありませんが、いくつかのベストプラクティスに従えば良い結果が期待できます。

経験からすると、休暇のシーズンでも回答率は下がりません。きっと、仕事が休みで暇を持て余している人が多いのでしょう。ただ、テスト対象であるコンセプトが特定の季節に関連するものであるなら、実施時期によってデータに差が出る可能性があります。

たとえば、真冬にアンケートを実施してアイスクリームについて調べたなら、うだるような暑さの中で実施した場合に比べて購入意思はずっと低くなるでしょう。データにこのような差が現れることは予測しておくべきです（私たちは実際に数多くの事例で経験しています）。

これほど季節に大きく影響を受ける製品ではない場合でも、6ヶ月前のテストと比べて大きな変化が見られる場合は季節性について考えることが大切です。

Audienceの回答者たちは回答がスピーディーなので、その回答を収集すると日によってわずかに差が見られることがわかります。アンケートを何時に送信するかはあまり重要ではないのですが、何曜日に送信するかは多少の違いをもたらします。と言っても、週末か平日かで回答率が変わるわけではありません。回答にかかる時間にばらつきが出るだけです（多くの人が勤務中にアンケートに答えているようです）。

いつ、どのようにアンケートを送信すべきか、もっとベストプラクティスを知りたい方のために、ウェビナーをご用意しています。SurveyMonkey専属のエキスパートが丁寧に解説します。

N = 191,464

N = 27,967

もっと重要な点は、週末に届く回答の多くがモバイル端末から送信されていることです。これはアンケートにどのような影響を与えるのでしょうか。

文章の多い広告やウェブサイトをテストするアンケートは、モバイル端末を使う人が多い金曜の夜に実施すべきではありません。

これらのヒントはアンケート結果の品質を左右しないものの、考慮すべき点ではあります。

マーケットリサーチの専門家は、コンセプトテスト用アンケートから得たデータをある方法で単純化します。このガイドで推奨した5段階のリッカート尺度を使用した場合、データは次のようになるでしょう。

このグラフは簡単に解釈できるかも知れませんが、4種類の刺激で5つの評価基準を比較するとなると、あやふやになりがちですよね。

そこで有効なのがトップ2ボックススコアです。あなたがペットフードメーカーのマーケティング担当者だったら、消費者に「大いにある」、「かなりある」と答えてもらうことが何よりも重要なはずです。そこで、この上位2つの回答を足してトップ2ボックススコアを算出します。

この例では、回答者の15%が「大いにある」、25%が「かなりある」と答えているので、トップ2ボックススコアは40%となります。

トップ2ボックススコアを算出することで、アンケートの分析は大幅に単純化されます。SurveyMonkeyでは、回答選択肢の結合機能によってトップ2ボックススコアを自動計算できます。

すべての質問のトップ2ボックススコアを計算したら、それによってスコアカードを作成します。次のようにスコアカード形式で表示すると、データの全体像が簡単に把握できます。

アンケートの回答をスコアカードにまとめると、どのコンセプトが最も高く評価されたかをずっと簡単に判断できることがおわかりでしょうか。ここで、ペットフードのアンケートからスコアカードを作成するとどのようになるか、見てみましょう。

ご覧のとおり、データをスコアカードにまとめて最も高い数値をハイライトすると、どのコンセプトが最も優れているかがすぐにわかります。スコアカードは結果の概要を示すものなので、強制選択式質問の結果やデモグラフィック上の興味深い内訳なども含めるようにしましょう。

たとえば、女性の回答と男性の回答を比べたいとしましょう。その場合のスコアカードは次のようになります。

プロのヒント: 分析の際に、デモグラフィック質問に対して比較ルールを適用すれば、デモグラフィックの内訳が自動で作成されます。

サンプルサイズと信頼区間について取り上げたときのことを覚えていますか。この2つの概念は、統計的に有意な結果を得るための手法です。簡単に言うと、統計的有意性とは結果をどれだけ信用できるかの度合いです。そこに見られる差または関係が実際に存在することを、どのぐらい確信できるかを示します。

先ほどのスコアカードをもう一度見てみましょう。

刺激の間に統計的に有意な差が見られない場合は、その情報に基づいて行動を起こす前に立ち止まって考えてみる必要があります。

たとえば広告キャンペーンにおいて購入意思が35%であるか40%であるかは、数百万ドルの収益の差につながります。

では、刺激間に見られる差が統計的に有意かどうかは、どのように判断するのでしょうか。最も簡単なのは、トップ2ボックススコアを1つずつ統計的有意性計算ツールにかける方法です。SurveyMonkeyでは、独自のツールを用意しています。

統計的有意性計算ツールをダウンロード

どれが最も優れたコンセプトかを決めるのは、簡単に思えるかも知れません。スコアカードを作成して最も高い数値をハイライトし、数値がハイライトされているコンセプトがどれかを特定すればいいのです。しかし実際は、それでは済まないケースも少なくありません。

評価基準の中には、すごく重要なものとそれほど重要でないものがあります。それを考慮に入れると、どれが最も優れたコンセプトかは大きく変わってきます。だからこそ、使う評価基準の優先順位を設定することが重要です。AとBの両コンセプトがほとんどの評価基準で接戦を繰り広げてコンセプトAがわずかにリードしているとしたら、コンセプトAが勝者だと考えるでしょう。

しかし、コンセプトBは購入意思においてコンセプトAを大きくリードしています。おそらく購入意思は、ビジュアルな魅力やオリジナリティといった評価基準より重要なはずです。売上げを促進してくれる製品または広告こそが最終的な目標なので、購入意思により重きを置いてコンセプトBを選ぶべきではないでしょうか。

重要: ここで、誤差の範囲のことを忘れないようにしましょう。結果に僅差しか見られない場合は特にです。AとBの両コンセプトに2～3%の差しかなく誤差の範囲が5%の場合、それは差と呼ぶには十分ではなく優劣をつける根拠にはなりません。そのような場合に役立つのが、強制回答式の質問です。強制回答式の質問をしておけば、他の質問が接戦であっても勝者を決めることが可能になります。

多くの場合、どのコンセプトが勝ったかだけではなく、他の要因も考慮しなければなりません。顧客の間で大きな話題となっていた製品、あるいは会社全体の目標を後押しするための広告キャンペーンをテストする場合はどうでしょうか。

アンケートの結果を、手元にあるすべてのデータポイントと照らし合わせて決断を下すようにしましょう。新しい広告を何年も前から実施している広告と比較して評価する場合は、会社が新鮮な見方を提供したいと考えているのなら、古い広告の方が2～3%リードしていても新しい方を採用すべきです。

ベンチマークは設定に時間がかかりますが、コンセプトを広い文脈で評価するうえで非常に優れた手法です。ベンチマークとは、コンセプトが以前のコンセプトあるいは競合他社と比べてどうかを判断するための基準です。

たとえば、最新の広告を前年の広告と比較して、コンセプトの健全性を評価します。新しい広告が前年の広告に勝てないなら、新しいアプローチを試してみるべきでしょう。

もう1つ広く使われている手法は、アンケートにすべての新しいオプションの比較対象とする「制御」オプション（以前評判が良かった広告など）を含める方法です。前の広告を超えているかどうかは、複数の新しい広告のうちどれが優れているかと同じぐらい重要な場合があるでしょう。

最後に、マーケットリサーチの担当者の多くは、アンケートを通じて競合企業のアセットを比較しています。たとえば、GoodBoyの担当者が自社の広告やパッケージデザインを競合企業のPuppyLoveと比較する場合は、両社のコンセプトによってアンケートを作成すれば消費者の反応を比較できます。

コースを最後まで学習していただいてありがとうございます。コンセプトテストを一から作成して有意義な結果が得られました。あなたが調査チームの一員なら、あとは結果と推奨事項を別のチームに手渡すだけです。

しかし、広告または製品の責任者であるなら、次のステップについて考えなければなりません。関係者に対して自分が選んだコンセプトが最良のものであることを示して、説得しなければなりません。そのためには、結果をわかりやすい（簡単にスライドに表示できる）形式でまとめる必要があります。スコアカードの出番です。

重要: データから何か心配なこと、驚くべきこと、想定していなかったことが判明したら、方向転換を恐れないでください。何のためにテストをしたのかに立ち返りましょう。ビジネスに役立つことに挑戦するのが最終的な目標です。