“不都合な真実”が暴かれた

　「オンライン調査回答者の多くは設問をまともに読んでいない」という、社会調査に携わる者が身震いするような知見を報告したのは、先号（社会心理学研究第31巻第1号）に掲載された三浦・小林(2015a)の論文である。この論文を読み終えたとき、「やっぱりね」とため息をついた人も多いはずだ。不都合な真実は、とうとう暴露されてしまった。
　しかし、不都合な真実はこれだけにとどまらない。彼らの研究には、続きがある。
今号（第31巻第2号）に収録されている三浦・小林(2015b）の論文では、オンライン調査の協力者がまともに設問を読まないこと（これをSatisficeと呼ぶ）によって、データが汚染されること、さらには実証的知見が毀損されうることが指摘されている。すなわち、設問を理解した上で回答されたデータ（調査の前提を満たしており、検討の対象となるべきもの）と、理解せずに回答されたデータ（調査の前提に反しており、検討の対象になるべきではないもの）が混在してしまう。そのせいで、本来得られるはずのない分析結果が出てきてしまい、それにもとづいて誤った結論が導かれてしまう恐れがある。
　このようなデータ汚染に対して、社会科学者がとるべき対策とは何か。基本的には、環境汚染対策を行う自然科学者と同じ手続きを踏めばよいはずだ。まずは「どのくらい汚染されているのか」を調べること。そして「だれが汚染しているのか」を明らかにすることだ。

汚染の実態を追う

　これらの問いに答えるために、三浦・小林(2015b)はオンライン実験を行うことを通じて、その実験手続き中に生じるSatisficeを検出し、それがデータに与える影響を明らかにすることを試みた。手続きは、ウェブブラウザ上でニュース映像を視聴した後、その報道内容をふくむ様々なトピックに関して、現内閣評価と重要度認知を回答するというものであった。このとき、ニュース映像の総時間の半分に満たない時間しか視聴しなかった者は「見飛ばし」群とされた。つまり、Satisficeを示した者たちである。一方、視聴時間がニュース映像の総時間と若干のプラスアルファ範囲内（0～30秒）であり、さらにニュース内容に関するクイズに全問正解した者は、映像刺激に応分の注意を払ったとみなされる「最優良」群に分類された。

どのくらい汚染されているのか

　さて、データはどのくらい汚染されていたのだろう。
　結論から言うならば、Satisfice傾向は実証的知見を毀損する可能性が示された。具体的には、「見飛ばし」群は「最優良」群とは異なる反応パターンを示した。さらに、最優良群のみで（一部の）仮説を支持する結果が示されたものの、それ以外の群ごとの分析、もしくはサンプル全体をあわせた分析では、仮説が不支持となった。つまり、回答者が充分な注意を払っていれば本来得られるはずであった結果が、Satisfice回答の混在によって、かき消されてしまったということだ。すなわち、環境汚染が生態系を破壊するのと同様に、データ汚染は研究知見を“破壊”していることが示唆された。

だれが汚染しているのか

　汚染を食い止めるためには、主な汚染源を特定する必要がある。
　本論文では、常習的にSatisfice傾向を示すのはどのような人であり、どのくらいの割合で分布するのかが検討された。実験参加者は、三浦・小林(2015a)において先有Satisfice傾向を測定済みの調査会社モニタであった。つまり、以前の調査において教示や尺度項目を読み飛ばしていた人を特定し、彼らが今回のオンライン実験でどのような反応をするかを結び付けて分析できる仕組みになっていた。その結果、先の調査で「尺度項目の読み飛ばし」をした人々は、今回の実験における映像視聴時間が特に短く、すなわち「見飛ばし」をしやすいことが明らかになった。また、前回の調査と今回の実験の両方においてSatisficeを示したケースは、サンプル全体の5％程度であったという。
　この5％という数値を大きいととらえるか、小さいととらえるかは、読者の判断にゆだねたい。しかし、データを常習的に汚染している源泉が存在しており、それを特定することは（工夫次第で）可能だという本論文の示唆は、おおいに注目に値する。

汚染を放置しないために、私たちにできること

　「設問に注意をはらわずに回答されたデータからは、得られるべき結果が得られない」というデータ汚染の無残な末路を、本論文は厳しく指摘している。この指摘に対して、あなたが感じるのは「やっぱりね」という“失望”だろうか。それとも、「やるべきことが見えてきた」という“希望”だろうか。ぜひ先号・今号の２つの論文（三浦・小林, 2015a,b）を通読し、そのインプリケーションを御自身で味わってみていただきたい。
　論文中でも指摘されているとおり、オンライン調査ばかりではなく、集合調査や実験室実験であってもSatisficeは生じうる。つまり、Satisficeによるデータ汚染は、社会科学に携わる者なら誰であっても無視できない問題だ。そして、その汚染の現実に対して、ただ手をこまねいているばかりではいられない。「いかなるデータ収集場面であっても、（三浦・小林, 2015a,bのように）回答内容だけではなく、回答態度や回答行動を知りうるデータを収集することが肝要である(p.8)」
　願わくは、この“不都合な真実”から目をそむけず、汚染対策に取り組もうという読者が続出してほしい。個人の自助努力もさることながら、組織的な取り組み（オンライン調査会社による回答モニタの質管理など）も望みたいところだ。それらの浄化努力が積み重ねられていくことによって、クリーンな地球環境、もとい、クリーンな社会科学が守られるはずだから。

(Written by 尾崎由佳)

第二著者・小林哲郎氏へのメール・インタビュー

１）この研究に関して、もっとも注目してほしいポイントは？

2点あります。
1つはSatisficeに無自覚にオンライン調査を使っていると、研究結果がゆがんでしまっているかもしれませんよという点です。
当たり前のことですが、実験刺激にしっかりと接触しないと効果は検出できないわけです。
オンライン調査は利便性が高くまた安価であるため利用価値が高いですが、実験に使う時にはSatisficeの可能性に十分気を付けましょうというのが、 三浦・小林(2015)からの一貫したメッセージになっています。
もう1つは、実験の題材として使った議題設定効果とプライミング効果の追試としての価値です。
日本では議題設定効果とプライミング効果などについて追試があまり行われていないにもかかわらず、教科書には必ず載る研究になっています。
こうした中で、議題設定効果については効果は見られませんでしたが、プライミングについては非Satisfice群では予測通りの効果が見られました。
時代や文化を超えて効果が見られたことは、政治コミュニケーション研究としての価値もあるという点をアピールしたいです。

２）研究遂行にあたって、工夫された点は？

やはり刺激の作成でしょうか。
ニュース映像を作るという経験が初めてだったので、著作権がクリアされたニュースに関連する映像を探したり、処置とは無関係なプラセボを探したりという点に工夫しました。

３）研究遂行にあたって、苦労なさった点は？

これもやはり刺激の作成なのですが、NHKの映像には音声が入っていないため、別のニュースの原稿を第一著者の三浦先生がアナウンサーになりきって読みあげるという方法をとりました。
刺激のリアリティを高めるためにアナウンサーになりきっていただきましたが、結果的に素晴らしいものができたと思います。

４）この研究テーマを選ばれたきっかけは？

三浦・小林(2015)でSatisficeがどの程度広く生じているのかを確認したので、次は実質的な因果推論にどの程度影響するのかを知りたいという自然な流れでした。
議題設定効果やメディアプライミング効果を題材にしたのは、上記のように日本での追試が少ないことと、映像を見るという行為自体がSatisficeを測定しやすいと考えたためです。

ツイート