公益社団法人 日本心理学会

詳細検索

心理学ワールド 絞込み


号 ~

MENU

刊行物

  1. HOME
  2. 刊行物のご案内
  3. 心理学ワールド
  4. 82号 老い
  5. クラウドソーシングで得られるデータの質

【小特集】

クラウドソーシングで得られるデータの質

三浦 麻子
関西学院大学文学部総合心理科学科 教授

三浦 麻子(みうら あさこ)

Profile─三浦 麻子
1995年,大阪大学大学院人間科学研究科博士課程中退。博士(人間科学)。専門は社会心理学。著書は『なるほど! 心理学研究法(心理学ベーシック1)』(著・シリーズ監修,北大路書房),『社会心理学・再入門』(共訳,新曜社)など。

本稿では,心理学研究へのクラウドソーシングの活用に際して注意すべき点として「努力の最小限化(Satisfice)」について解説します。そもそもこの用語はsatisfyとsufficeの合成語で,人間の認知資源には限りがあることが要求に対する努力を最小化しようとする傾向につながり,目的を達成するために必要最小限を満たす手順を決定し,追求する認知的ヒューリスティックのことを指します(Simon, 1959)。Webベースで実施するオンライン実験・調査に当てはめると,参加者が教示文や尺度項目を十分に読まずに回答する行動として典型的に出現します。

クラウドソーシング,ひいてはWebを活用することには,従来の研究手法と比べて質量ともに豊かなデータを得られるメリットへの期待があります。特に実施者と参加者の双方にとってデータ収集コストの格段の低減が実現されるのは大きな魅力です。実験室実験であれば,いちいち両者が落ち合って実験室で一定時間を共にすることが必要ですが,クラウドソーシングであれば実施者はWeb上の実験環境さえ準備すれば1クリックでデータ収集を開始することができ,参加者も1クリックでそれに参加し,報酬を得ることが可能です。部屋から出ることなく,あるいは現場に赴くことなく事件の謎を解く者を安楽椅子探偵と呼称しますが,さながら安楽椅子研究者/参加者のごとしです。このうち特に安楽椅子参加者は努力の最小限化をしやすいのではないか,さらには本来期待していたデータの質を毀損するのではないか,という危惧が,私と小林哲郎さん(香港城市大学)の一連の研究(詳しくは,三浦・小林,2018などをご覧ください)につながりました。

Web上の実験環境で,努力の最小限化を検出する方法は多様に提案されていますが,特によく用いられるのが,設問への回答の際にそれに付随する教示文を精読しない努力の最小限化を検出するための方法(IMC)です。IMCでは,調査でよく用いられる回答形式(リッカート式や複数選択式など)の設問に,直感的な回答行動からは生じ得ないような答え方を指示する教示文を付随させ,その精読の有無によって努力の最小限化を判定します( 図1参照)。また,尺度項目を精読しない努力の最小限化を検出するための方法(DQS)もあります。DQSでは,多数の項目からなるリッカート尺度に,選択すべき選択肢を指示する項目(例えば「この項目は『まったくあてはまらない』を選んで下さい」など)を含め,指示通りの選択がなされたかどうかで判定します。

図1 IMCの例
図1 IMCの例

私たちは,Webを活用したデータ収集において,参加者の努力の最小限化傾向が心理尺度への回答データや実験的操作を含むデータに及ぼす影響を多面的に検討してきました。まず,IMCに違反する「教示文を精読しない」努力の最小限化は非常に頻繁に生じますし,またそれがDQSによって検出される「尺度項目を精読しない」努力の最小限化の発生と対応していることが示されています。また,実験的操作を含むWeb調査における努力の最小限化を対象とした研究では,映像刺激の「見飛ばし」による努力の最小限化が実証的知見を毀損する方向に働く可能性が示されています。さらに,刺激人物に対する印象評価を従属変数とする実験的Web調査の冒頭にIMCを実施して努力の最小限化を検出し,指示された答え方に違反した参加者に警告を与える手続きを導入した研究もあります。警告に応じなかった参加者の印象評価は,刺激に関する情報を精読していないことを反映した方向に歪むのに対し,警告によって求められた答え方を理解し,回答を修正した参加者では,当初から指示を遵守した参加者に近づきました。つまり,努力の最小限化によるデータの毀損は,参加者がそれを自覚して行動を修正すれば,ある程度解消されることが示されたのです。

表1 努力の最小限化検出項目への反応の調査依頼先別比較(%)
表1 努力の最小限化検出項目への反応の調査依頼先別比較(%)

また,現状までのデータから見る限り,いわゆる「ネット調査」の際によく用いられているオンライン調査会社のモニターとクラウドソーシングの登録者(クラウドワーカー)で努力の最小限化傾向を比較すると,後者は前者よりも一貫して低い結果が得られています(例えば表1)。両者で登録対象者層に著しい差があるとは考えにくく,実際,重複登録している個人も少なくありません。となれば,こうした差異は参加者自身の個人的特徴にその原因を求めるよりも,サービスの管理システムの差異がもたらす調査依頼者と参加者の関係性の違いに起因するところが大きいと解釈するのが妥当でしょう。クラウドワーカーは心理学実験であろうがなんであろうが一つひとつの課題を「仕事」として請け負い,成果物を納品してその査定を受けることで報酬を得ています。その履歴は蓄積され,優れたワーカーであることをアピールしなければ,仕事が回ってこなくなります。つまり,クラウドワーカーは自らの評判情報を管理しようとする動機づけが高く,そのことが努力の最小限化をしにくくさせているのではないか,というのが私たちの解釈です。

研究者コミュニティでこうした話をすると必ず受ける質問は,当然ながら「ではどうすればよいのか」です。これに対する答えはひとつではありませんが,単に「一般市民サンプルからデータをごっそりいただこう」という気持ちでの利用はデメリットが強く出る可能性があるので,一歩先行く使いこなし術が必要なのは確実です。私たちは安楽椅子研究者になってはいけないのです。

具体的には,努力の最小限化をする人々をどう扱うかです。比較的長めの教示文を熟読・理解したことを前提としたデータにしか意味がないなら,例えばIMC違反者のデータは分析対象から除外すべきでしょうし,重ねて内容に関する記憶・理解を問う質問を設けたほうがよいかもしれません。一方で,比較的短文の尺度項目に目を通して瞬間最大風速的に思い浮かんだことさえ教えてくれればよいのなら,IMC違反は厳しすぎる基準でしょう。また,こうした状況を逆手にとって,本格的な研究を実施する前の予備実験,あるいは一旦得られた知見の再現性検証の場としてネット調査を使うのは有効な活用法ではないでしょうか。努力の最小限化を最大限に(?)している相手でも得られる処置効果は,かなり有望かもしれませんよね。

また,前述のとおり個々の研究実施者はクラウドワーカーにとって一時的ではあれ雇用主であることも忘れないでほしいです。つまり,不当に安い謝金で買いたたいたり,協力が当然だという態度で接するべきではないということです。そういう研究者が一人でもいると,全体としてクラウドワーカーたちの労働意欲を下げ,コミュニティの劣化につながります。継続した協力がデータに差し支えないのなら,クラウド上にあなた自身の参加者プール(いつも協力してくれる人々のデータベース)を作ることも可能です。

クラウドソーシングに限らず,参加者の立場から研究について考えることはもとより非常に重要ですが,直接顔を合わせることのない,匿名性の高い環境では特にその分散が大きいことを覚悟しなければなりません。研究者には,そのことが本来得たいデータにもたらす影響を予測し,なるべく正確に査定し,適切な措置をとることが求められています。

文献

  • 三浦麻子・小林哲郎(2018)オンライン調査における努力の最小限化が回答行動に及ぼす影響『行動計量学』 45 , 1-11.
  • Simon, H.A.(1956)Rational choice and the structure of the environment. Psychological Review, 63 , 129-138.

PDFをダウンロード

1