プレレジストレーションの話です

ここでは事前登録制度（pre-registration；プレレジ）について紹介したいと思います。たしか，この「こころの測り方」のコーナーはまだ始まったばかりだったように思うのですが，いきなりこんな話題から入るのか，測り方そのものではなかろうに……と私も若干驚いております。そもそもタイトルが意味不明だぞ！とのお声が多いかもしれませんが，プレレジの役割についてお示ししているつもりです。以下にプレレジとは何か，なぜ必要なのか，具体的な方法とは，など順を追ってご紹介します。

心理学の再現可能性の危機

2011年頃から，心理学界では研究不正や疑わしい研究実践（QRP）に関する大きな問題が次々と発覚しました。そして，そういったやり方で得られたとされる研究結果が追試で再現できないことも分かってきました。研究不正やQRPはなかなかバレにくいものの，実際は3割以上の心理学者が手を染めた経験があると答えていることもあり（John, Loewenstein, & Prelec, 2012），心理学の知見には証拠の乏しい再現不可能なものが多く存在することが懸念されました。現在最先端の心理学理論はこれまでの数多くの仮説検証の結果が積み重ねられてできたものであるのに，それらが実は検証できていなかったということは，心理学における知識体系の瓦解を意味します。したがって，このことは「心理学の再現可能性の危機」と呼ばれています（本誌68号の特集をぜひご覧ください）。実際に，近年でも毎月一つずつくらいのペースで我々が「鉄板」だと思っていた有名な心理学実験について，方法に重大な問題があったとか，大規模な追試研究で再現率・効果量の低さが示されたとかのニュースが飛び交っています（毎回ビックリしてますよ）。

プレレジ改革

この問題への対策の一つとして考えられているのがプレレジです（Nosek et al., 2018）。実験をやる前に，その内容（サンプルサイズや分析方法なども含む）をしっかり決めて第三者機関に登録しておくのです（例えばhttps://osf.io/）。研究者は原則的に登録内容から逸脱することはできません。こうすることで，最もポピュラーかつ強力なQRPを防ぐことができます。その一つはpハッキングです。これは，有意な結果を得るために様々な方法でp値を下げる行為です。

例えば，特定のデータを恣意的に分析から除外する，特定のペアだけ検定する，分析後にサンプルサイズを増やす，などにより低いp値を作り出すことができます。しかしプレレジはサンプルサイズや分析方法を確定させるため，pハッキングは防止されます。もう一つはHARKingという，結果を見た後に仮説を生成する行為です。「お，ここ有意やん」と結果を知った後にその結果を予測するような尤もらしい仮説を作り，美しいストーリーの論文として報告するわけです。しかしプレレジは作業仮説まで事前に確定させるため，HARKingも防止されます。

ほら，怖くない

だけど「不測の事態で登録内容から僅かにでもズレたらもうオシマイなのか？」「探索的研究やりたいから登録とか無理なんですけど」といった懸念はあるでしょう。大丈夫です。そんなに四角四面なものではありません。プレレジは研究過程の透明化を目的としています。だから，登録内容とのズレが生じたらそのことを具体的に明記して報告すればいいし，探索的研究ならばどこまでが予定していた範囲で，どこからが発見的な過程であるかを明確化すればよいのです。

あるいは「どの検定使うかは得られたデータ次第なんスけど」という声もあるでしょう。この場合は，決定木などを用いてデータの評価とその後の手続きについての意思決定指針を提示しておけば良いです。それか，コミュニティ内で承認される作業標準書を作っておくとこの作業は楽です。これは学会の仕事かもしれませんね。

「既存データの再分析やメタ分析するんで既に実験後なんですが」という場合もあります。基本，データ見てないならOKです。しかし完全に知らないことはないでしょうから，そのデータについてどの範囲まで知っているのかをプレレジにて明確にすればその分析の信用性を高めることができます。

「自分，実験メチャメチャやってるほうなんでいちいちプレレジやってられないんスよねえ」という人もいます。でもそういう人は類似した実験をたくさんやっていることが多いので，最初に共通する手続きを定め，それと一緒に，扱う可能性のある実験操作，変数，仮説などをまとめて登録しておけば，むしろ個別の研究を一つ一つ登録するよりも楽にプレレジできます。

実際に使おうとするといろんな不安が頭をもたげるでしょうし，詳細に議論したほうが良いケースもありますが，たいてい大丈夫です。怖くない。おびえていただけなんだよね。

レジレポのすゝめ

「いや，でもプレレジして有意な結果が出なかったら載せてくれるジャーナルなんか無いんじゃない？」「他のみんなは仮説をバッチリ支持する結果ばかりで構成されたカッコいい論文を量産してるし」「生産性落ちたら就職に響くし」などと思われるかもしれません。そのような懸念を払拭できるかもしれないのが，査読付き事前登録（registered reports；レジレポ）です。レジレポではプレレジの際に査読が入ります。筆者の経験上，その厳密さは一般査読に比肩します。そしてこの査読をクリアすると「仮アクセプト」となり，実験結果を問わず掲載されます（実験後にもう一回査読あり）。

この，掲載が結果に左右されないという点がレジレポの最大のメリットです。実験前なので（仮）決着が通常よりも早くついたり，有意性関係ないのでpハッキングをする必要がなくなったりなど多くの効能もありますが，個人的に最も快適だったのは，「良い結果」が得られるか実験中に不安がる必要がなかったことですね。あ，ちなみにネガティブデータのプレレジ論文を受け入れるジャーナルも着実に増えていますよ。いけます。風は吹いてきていますよ確実に。

予告制限プレイ

研究者はその発想や研究実践において最大限自由であるべきです。しかしその範囲の中には不正やQRPを行う自由は含まれません。研究者は職業倫理として自分の自由の範囲を明確に規定し，それを踏み越えないよう自制しなければなりません。これはゲームの制限プレイに似ていますね。「そんなこと言われても他のみんなは好き勝手やってるし，自分ばっかり制限しても信用されるわけじゃなく損してるように感じるし，だったら今はまだ制限プレイやらなくてもいいや」と思うのが人情かもしれません。

そこで，研究者が制限プレイを行っていることを制度化して，制限の中身を可視化してやろうというのがプレレジです。これによってプレレジした研究の透明性は高まり，通常は目に見えにくいQRPへの疑惑を減じることができます。研究者としての信用の向上にも繋がります。そうして得られた経験は教育や啓蒙を通して波及・浸透し，やがてプレレジは心理学界の新たな規範となるでしょう。希望的観測ですけども。

過信は禁物

しかしプレレジはあくまでツールであることを忘れてはなりません。プレレジしたかどうかだけでその研究への信用を決めてはいけません。プレレジは悪用できます。例えば，現状のシステムでは結果を見た後にプレレジを行うPARKingというQRPを防ぐことができません（Yamada，2018）。ある研究を支持してやろうとか否定してやろうとか企んで追試をする人がこのPARKingを使うと，その結果がそのまま信用されかねません。ですから，決してプレレジの有無だけで判断せず，しっかりと論文を読んで，単一の研究結果よりもできるだけ複数の知見を総合して評価してください。あるいは自分でも追試をやってみるのが一番いい（プレレジしてから！）。

限りなく透明に近い心理学

プレレジは研究者の自由と引き換えに心理学を透明にします。基本的にプレレジ後には自由がほとんどありません。誰が実験やっても同じなのです。これは将来的に大きな分業状態を招くでしょう。プレレジ組と実験組の分業です。誰がどちらの組に属しても構いません。レジレポで既にプロトコルへの査読が行われていることを考えると，プレレジと実験のそれぞれに特化したジャーナルまで生まれるかもしれません。いま，心理学界には大きな転換が訪れようとしています。是非に及ばず。身の処し方を考えましょう。皆様。