この数十年間に心理学実験の条件制御とデータ分析の方法は一変した。コンピュータを用いる実験条件の制御や反応測度の測定は，実験者エラーや測定誤差を低減させた。また，多様なデータ分析ソフトの開発で，初学者でも複雑な分析を平易に遂行できるようになった。しかし，電算化によるこうした方法の精緻化とは裏腹に，最近，実験的研究の信頼性に疑念を抱かせる事実が報告された。心理学の有力誌に掲載された研究を調べたところ，実験結果が統計的に追証された研究の率が40パーセントにも達しなかったという指摘である。方法の精緻化は実験結果の再現性の向上にはつながらなかったことになる。

随所で指摘されているように，「結果の有意性」だけでなく，「検定力」に配慮することは必要である。しかし，適正な検定力を備えた追証研究を計画することにはいくつかの統計学的な問題がからんでおり，簡単ではないようである。また，順当な検定力をもった実験を実施するとなると，現行を遙かに超える膨大な数の被験個体が必要になる。一回だけの実験から信頼性の保証された結論を引き出そうとするのは，研究の方略として「無理がある」ことになる。再現性の確認には，体系的追証を含め，検証を重ねることが必要であろう。こうした追証研究の評価に関連して，「効果量」と「信頼区間」を用いるトライオン（2016）の提案は，成否を判定する一つの目安になると思われる。

分かっている現象の実験は，学生が履修する入門実験のように，結果の再現性が高い。妥当性の高い実験の方法が用いられているからである。しかし，未知の問題を検討する実験では，想定外の要因の介入により，実験の結果が変動するリスクがある。想定に添って関連要因をコントロールする，適切な実験の方法が確立されていないからである。追証で再現されなかった実験について，有意性の欠如だけをもとに結果を全否定するのは単純に過ぎる。実験の方法を点検し，実験結果の齟齬を生み出した原因の究明に努めるのが先決であろう。これに関連して，過剰訓練逆転効果における「真逆の実験結果」を分析し，「注意過程」という想定外の要因の介入を指摘することにより，追証で示された逆の結果を含め，実験結果の変動を統一的に説明する枠組みを提示したラブジョイ（1966）の古典的な試みは，一つの教訓になるのではあるまいか。

参考文献　小牧純爾（2016）『心理学の諸領域』5, 53-62.