Научные методы и кризис воспроизводимости: от сомнительной практики к улучшенным исследованиям

Введение

Наука — это процесс, в ходе которого понимание окружающего мира со временем улучшается благодаря систематическому наблюдению и, когда это возможно, контролируемой манипуляции (Сидман, 1960; Скиннер, 1956). Научные знания увеличиваются по мере уточнения или замены предыдущих представлений более мощным и точным пониманием.

Подход

Научные методы постоянно находятся в процессе изменения, однако за последние два десятилетия усиливающиеся беспокойства вокруг научных областей, полагающихся на методы сравнительных исследований, стали заметными. Изучение репликации ранее опубликованных исследований указывает на то, что результаты оказываются менее надежными, чем первоначально предполагалось, что приводит к так называемому "кризису воспроизводимости" в научной психологии.

• Сомнительные исследовательские практики (СИП) были идентифицированы как ключевой фактор кризиса репликации в различных научных областях, включая психологию и образование (Анвари и Лакенс, 2018; О’Донохью и Масуда, 2022).
• Согласно данным оригинальных исследований, в среднем попытки воспроизвести результаты показали лишь половину средних эффектов первоначальных исследований.

Сомнительные исследовательские практики

Список общепринятых СИП включает многообразие практик, такие как выборочное представление данных, неполная отчетность и несанкционированные изменения в процессе анализа данных.

Доказательства наличия СИП в SCED-исследованиях

Обоснование наличия СИП основывается на исследовательской активности экспертов в области SCED, которые указывают на значительные вариации в степени экспериментального контроля, что ведет к искажению результатов. Например, некоторые исследователи показали склонность к опубликованию только тех исследований, которые демонстрировали значимые эффекты, в то время как слабее выраженные результаты остаются без внимания.

Некоторые исследователи обнаружили, что изученные журналы могут показывать более крупные эффекты по сравнению с ненапечатанными диссертациями, указывая на существование феномена, названного "эффект файла ящика" (Pigott et al., 2013).

Практики открытой науки и качество исследований

С учетом того, что СИП распространены в различных научных сферах, предложены альтернативные практики, наиболее известные в движении открытой науки. Например, предварительная регистрация является одной из таких практик, позволяя исследователям заранее документировать процедуры и запланированные анализы для предстоящего исследования.

• Другие практики открытой науки акцентируют внимание на прозрачности контакта с данными.
• Несмотря на преимущества открытой науки, есть важные ограничения, которые ученые должны учитывать.

Улучшенные исследовательские практики

Важно также выявить более желательные, улучшенные исследовательские практики (УИП), чтобы заменить СИП и продвигать более надежную и валидную базу исследований. Например, если отбор участников и переменных осуществляется по выбору, то одна из УИП может заключаться в предоставлении прозрачных данных, чтобы исследователи могли аргументировать свои действия.

Заключение

В этом исследовании рассматриваются различные элементы, представляющие угрозу для исследования, а также предлагаются варианты улучшения. Нельзя упускать из виду, что внимание к СИП и их коррекция может значительно повысить научную честность и валидность.