Как оценить качество научных журналов: Npact-фактор и статистическая мощность

Оценка качества научных журналов: почему импакт-фактора недостаточно

Качество научных журналов традиционно оценивается по импакт-фактору, который отражает количество цитирований по отношению к количеству опубликованных статей за определенный период. Однако, как показал репликационный кризис в психологии, высокий импакт-фактор не всегда гарантирует надежность исследований. В этой статье мы рассмотрим альтернативный показатель — Npact-фактор, который оценивает журналы на основе размера выборки и статистической мощности публикуемых исследований.

Проблемы традиционного импакт-фактора

Импакт-фактор, рассчитываемый как количество цитирований на статью за определенный период, долгое время считался главным показателем престижа журнала. Однако у этого подхода есть существенные недостатки:

• Неравномерное распределение цитирований: небольшая часть статей получает основное внимание, что искажает общую картину.
• Цитирования не всегда отражают качество исследования, а могут быть связаны с его противоречивостью или популярностью темы.
• Высокий импакт-фактор не гарантирует воспроизводимости результатов.

«Репликационный кризис в психологии показал, что многие исследования, опубликованные в журналах с высоким импакт-фактором, не удалось воспроизвести» — Open Science Collaboration, 2015.

Что такое Npact-фактор?

Npact-фактор — это медианный размер выборки исследований, опубликованных в журнале за определенный период. Этот показатель был предложен Фрейли и Вазьером (2014) как альтернатива импакт-фактору, поскольку большие выборки увеличивают статистическую мощность и снижают вероятность ложноположительных результатов.

Статистическая мощность и размер выборки

Статистическая мощность — это вероятность обнаружить эффект, если он действительно существует. Она зависит от:

• Размера выборки (N): чем больше выборка, тем выше мощность.
• Величины эффекта: небольшие эффекты требуют больших выборок.
• Уровня значимости (α): обычно устанавливается на 5%.

Исследования показывают, что для достижения 80% мощности при типичном эффекте (r = 0.21) требуется выборка не менее 173 участников, а для 90% мощности — 230 участников.

Анализ Npact-фактора для Международного журнала прикладной позитивной психологии

Впервые Npact-фактор был проанализирован для журналов социальной и личностной психологии. В данной статье мы рассмотрим его применение в позитивной психологии.

Корреляционные исследования

Анализ показал, что медианный размер выборки для корреляционных исследований в журнале составил 465.5 за 5 лет (2019–2024). Это значительно превышает минимальные рекомендуемые значения. Статистическая мощность для типичного эффекта (ρ = 0.20) превышала 98% с 2020 года.

Экспериментальные исследования

Для экспериментальных исследований 5-летний Npact-фактор составил 144. Это позволяет обнаруживать эффекты среднего размера (d ≥ 0.47 при 80% мощности). Однако в позитивной психологии эффекты вмешательств часто меньше, что указывает на необходимость увеличения выборок в будущих исследованиях.

Выводы и перспективы

Npact-фактор предлагает ценную дополнительную метрику для оценки качества журналов, особенно в контексте репликационного кризиса. Международный журнал прикладной позитивной психологии демонстрирует положительную динамику, особенно в области корреляционных исследований. Тем не менее, авторам рекомендуется включать анализ мощности в свои исследования и стремиться к увеличению выборок, особенно в экспериментальных работах.