Проблемы и решения в психометрии: Ошибки Jingle и Jangle в психологических конструкциях

Сложности в психологии как науке

Психология отличается от других научных областей по видимости своих предметов исследования. Одного дня технические достижения могут позволить физикам и химикам сделать видимыми даже субатомные частицы, но психологи никогда не смогут непосредственно наблюдать психологические характеристики. По этой причине не всегда очевидно, насколько точно измеряются предполагаемые психологические конструкции, или же инструменты, используемые для этого, на самом деле определяют близкие, но отличные конструкции.

Исследовательские психологи часто постулируют, казалось бы, новые конструкции, которые оказываются избыточными по сравнению с известными конструкциями, только после проведения нескольких исследований в отношении предполагаемой новой конструкции. Более того, различные исследователи часто предлагают разные определения одних и тех же конструкций, что приводит к различным концептуализациям и, следовательно, к неравномерности измерений.

Ошибки Jingle и Jangle

Некорректное трактование концепций/измерений как различных из-за различий в названиях называется ошибкой jangle; ложное утверждение о том, что концепции/измерения идентичны, потому что они названные одинаково, называется ошибкой jingle. Обе эти ошибки представляют собой серьезные проблемы, поскольку они усложняют сопоставление результатов из-за гетерогенности в оценке и создают нестабильность находок, что приводит к неэффективному использованию ресурсов.

Из-за этих проблем важно в ранний срок выявлять ошибки jingle и jangle, желательно на этапе выведения новой конструкции/измерения. Лоусон и Робинс (2021) предложили соответствующую руководящую схему с 10 критериями, которые могут быть оценены независимо, что позволяет делать различные выводы на основании различных критериев. Таким образом, ошибки jingle и jangle различаются по спектру, а не являются дихотомическими состояниями, что предполагает более уместно говорить о слабых, умеренных или сильных доказательствах в пользу или против ошибки jingle/jangle, чем просто о наличии или отсутствии.

Конструкции-братцы

Для уточнения этого понятия они ввели термин "конструкции-братцы", чтобы обозначить конструкции, которые «имеют близкие родственные отношения, но не идентичны; то есть они не являются 'близнецовыми конструкциями'». Тем не менее, разумно предположить, что идеальные близнецы редко существуют в области психологических конструкций. Следуя принципу теоретической экономности, исследователи часто рассматривают конструкции как равные, если существует небольшое концептуальное и эмпирическое пространство для уникальности.

Методологические рекомендации для оценки конструкций

Руководство Лоусона и Робинса (2021) предлагает структуру критериев, с которой многие ученые, вероятно, согласны. Однако, справедливо заметить, что рекомендуемый подход к оценке различных ожидаемых номологических сетей (Критерий 2) упрощает выводы о ошибках jingle/jangle, а предложенная процедура для оценки эквивалентности номологических сетей (Критерий 3) основывается на нереалистичных предпосылках.

В данной работе предлагаются расширения указанных аспектов, которые требуют более сильной интеграции концептуальных описаний оцененных конструкций и эмпирических пересечений. Это акцентирование на этих аспектах, безусловно, помогает количественно оценить степень фактического существования ошибки jingle/jangle и повышает прозрачность соответствующих оценок.

Анализ номологических сетей

Помимо оценки бивариантной корреляции с ключевыми критериями, Лоусон и Робинс рекомендовали вычислять общее согласие наблюдаемых номологических сетей исследуемых измерений. Для этого они предложили двойной входной коэффициент внутриклассовой корреляции (ICCDE). Чтобы рассчитать его, корреляции, наблюдаемые между одним из конструкций/измерений и критерием валидации, добавляются к наблюдаемым корреляциям другого измерения и наоборот. Таким образом, коэффициент ICCDE отражает сходство коэффициентов, а не только их ранговую схожесть. Лоусон и Робинс рекомендовали значение ICCDE ≥ .60 как порог для эквивалентности.

Ошибки Типа I и II

Ошибки, связанные с оценкой номологических сетей, можно сравнить с диагностическим процессом, где необходимо решить, какая ошибка более проблематична: ошибка Типа I или ошибка Типа II. Тип I возникает, когда исследователи утверждают о наличии ошибки jangle, когда ее нет (ложноположительное), что может привести к тому, что другие ученые начнут рассматривать эти искусственно перепутанные конструкты как равные.

Дополнения к существующим методологиям

Следовательно, для повышения точности и надежности выводов, относящихся к jingle/jangle, важно при планировании исследований предоставить четкое обоснование, какие числовые различия между коэффициентами корреляции двух конструкции с каким-либо внешним критерием считаются значимыми. Для этого необходимо собрать достаточно данных для надежного обнаружения такого корреляционного различия.

Тестирование и конкретные пороги

Кроме того, необходимо учитывать случаи, когда корреляционные различия между двумя конструкциями оцениваются как значимые. Давать ли им одинаковую оценку в зависимости от их прочности или специфичности должно быть обосновано, основываясь на научных предпосылках.

Таким образом, формула позволяет исследователям объяснить, как различия в корреляциях могут сказать о степени пересечения между конструкциями. Например, если исследователь обнаружил значимые различия корреляций в пяти из двадцати случаев, критический порог ICCDE был бы .75. Если наблюдаемая величина ICCDE превышает это значение, то можно говорить о наличии ошибки jangle.

В заключение, несмотря на то, что методы выявления этих ошибок могут быть довольно субъективными, предложенная формула, зависящая от исследуемой проблемы, способна предоставить более убедительные результаты, чем абстрактные и расплывчатые пороги.