Взаимодействие слуховой и осязательной информации у опытных пианистов

Уникальные мультисенсорные взаимодействия у опытных пианистов: Интеграция слуховой и осязательной информации

Детально отлаженные сенсорные функции часто характеризуют людей с выдающимися навыками. Хотя многочисленные исследования продемонстрировали улучшенные унимодальные сенсорные функции как на нейронном, так и на поведенческом уровнях у таких индивидов, мало что известно об их мультисенсорных взаимодействиях, особенно о мультисенсорной интеграции и избирательном внимании, которые включают сознательный контроль информации, поступающей от множества органов чувств. В данном исследовании опытные пианисты и непрофессионалы, не имеющие музыкального образования, выполняли пять наборов задач по дискриминации интенсивности в слуховой и осязательной модальностях в различных условиях: (1) только слуховой стимул, (2) только осязательный стимул, (3) конгруэнтные (совпадающие) слуховой и осязательный стимулы (т. е. мультисенсорная интеграция), (4) слуховой стимул и осязательный стимул, нерелевантный задаче, и (5) осязательный стимул и слуховой стимул, нерелевантный задаче. В четвертом и пятом условиях участникам было предложено игнорировать нерелевантный стимул и уделять внимание релевантному задаче стимулу (т. е. избирательное внимание), соответственно.

Введение: Восприятие мира через призму множества чувств

Мы воспринимаем внешний мир через взаимодействия мультисенсорной информации, поступающей от различных органов чувств, и используем эту воспринятую информацию для обновления моторных реакций, которые приводят к желаемым движениям. В реальном мире наш опыт имеет мультисенсорные характеристики. Интеграция мультисенсорной информации (т. е. мультисенсорная интеграция) формирует точное восприятие, когда каждая модальность сенсорной информации представляет конгруэнтные признаки¹. Например, одновременное предъявление слуховых и осязательных стимулов улучшает время реакции между моторным ответом и сенсорными стимулами². Напротив, в некоторых случаях, например, в шумных условиях, концентрация на сенсорных сигналах определенной модальности повышает обнаруживаемость сигнала^3,4,5, что сопровождается игнорированием нерелевантной сенсорной информации (т. е. избирательным вниманием).

Предыдущие исследования показали, что эти функции мультисенсорных взаимодействий приобретаются на поздних стадиях развития и адаптируются с возрастом^6,7 и опытом⁸. Это предполагает, что функции мультисенсорных взаимодействий обладают потенциалом к пластической адаптации посредством обильного мультисенсорного опыта.

Пластические изменения в сенсорных функциях: От унимодальных к мультимодальным

Пластические изменения в унимодальных сенсорных функциях были исследованы в предыдущих работах по сенсорному и моторному обучению^9,10. Унимодальные сенсорные функции могут быть отточены путем многократного воздействия стимулов одной модальности или с помощью моторной тренировки^{11,12,13,14,15}. Более того, предыдущие исследования продемонстрировали пластическую адаптацию мультисенсорных взаимодействий, например, аудиовизуальной и аудиотктильной интеграции, у тренированных индивидов^15,16,17,18. Общий подход в этих исследованиях заключается в манипулировании конгруэнтности сенсорной информации между несколькими модальностями. Например, опытные музыканты могут более точно воспринимать инконгруэнтные стимулы между слуховой и визуальной сенсорной информацией, такими как музыкальная партитура и звуки, по сравнению с непрофессионалами^18,19,20. Однако остается неясным, приносят ли вышеупомянутые функции мультисенсорных взаимодействий (т. е. мультисенсорная интеграция и избирательное внимание) пользу от интенсивной моторной тренировки.

Эти функции мультисенсорных взаимодействий включают сознательный контроль информации, поступающей от мультисенсорных органов чувств (т. е. интегрировать или подавлять), что отличается от обнаружения инконгруэнтных стимулов, которое идентифицирует различия в информации, закодированной в сенсорных сигналах разных модальностей. Недавние исследования показали, что мультисенсорная интеграция включает объединение мультисенсорной информации путем суммирования априорных знаний и независимых оценок стимулов из каждой модальности^{21,22,23,24,25}. С другой стороны, избирательное внимание в мультисенсорных ситуациях определяется как направление внимания к модальностям, которые представляют релевантную для задачи информацию, и отвлечение от модальностей, которые предоставляют нерелевантную для задачи информацию и/или шум. Предыдущие исследования показали, что кратковременная игра в видеоигры улучшает визуальное избирательное внимание, которое характеризуется направлением внимания к релевантным визуальным стимулам и отвлечением от нерелевантных визуальных помех^26,27. Однако, насколько нам известно, ни одно из исследований не изучало пластичность избирательного внимания в мультисенсорных ситуациях, особенно в слуховой и осязательной модальностях.

Экспертные пианисты как модель для изучения мультисенсорных взаимодействий

Экспертный пианист — это уникальная группа для решения этих вопросов, поскольку игра на фортепиано предоставляет обильный слуховой и осязательный опыт. В исполнении на фортепиано сенсорные входные данные из слуховой и осязательной модальностей предоставляют обильную информацию, такую как громкость и тембр нот. Действительно, предыдущие исследования показали, что такой мультисенсорный опыт дает пианистам превосходные перцептивные способности в обеих модальностях по сравнению с непрофессионалами^13,28,29. С другой стороны, предыдущие исследования продемонстрировали взаимодействия сенсорного восприятия между этими двумя модальностями^30,31,32. Такая аудиторно-осязательная интеграция играет важную роль в успешном исполнении на фортепиано и, следовательно, должна пластически адаптироваться посредством длительной фортепианной тренировки.

Одним из важных требований для выразительного исполнения на фортепиано является тонкий контроль интенсивности звуков. Интенсивность звука воспринимается в основном из слуховой модальности, но также и из осязательной модальности, которая кодирует информацию об интенсивности звука посредством нажатия на клавишу (например, чувство давления в кончиках пальцев). Кроме того, точное восприятие интенсивности звука требует как интеграции, так и избирательного внимания к информации, полученной из этих двух модальностей. Таким образом, экспертные пианисты с детства прошли уникальный мультисенсорный опыт из слуховой и осязательной модальностей. Это выдвигает гипотезу о том, что экспертные пианисты обладают превосходными мультисенсорными взаимодействиями в домене интенсивности между слуховой и осязательной модальностями по сравнению с непрофессионалами.

Здесь мы разработали серию психофизических экспериментов для изучения пластичности мультисенсорных взаимодействий в слуховой и осязательной модальностях, особенно в отношении мультисенсорной интеграции и избирательного внимания, путем сравнения между опытными пианистами и непрофессионалами.

Материалы и методы

Участники

В настоящем исследовании приняли участие пятнадцать пианистов и пятнадцать непрофессионалов (средний возраст ± стандартное отклонение: 22,87 ± 4,53 года для пианистов и 25,93 ± 3,90 года для непрофессионалов; 11 женщин среди пианистов и 6 среди непрофессионалов). Все пианисты обучались игре на фортепиано в музыкальной консерватории и/или имели обширную и непрерывную частную практику игры на фортепиано под руководством профессионального пианиста/профессора фортепиано. В отличие от этого, все непрофессионалы не имели никакого опыта обучения игре на музыкальных инструментах, кроме обязательных образовательных программ по музыке в начальной школе. Все участники дали письменное информированное согласие перед участием в экспериментах. Все экспериментальные процедуры проводились в соответствии с Хельсинкской декларацией и были одобрены комитетом по этике Sony Corporation. Это исследование не было предварительно зарегистрировано.

Слуховой стимул

Каждый слуховой стимул представлял собой чистый тон частотой 2000 Гц и длительностью 0,2 с. Мы использовали эту частоту звука, поскольку человеческое слуховое восприятие высокочувствительно на этой частоте³³. Чтобы устранить переходные шумы, амплитуда слухового стимула линейно снижалась до тишины в течение последних 100 мс. Звуковой сигнал генерировался программным обеспечением LabVIEW (Custommade) и передавался через ЦАП (D/A converter) (National Instruments Inc., США). Каждый стимул передавался через динамик (MSP3, YAMAHA, Inc. Япония), расположенный в 1,0 м перед участниками. Для поддержания расстояния между головой участника и динамиком мы просили участников сохранять положение головы, когда мы измеряли расстояние.

Осязательный стимул

Вибротактильные стимулы подавались на кончик указательного пальца правой руки с помощью пьезоэлектрического привода (Murata Electronics, 7BB206L0). Каждый стимул представлял собой синусоидальную вибрацию частотой 200 Гц с длительностью 0,2 с. Мы использовали эту частоту, поскольку порог обнаружения вибрационного стимула был самым низким на этой частоте, что мы подтвердили в пилотном эксперименте. Привод управлялся программным обеспечением LabVIEW (Custommade) через ЦАП. Каждому участнику было предложено положить подушечку кончика указательного пальца правой руки на поверхность привода, не нажимая и не манипулируя им сознательно. Перед началом эксперимента мы убедились, что слуховые сигналы, возникающие от вибротактильных стимулов с этими свойствами, находятся ниже порога слухового обнаружения у всех участников.

Задача по дискриминации интенсивности

В данном исследовании использовалась процедура принудительного выбора из двух альтернатив в задаче дискриминации интенсивности. Участники сидели на стуле для игры на фортепиано, положив правую руку на стол. Два сенсорных стимула с различной интенсивностью предъявлялись участникам в каждом испытании. Интенсивность первого стимула в одном испытании, называемого стандартным стимулом, всегда устанавливалась на 20 дБ для слуховых стимулов и на 10 дБ для осязательных стимулов выше порога обнаружения, который был оценен перед тестированием для каждого участника (подробный метод описан далее). Мы использовали разные интенсивности для стандартного стимула между двумя модальностями, чтобы минимизировать разницу в пороге дискриминации интенсивности в ответ на каждый отдельный сенсорный стимул. Модели байесовской интеграции или максимального правдоподобия предполагают, что мультисенсорные взаимодействия зависят от точности вывода каждого сенсорного стимула²¹. Например, если точность вывода сенсорного стимула из одной сенсорной модальности намного хуже, чем из другой, мультисенсорные взаимодействия менее вероятны. В задаче дискриминации порог дискриминации в ответ на каждый унимодальный сенсорный стимул соответствует точности каждого сенсорного вывода, а порог дискриминации зависит от интенсивности стандартного стимула³⁴. Таким образом, мы подобрали интенсивность стандартного стимула, чтобы соответствовать порогу дискриминации между слуховой и осязательной модальностями. В нашем пилотном эксперименте мы подтвердили, что порог дискриминации не отличался между двумя модальностями при использовании вышеупомянутых интенсивностей стандартного стимула.

Второй стимул, называемый сравнивающим стимулом, предъявлялся с межинтастимульным интервалом 500 мс с варьирующейся интенсивностью. Разница в интенсивности между стандартным и сравнивающим стимулами варьировалась от 0,25 до 4 дБ с шагом 0,25 дБ. Положительное и отрицательное значение интенсивности сравнивающего стимула означает больший и меньший интенсивность сравнивающего стимула по сравнению со стандартным стимулом, соответственно. То, было ли значение интенсивности сравнивающего стимула положительным или отрицательным, определялось случайным образом в каждом испытании. Участникам было предложено ответить, воспринимают ли они интенсивность сравнивающего стимула как большую или меньшую, чем у стандартного стимула. Интенсивность сравнивающего стимула определялась адаптивно с использованием метода взвешенной ап-даун лестницы³⁵. Эксперимент требовал от каждого участника выполнить задачу дискриминации интенсивности 5 раз в различных условиях. Адаптивная процедура использовалась потому, что она требует меньше испытаний для определения психометрической функции дискриминации интенсивности и, следовательно, предотвращает утомление внимания из-за повторения задачи. Каждый правильный ответ уменьшал разницу в интенсивности между двумя стимулами на 0,25 дБ в следующем испытании, каждый неправильный ответ увеличивал ее на 0,75 дБ. Тест дискриминации интенсивности состоял из 100 испытаний.

Процедура

Сначала мы оценили порог обнаружения для каждого из осязательных и слуховых стимулов, подавая сенсорный стимул путем уменьшения/увеличения интенсивности стимула со случайным интервалом (2–4 с). Участникам было предложено нажать клавишу как можно быстрее, когда они воспринимали сенсорный стимул. Поскольку простое время реакции составляет менее 500 мс³⁶, мы интерпретировали, что участники не смогли обнаружить стимул, если время реакции между сенсорным стимулом и нажатием клавиши превышало 500 мс. Интенсивность стимула уменьшалась/увеличивалась на 2 дБ, если участники успешно/неуспешно реагировали в пределах 500-миллисекундного окна. Экспериментатор прекращал измерение, если флуктуация интенсивности стимула по испытаниям достигала плато (это субъективно подтверждалось экспериментатором). Порог обнаружения определялся как средняя интенсивность за последние 10 испытаний, в которых флуктуация интенсивности стимула достигла плато.

Порог обнаружения не отличался между двумя группами (Рис. 1, слуховой: пианисты: −40,62 ± 4,88 дБ (0 дБ соответствует громкости звука 70 дБ уровня динамика (dBSPL) прямо перед динамиком); непрофессионалы: −40,41 ± 7,10 дБ; двухвыборочный t-тест: t28 = −0,09, p = 0,93; осязательный: пианисты: −17,19 ± 3,38 дБ (интенсивность вибрации, при которой к пьезоэлектрическому приводу приложено переменное напряжение 10 В, составляет 0 дБ); непрофессионалы: −16,04 ± 2,78 дБ; двухвыборочный t-тест: t26 = −0,87, p = 0,40).

После оценки порогов обнаружения двух модальностей участники выполнили тест дискриминации интенсивности 5 раз в различных условиях; (1) слуховое условие (A), (2) осязательное условие (S), (3) условие мультисенсорной интеграции (A+S: слуховое + осязательное), (4) условие избирательного внимания к слуховому (Att), и (5) условие избирательного внимания к осязательному (Satt). Порядок условий рандомизировался среди участников.

В условии A+S мы одновременно предъявляли слуховой и осязательный стимулы. Интенсивность сравнивающего стимула отличалась от интенсивности стандартного стимула на один и тот же уровень между двумя модальностями. В условии Att мы одновременно предъявляли осязательный и слуховой стимулы и изменяли интенсивность сравнивающего стимула в слуховой модальности, не изменяя интенсивность сравнивающего стимула в осязательной модальности, как у стандартного стимула. Таким образом, осязательные стимулы не несли информации для задачи дискриминации (т. е. нерелевантная информация). Процедура условия Satt была противоположной Att, что указывает на то, что слуховые стимулы не несли информации для задачи. Оба слуховых и осязательных стимула передавались через разные каналы одного и того же ЦАП, что позволило нам точно синхронизировать два стимула. Эта синхронизация была проверена в нашем пилотном эксперименте.

Анализ данных

Для получения психометрической функции производительности дискриминации интенсивности мы подогнали данные, полученные в задаче дискриминации интенсивности, к функции кумулятивного гауссовского распределения, которая определяется следующим образом:

где μ представляет собой смещение центра функции от 0, а σ означает стандартное отклонение гауссовского распределения, которое идентично наклону функции. Поскольку задача дискриминации интенсивности, которую мы использовали, была адаптивной процедурой, количество испытаний отличалось в зависимости от интенсивностей сравнивающих стимулов. Поэтому мы подогнали данные, используя взвешенный алгоритм нелинейных наименьших квадратов, взвешенный квадратом количества испытаний для каждой интенсивности. Это означает, что влияние данных с большим количеством испытаний на подгонку сильнее. Значение сигма представляет собой чувствительность к восприятию различий в интенсивностях двух стимулов и определяется как порог. Таким образом, настоящее исследование сосредоточилось на значении сигма в каждом условии. Мы исключили одного пианиста и одного непрофессионала из анализа данных, потому что они всегда давали одинаковый ответ, если пропускали дискриминацию интенсивностей двух стимулов. Такой предвзятый ответ аномально смещает центр психометрической кривой и затем ухудшает точную оценку значения сигма.

Размер выборки был определен таким образом, чтобы обеспечить 90% мощности и двусторонний уровень 5% при обнаружении взаимодействия между факторами группы и условия при умеренном размере эффекта (т. е. частичный квадрат эта ηp2 = 0,1), на основе нашего пилотного эксперимента (Дополнительная рис. S1). Пилотный эксперимент был разработан для определения размера выборки, который, по крайней мере, воспроизводил бы различия в функции слуховой и осязательной интеграции между музыкантами и непрофессионалами, описанные в предыдущем исследовании³⁷. В пилотном эксперименте 4 пианиста и 4 непрофессионала, не участвовавших в основном эксперименте, выполнили задачу дискриминации интенсивности в условиях A, S и A+S. Двухфакторный смешанный дисперсионный анализ (ANOVA) выявил умеренный размер эффекта взаимодействий между факторами группы и условия (частичный квадрат эта ηp2 = 0,1) по значению сигма между условием A+S и меньшим из условий A и S. Таким образом, мы использовали это значение для расчета размера выборки с помощью анализа мощности (G*Power ver.3.1.9.4.)³⁸. Этот анализ определил, что размер выборки требует 28 участников из обеих групп. С другой стороны, в тесте избирательного внимания мы собрали такое же количество образцов, как и при тестировании функции слуховой и осязательной интеграции, поскольку мы не проводили анализ размера выборки для тестирования избирательного внимания. Статистический анализ проводился с использованием программного обеспечения JASP (JASP Team 2020) и R. Двухфакторный смешанный дисперсионный анализ (ANOVA) использовался для оценки значений сигма и мю (группа × условие). Тест Маучли использовался для оценки сферичности перед проведением каждого ANOVA. Коррекция Гринхауса — Гейссера проводилась для несферических данных. Частичный квадрат эта ηp2 (ηp2) рассчитывался как размер эффекта для ANOVA. В дополнение к этим анализам мы рассчитали фактор Байеса (BF10) для каждого анализа, чтобы количественно оценить соотношение вероятности альтернативной гипотезы к вероятности нулевой гипотезы. Это связано с тем, что байесовская статистика интеграции не требует предположений и коррекций для распределения данных, и поэтому может обеспечить надежную модель, объясняющую данные. Значение BF10 выше 1 указывает на анекдотичные, выше 3 — умеренные, а выше 10 — сильные доказательства альтернативной гипотезы^39,40.

Результаты

Дискриминация восприятия

На рис. 2A и B показаны типичные результаты, полученные в задачах дискриминации интенсивности для одного репрезентативного пианиста и одного непрофессионала соответственно. Мы подогнали данные к функции кумулятивного гауссовского распределения и получили значения сигма и мю, которые представляют собой наклон и центр функции соответственно. Пунктирная линия обозначает кривую, подогнанную психометрической функцией, а размер круга указывает количество испытаний.

Мультисенсорная интеграция

Для изучения различий между группами в мультисенсорной интеграции мы сначала сравнили значение сигма, полученное в условиях A, S и A+S (рис. 3). Двухфакторный смешанный ANOVA выявил значительные основные эффекты группы (F1,26 = 6,61, p = 0,01, ηp2 = 0,20) и условия (F1,41,36,54 = 4,60, p = 0,03, ηp2 = 0,15) факторов, но не интерактивный эффект между двумя факторами (F1,41,36,54 = 0,16, p = 0,78, ηp2 = 0,01) по значениям сигма. Пост-хок сравнение с коррекцией Шеффера обнаружило, что значение сигма в условии A+S было ниже, чем полученное как из условий A (t26 = 2,06, p < 0,05), так и из условий S (t26 = 4,36, p < 0,01). Байесовский двухфакторный смешанный ANOVA также указал на сильные доказательства в пользу модели группа + условие (Таблица 1, BF10 = 12,16).

Однако возможно, что в условии A+S участники выполняли тест дискриминации интенсивности, используя только более чувствительную модальность, уделяя избирательное внимание своим превосходящим модальностям, а не интегрировали сенсорную информацию из двух модальностей. Поэтому остается неясным, был ли превосходный перцептивный результат в условии A+S результатом превосходной функции слухо-осязательной интеграции или просто отражал восприятие более чувствительной из двух модальностей путем избирательного направления внимания к одной из двух модальностей во время условия A+S. Чтобы изучить это, мы далее сравнили значение сигма, полученное в условии A+S, и минимальное значение сигма из условий A и S. Восемь пианистов и 7 непрофессионалов показали лучшую производительность (т. е. более низкое значение сигма) в слуховом условии, чем в осязательном условии. Для значения сигма двухфакторный смешанный ANOVA выявил значительное взаимодействие между факторами группы и условия по значению сигма (Рис. 4A, F1,26 = 11,29, p < 0,01, ηp2 = 0,30). Байесовский двухфакторный смешанный ANOVA указал на умеренные доказательства альтернативной гипотезы (Таблица 2, BF10 = 4,98 для модели группа + условие + группа × условие). Тест простых эффектов для взаимодействия выявил значительное различие в значении сигма в условии A+S между двумя группами (F1,26 = 6,65, p = 0,02, ηp2 = 0,20, BF10 = 3,62). Кроме того, тест простых эффектов далее выявил значительные различия в значении сигма между условием A+S и минимальным значением сигма из условий A и S в обеих группах. У пианистов значение сигма в условии A+S было ниже, чем у минимального значения сигма (F1,13 = 11,29, p < 0,01, ηp2 = 0,46, BF10 = 9,87). В отличие от этого, не было значительных различий в значении сигма между условием A+S и минимальным значением из условий A и S у непрофессионалов (F1,13 = 3,47, p = 0,09, ηp2 = 0,21, BF10 = 1,05). Эти результаты указывают на то, что одновременное предъявление слуховых и осязательных стимулов улучшило дискриминацию восприятия примерно на 20% у пианистов, но не у непрофессионалов.

Для значения мю в условии A+S и в любом из условий A или S, соответствующих минимальному значению сигма (дополнительная рис. S2A), двухфакторный смешанный ANOVA не выявил значительных основных эффектов группы (F1,26 = 2,34, p = 0,14, ηp2 = 0,08) и условия (F1,26 = 0,33, p = 0,57, ηp2 = 0,01) факторов, ни взаимодействия между двумя факторами (F1,26 = 0,35, p = 0,56, ηp2 = 0,01). Байесовский двухфакторный смешанный ANOVA также подтвердил нулевую гипотезу (дополнительная табл. S1).

Избирательное внимание

Слуховая модальность

Для изучения различий между группами в эффекте нерелевантных осязательных стимулов на слуховую дискриминацию восприятия мы сравнили значения мю и сигма, полученные в условиях A и Att, между пианистами и непрофессионалами. Двухфакторный смешанный ANOVA не выявил значительных эффектов группы (F1,26 = 0,69, p = 0,42, ηp2 = 0,03) и условия (F1,26 = 0,52, p = 0,48, ηp2 = 0,02) факторов, ни взаимодействия между двумя факторами (F1,26 = 2,65, p = 0,12, ηp2 = 0,09) по значениям мю (дополнительная рис. S2B). Байесовский двухфакторный смешанный ANOVA также подтвердил нулевую гипотезу (дополнительная табл. S2).

В отличие от этого, двухфакторный смешанный ANOVA выявил значительное взаимодействие между факторами группы и условия по значению сигма (Рис. 4B; F1,26 = 5,25, p = 0,03, ηp2 = 0,17). Пост-хок анализ мощности для этих данных с ошибкой α 5% предполагал мощность выше 0,99, что подтвердило достаточность размера выборки для обнаружения взаимодействия. Байесовский двухфакторный смешанный ANOVA также предоставил очень сильные доказательства в пользу модели группа + условие + группа × условие по значениям сигма (BF10 = 123,75, Таблица 3). Тест простых эффектов для взаимодействия далее выявил значительное различие в значении сигма в условии A между двумя группами (F1,26 = 4,54, p = 0,04, ηp2 = 0,15, BF10 = 1,80). Кроме того, тест простых эффектов выявил значительное различие в значении сигма между условиями A и Att у пианистов (F1,13 = 25,27, p < 0,01, ηp2 = 0,66, BF10 = 138,29), но не у непрофессионалов (F1,13 = 2,18, p = 0,16, ηp2 = 0,14, BF10 = 0,66). Эти результаты указывают на то, что унимодальная слуховая дискриминация восприятия и эффект нерелевантных осязательных стимулов на слуховую дискриминацию восприятия различались между двумя группами.

Осязательная модальность

Для изучения различий между группами в эффекте нерелевантных слуховых стимулов на осязательную дискриминацию восприятия мы сравнили значения мю и сигма, полученные в условиях V и Vatt, между пианистами и непрофессионалами. Двухфакторный смешанный ANOVA не выявил значительных эффектов группы (F1,26 = 0,35, p = 0,56, ηp2 = 0,01) и условия (F1,26 = 1,83, p = 0,19, ηp2 = 0,07) факторов, ни взаимодействия между двумя факторами (F1,26 = 2,21, p = 0,15, ηp2 = 0,08) по значениям мю (дополнительная рис. S2C). Байесовский двухфакторный смешанный ANOVA также подтвердил нулевую гипотезу (дополнительная табл. S3). Аналогично, двухфакторный смешанный ANOVA не выявил значительных основных эффектов группы (F1,26 = 1,97, p = 0,17, ηp2 = 0,07) и условия (F1,26 = 1,30, p = 0,27, ηp2 = 0,05) факторов, а также их взаимодействия (F1,26 < 0,01, p = 0,95, ηp2 < 0,01) по значению сигма (Рис. 4C). Байесовский двухфакторный смешанный ANOVA также подтвердил нулевую гипотезу (Таблица 4). Эти результаты указывают на то, что осязательная дискриминация восприятия не различалась между двумя группами, и нерелевантные слуховые стимулы не влияли на осязательную дискриминацию восприятия в обеих группах.

Одна модальность

Для изучения различий в значениях сигма и мю между слуховой и осязательной модальностями мы провели однофакторный ANOVA по двум значениям. Для значений сигма мы не обнаружили значительного основного эффекта модальности (F1,27 = 0,61, p = 0,44, ηp2 = 0,02). Байесовский однофакторный ANOVA также подтвердил нулевую гипотезу для эффекта модальности (BF10 = 0,36) по значениям сигма. Для значений мю не было значительного основного эффекта модальности (F1,27 = 0,22, p = 0,65, ηp2 < 0,01, BF10 = 0,30). Эти результаты указывают на то, что дискриминация восприятия в ответ на одиночные сенсорные стимулы не различалась между двумя модальностями в данной экспериментальной установке. Однако мы обнаружили, что абсолютная разница в значении сигма между условиями A и S была больше у непрофессионалов по сравнению с пианистами (Дополнительная рис. S3, пианисты: 0,43 ± 0,40, непрофессионалы: 1,42 ± 0,94, среднее ± стандартное отклонение, однофакторный ANOVA с повторными измерениями, основной эффект группы: F1,26 = 13,18, p < 0,01, ηp2 = 0,34).

Корреляция между порогом обнаружения и функциями мультисенсорных взаимодействий

Для изучения взаимосвязей между функциями мультисенсорных взаимодействий и порогами обнаружения мы провели корреляционный анализ. Корреляционный анализ Пирсона не выявил значительной корреляции между порогом слухового обнаружения и функцией мультисенсорной интеграции (т. е. разница между значением сигма, полученным в условии A+S, и минимальным значением сигма из условий A и S) (пианист: r = 0,18, p = 0,53; непрофессионал: r = 0,39, p = 0,17), и между порогом осязательного обнаружения и функцией мультисенсорной интеграции в обеих группах (пианист: r = −0,14, p = 0,64; непрофессионал: r = −0,41, p = 0,15). Кроме того, мы также не обнаружили значительной корреляции между слуховым избирательным вниманием и порогом обнаружения каждой модальности (порог слухового обнаружения, пианист: r = 0,18, p = 0,53; непрофессионал: r = 0,22, p = 0,46; порог осязательного обнаружения, пианист: r = −0,01, p = 0,98; непрофессионал: r = 0,23, p = 0,44), ни между осязательным избирательным вниманием и порогом обнаружения каждой модальности (порог слухового обнаружения, пианист: r = 0,07, p = 0,81; непрофессионал: r = −0,24, p = 0,41; порог осязательного обнаружения, пианист: r = 0,06, p = 0,84; непрофессионал: r = 0,05, p = 0,87) в обеих группах. Эти результаты предполагают, что индивидуальные различия в пороге обнаружения двух модальностей не связаны с мультисенсорными взаимодействиями, наблюдаемыми в данном исследовании.

Обсуждение

Настоящее исследование изучало функции мультисенсорных взаимодействий у тренированных индивидов. Результаты психофизических экспериментов впервые продемонстрировали, что опытные пианисты превосходят непрофессионалов по функции мультисенсорной интеграции и уступают им по устойчивости слуховой обработки к нерелевантным осязательным стимулам. Интенсивный слухо-осязательный опыт, полученный в результате ежедневной практики игры на фортепиано, формирует уникальные мультисенсорные взаимодействия, которые позволяют пианистам осмысленно интегрировать слуховую и осязательную информацию, но вместо этого усугубляют нисходящее избирательное подавление осязательной информации во время слуховой обработки.

Функция мультисенсорной интеграции

Новым открытием настоящего исследования стало превосходство дискриминации интенсивности у пианистов по сравнению с непрофессионалами при предъявлении мультисенсорного стимула. Несколько предыдущих исследований также показали, что музыканты могут реагировать быстрее⁴¹ и точнее воспринимать частоту³⁷ на мультисенсорные стимулы, чем непрофессионалы, что указывает на превосходную функцию мультисенсорной интеграции у музыкантов по сравнению с непрофессионалами. В то время как эти исследования сравнивали время реакции и частоту дискриминации восприятия между группами при предъявлении мультисенсорных стимулов, ни одно из них не сравнивало эти поведенческие меры между мультисенсорным условием и лучшим из индивидуальных унимодальных условий. Поэтому оставалось неясным, был ли превосходный поведенческий результат в мультисенсорном условии у музыкантов результатом превосходной функции мультисенсорной интеграции или просто отражал превосходное восприятие каждого унимодального условия. Для решения этого критического вопроса настоящее исследование изучило как унимодальные, так и мультимодальные функции и поддержало первый вариант. Только у пианистов значение сигма было ниже (т. е. более чувствительное) в условии A+S, чем в лучшем из двух унимодальных условий. В игре на фортепиано более слабый удар по клавише вызывает меньшую интенсивность звука и осязательной обратной связи, и наоборот. Таким образом, пианисты имеют обильный опыт получения таких «согласованных» мультисенсорных стимулов с детства, что может развивать специализированную функцию мультисенсорной интеграции в домене интенсивности между слуховой и осязательной модальностями. У непрофессионалов, напротив, не было значительного различия в дискриминации восприятия между условием A+S и лучшим из двух унимодальных условий. Можно спросить, почему у непрофессионалов не было эффекта слухо-осязательной интеграции. Существует по крайней мере две возможности. Во-первых, мы предполагаем, что разница в пространственном расположении, где возникает каждый сенсорный стимул, может препятствовать интеграции двух сенсорных стимулов у непрофессионалов. Осязательный и слуховой стимулы генерировались пьезоактуатором и динамиком соответственно. Хотя оба устройства располагались перед участниками, точные пространственные положения между двумя устройствами отличались. Непрофессионалы могут быть не знакомы с этой ситуацией, что снижает слухо-осязательную интеграцию у непрофессионалов. В отличие от этого, пианисты могут быть знакомы с такой ситуацией, поскольку звуки фортепиано генерируются не от клавиши, а от струн, расположенных позади фортепиано (т. е. резонансной доски). Таким образом, разница в пространственных положениях между этими сенсорными стимулами может препятствовать слухо-осязательной интеграции, особенно у непрофессионалов, что затем усиливает разницу между группами в эффекте интеграции между двумя модальностями. Во-вторых, мы обнаружили, что абсолютная разница в значении сигма между условиями A и S была больше у непрофессионалов, чем у пианистов. Поскольку модели байесовской интеграции или максимального правдоподобия предполагают, что мультисенсорные взаимодействия зависят от точности вывода каждого сенсорного стимула²¹, большая разница в значении сигма между двумя унисенсорными условиями у непрофессионалов может снизить слухо-осязательную интеграцию у непрофессионалов. В настоящем исследовании мы пытались уменьшить разницу в значении сигма между двумя унисенсорными условиями, корректируя интенсивность стимула стандартного стимула, используемого в тесте дискриминации. Хотя среднее значение сигма по всем участникам не отличалось между двумя унисенсорными условиями в обеих группах, было трудно подобрать значение сигма между двумя унисенсорными условиями для каждого индивида. Таким образом, это может усилить разницу между группами в эффекте слухо-осязательной интеграции, наблюдаемом в настоящем исследовании.

Избирательное внимание у пианистов и непрофессионалов

Мы также обнаружили, что нерелевантные слуховые стимулы не влияли на осязательную дискриминацию восприятия в обеих группах. В отличие от этого, нерелевантные осязательные стимулы ухудшали слуховую дискриминацию восприятия в большей степени у пианистов, чем у непрофессионалов, что указывает на ухудшение функции избирательного игнорирования осязательной информации во время слуховой обработки, характерное именно для экспертных пианистов. В настоящем исследовании участникам было предложено игнорировать нерелевантную информацию модальности, что, вероятно, включает нисходящее избирательное внимание (усиление релевантной для задачи информации и подавление нерелевантной для задачи информации)^42,43,44. Наши результаты, следовательно, предполагают деградацию функции, ответственной за подавление осязательной информации, посредством длительной фортепианной тренировки. Предыдущие исследования показали, что слуховые возмущения, применяемые во время выполнения движений пальцами или пения, меньше влияли на контроль этих движений у музыкантов, чем у непрофессионалов^19,20,45, что указывает на улучшение подавления слуховой информации во время движений у музыкантов. Одно из этих исследований¹⁹ далее сообщило, что пианисты били сильно сразу после слухового возмущения, чтобы сознательно усилить осязательную информацию для компенсации нарушенной слуховой обратной связи. На самом деле, музыканты не всегда играют на инструментах в одинаковой акустической среде, а играют музыку, используя инструменты с разными акустическими свойствами в различных концертных залах. Таким образом, осязательная информация играет важную роль в успешном исполнении из-за ее устойчивости по сравнению со слуховой информацией, которая сильно варьируется в зависимости от среды. Подтверждающим свидетельством является то, что нарушение осязательной, но не слуховой информации снизило качество пения у экспертных певцов^46,47, предполагая, что экспертные певцы больше полагаются на осязательную информацию, чем на слуховую, во время пения. Таким образом, возможно, что осязательная система у музыкантов была реорганизована посредством длительной музыкальной тренировки для эффективной обработки осязательной информации. Такая пластическая адаптация формировала бы надежную обработку осязательной информации, но вместо этого ухудшала бы подавление осязательной информации во время слуховой обработки (т. е. слуховое избирательное внимание). Этот взгляд сопоставим с речью, в которой осязательная информация также играет важную роль как в производстве, так и в восприятии речи^48,49.

Дискриминация интенсивности в унимодальных модальностях

В соответствии с несколькими предыдущими исследованиями, которые продемонстрировали превосходство слуховых функций у музыкантов по сравнению с непрофессионалами^{50,51,52,53,54}, мы обнаружили, что при дискриминации интенсивности в слуховой модальности значение сигма психометрической кривой было ниже у пианистов, чем у непрофессионалов. Тонкое восприятие интенсивности звука во время прослушивания и игры музыкальных произведений является неотъемлемым навыком для оттачивания исполнения на фортепиано. Более того, пианисты подвергались воздействию обильного звука от фортепиано, что предполагает, что повседневная практика вызвала тренировочно-зависимую и/или использующе-зависимую пластичность в слуховых функциях, и таким образом сформировала точное восприятие дискриминации интенсивности звука^55,56. В отличие от этого, дискриминация интенсивности в осязательной модальности не различалась между двумя группами. Вопреки этому, предыдущие исследования продемонстрировали превосходство осязательного восприятия, оцененного по задаче двухточечной дискриминации и задаче дискриминации тактильной частоты, у музыкантов по сравнению с непрофессионалами^28,37,57,58. Эти контрастирующие результаты предполагают, что нейронные механизмы, лежащие в основе осязательной дискриминации восприятия, различаются между доменами частоты и интенсивности⁵⁹. Задача дискриминации, соответствующая первому домену, использует статическую стимуляцию кончика пальца, на которую могут реагировать медленно адаптирующиеся механорецепторы, в то время как задача, соответствующая второму домену, использует вибрационную стимуляцию, аналогичную настоящему исследованию, которая активирует быстро адаптирующиеся механорецепторы. Хотя задачи дискриминации интенсивности и частоты используют вибрационную стимуляцию с аналогичными свойствами, различные нейронные процессы в нервной системе опосредуют эти два типа стимулов⁶⁰. Таким образом, возможно, что эффекты интенсивной фортепианной тренировки на осязательную дискриминацию восприятия различаются между двумя доменами. Действительно, предыдущее исследование продемонстрировало отсутствие различий в восприятии дискриминации веса между пианистами и непрофессионалами⁵⁷.

В отличие от этого, пороги обнаружения в двух модальностях не были связаны с функцией мультисенсорной интеграции, слуховым или осязательным избирательным вниманием. В настоящем исследовании мы корректировали интенсивность сенсорных стимулов, используемых в задаче дискриминации интенсивности, на основе порога обнаружения у каждого участника, чтобы уменьшить разницу в пороге дискриминации интенсивности унисенсорного условия между двумя модальностями. Эта процедура позволила бы устранить влияние индивидуальных различий в пороге обнаружения на объем мультисенсорных взаимодействий. Кроме того, порог обнаружения не отличался между двумя группами в обеих модальностях, что предполагает, что, по крайней мере, в этом экспериментальном дизайне, длительная фортепианная тренировка не модулировала сенсорные функции, связанные с обнаружением унимодальных сенсорных стимулов.

Ограничения

Существуют два ограничения данного исследования. Во-первых, в этом исследовании в качестве слухового стимула использовался чистый тон, а не сложный фортепианный звук. Предыдущие исследования показали, что аудио-тактильное взаимодействие более выражено, когда слуховой стимул состоит из комплексного тона, а не из чистого^32,61. Это предполагает, что различия в аудиторно-осязательных взаимодействиях между пианистами и непрофессионалами, обнаруженные в этом исследовании, были бы более подчеркнуты, если бы в качестве слухового стимула использовался звук фортепиано. Однако наблюдаемые различия в аудиторно-осязательных взаимодействиях между двумя группами, даже с чистыми тональными стимулами, указывают на заметные различия во взаимодействиях между двумя группами. Во-вторых, настоящее исследование проводилось как кросс-секционное, что исключает какие-либо выводы о причинно-следственной связи, приобретены ли уникальные аудиторно-осязательные взаимодействия у пианистов в результате музыкальной тренировки. Приобретение музыкального мастерства требует длительной интенсивной тренировки с детства. Таким образом, трудно провести продольное исследование для изучения влияния музыкального опыта на перцептивные функции. Однако было бы целесообразно изучить влияние короткого периода ограниченной музыкальной тренировки на аудиторно-осязательные взаимодействия.

Заключение

Настоящее исследование изучало функции мультисенсорных взаимодействий у тренированных индивидов. Результаты психофизических экспериментов впервые продемонстрировали, что высококвалифицированные пианисты превосходят непрофессионалов по функции мультисенсорной интеграции и уступают им по устойчивости слуховой обработки к нерелевантным осязательным стимулам. Обширный слухо-осязательный опыт, полученный в результате ежедневной практики игры на фортепиано, формирует уникальные мультисенсорные взаимодействия, которые позволяют пианистам осмысленно интегрировать слуховую и осязательную информацию, но вместо этого усугубляют нисходящее избирательное подавление осязательной информации во время слуховой обработки.