Как эксперты и неспециалисты воспринимают звуковые концепции: исследование метафорических описаний

Введение в исследование метафорических звуковых концепций

Вне зависимости от области деятельности, профессионалам необходим точный технический словарь для эффективного общения между собой. В некоторых профессиональных сферах, таких как парфюмерия, энология (наука о вине) или музыка, эксперты часто используют метафорические концепции из других сенсорных модальностей для описания своих сенсорных переживаний. Например, специалисты по звуку и музыке — звукорежиссеры, музыканты или саунд-дизайнеры — применяют термины из зрительного и тактильного восприятия, такие как "яркий", "резкий", "шероховатый" или "острый", для описания звуков.

Однако из-за метафорической природы этих концепций ментальные репрезентации, связанные с ними, остаются малоизученными и не гарантированно идентичными у людей с разным профессиональным опытом и образованием в области звука. В данном исследовании мы изучаем, являются ли ментальные репрезентации, связанные с метафорическими звуковыми концепциями, общими для разных групп населения.

Важность вербального описания звуковых свойств

Вербальное описание свойств звука является ключевым аспектом профессионального общения для специалистов в области музыки и звука. Это может происходить, когда дирижер дает стилистический комментарий первому гобоисту оркестра: "Не могли бы вы сыграть эту мелодию ярче?" во время разговора между этим же дирижером и звукорежиссером во время сессии сведения записи: "Микс должен подчеркивать теплоту группы виолончелей здесь"; или между саунд-дизайнером и маркетинговым руководителем без звуковой экспертизы при проектировании интерфейса человек-компьютер.

Предыдущие исследования последовательно наблюдали и анализировали использование метафорических звуковых концепций в дискурсе профессионалов на разных языках западного мира. Такие исследования подчеркивают, что метафорические звуковые концепции в основном используются для описания многомерного аспекта звука, известного как тембр. Тембр используется слушателями для различения широкого спектра источников звука — от музыкальных инструментов до повседневных звуков.

Методология исследования

Участники эксперимента

В эксперименте приняли участие 24 добровольца (средний возраст = 33 года, диапазон возрастов = 25–65 лет). Они были разделены на три группы по восемь участников разной экспертизы: профессиональные звукорежиссеры (средний возраст = 31 год, диапазон возрастов = 25–33 года; семь мужчин, одна женщина), профессиональные дирижеры (средний возраст = 37 лет, диапазон возрастов = 30–60 лет, восемь мужчин) и неспециалисты (средний возраст = 33 года, диапазон возрастов = 25–65 лет; четыре мужчины, четыре женщины).

Количество участников соответствует достаточному количеству оценок набора данных, которое обеспечивает надежные и последовательные оценки по методу Best-Worst Scaling согласно референсным исследованиям. Группа неспециалистов включала только участников, которые сообщили об отсутствии любительской или профессиональной практики, связанной со звуком или музыкой (менее 2 лет музыкальной практики). Все участники сообщили о нормальном слухе и не имели истории аудиологических или неврологических расстройств.

Стимулы и процедура

Звуковой корпус состоял из 520 звуков музыкальных инструментов (т.е. струнные, медные духовые, деревянные духовые и клавишные) из библиотеки StudioOnline и VSL. Как и в предыдущем исследовании, звуки были выбраны произвольно на основе источника, техники исполнения, разнообразия динамики и регистров.

Мы использовали метод Best-Worst Scaling для сбора оценок звукового корпуса. BWS — это субъективный метод аннотирования, основанный на формате сравнения стимулов, который показал отличные результаты для оценки перцептивных качеств звука. В контексте оценки звука процедура BWS состоит в представлении k-кортежей звуков (например, k = 4) и просьбе к участникам выбрать лучший и худший звук в зависимости от изучаемых концепций.

Результаты исследования

Согласованность между группами участников и концепциями

Наши результаты показывают основное влияние концепции на показатели согласованности. Среди всех трех групп шероховатость (86%) была наиболее значимо консенсусной по сравнению с другими концепциями. Второй наиболее консенсусной концепцией была округлость (82%), где участники показали значительно большую согласованность, чем для яркости. Третьей наиболее консенсусной концепцией была теплота (80%), а наименее консенсусной — яркость (77%).

Мы наблюдали основное влияние группы на показатель согласованности. В частности, звукорежиссеры были значительно более последовательными (85%), чем другие группы дирижеров (81%) и неспециалистов (78%). Разница в согласованности между дирижерами и неспециалистами не была значительной.

Акустические портреты звуковых концепций

Этот раздел предоставляет описание звуковых концепций для каждой группы участников на основе анализа с использованием машинного обучения. В целом, мы обнаружили, что шероховатость была концепцией с наиболее высокими показателями точности прогнозирования, за которой следовали округлость, теплота и яркость.

Кроме того, оценки звукорежиссеров предсказывались с большей точностью, чем оценки двух других групп. Хотя некоторые показатели точности низкие (например, для яркости у дирижеров и неспециалистов), предыдущие исследования показали, что интерпретируемость, предлагаемая библиотекой SHAP и моделью, созданной с помощью XGBoost, остается действительной даже при низкой прогностической точности.

Шероховатость звука

Для всех групп мы обнаружили, что шероховатость зависит главным образом от шумовых компонентов. Следовательно, шероховатость уменьшается с отношением гармоника-шум (HNR - Harmonic-to-Noise Ratio) и с шероховатостью спектра модуляции (MPS roughness - Modulation Power Spectrum roughness) и спектральным гребнем.

Округлость звука

Оценки округлости сильно зависели от низких спектральных центроидов и, в меньшей степени, от низких основных частот (F0 - Fundamental Frequency). Более того, округлость негативно влияла на шумовые компоненты, как показано вкладами HNR, спектрального гребня и шероховатости MPS в акустических портретах трех групп.

Теплота звука

Результаты показывают, что для всех групп теплота сильно зависит от низких значений F0, даже больше, чем округлость. Кроме того, согласно экспертным группам, теплый звук также не должен быть слишком шумным (например, HNR и спектральный гребень), что менее актуально для неспециалистов.

Яркость звука

Звукорежиссеры в основном связывали яркость с высоким спектральным центроидом. Дирижеры также ассоциировали яркость главным образом со спектральным центроидом, но важность его вклада более распределена с другими характеристиками, такими как спектральная ширина полосы, крутизна атаки и F0. Наконец, согласно результатам неспециалистов, яркость сильно зависит от F0 и шумовых компонентов. Другими словами, согласно группе неспециалистов, яркий звук — это примерно высокочастотный звук с низким уровнем шума.

Обсуждение результатов

В настоящем исследовании мы изучили ментальные репрезентации четырех звуковых концепций, а именно яркости, теплоты, округлости и шероховатости, в группах звукорежиссеров, дирижеров и участников-неспециалистов. Для этого мы использовали набор данных оркестровых звуков, демонстрирующих большое разнообразие тембров музыкальных инструментов и техник исполнения, которые участники оценивали по четырем звуковым концепциям с использованием метода Best-Worst Scaling.

Насколько нам известно, это исследование является первым, которое раскрывает и акустически объясняет сходства и расхождения в ментальных репрезентациях звуковых концепций между группами участников с разной экспертизой на основе акустических портретов.

Сходства с предыдущими исследованиями

Результаты с точки зрения отношений концепций и акустических портретов перекликаются со многими выводами предыдущих исследований звуковой семантики. Во-первых, мы обнаружили, что спектральный центроид является единогласно основной характеристикой теплоты и округлости и что участники-эксперты также связывали его с яркостью. Во-вторых, мы обнаружили, что шероховатость сильно зависит от зашумленности и временно-вариативных характеристик. В-третьих, что касается отношений между звуковыми концепциями, большинство наших результатов согласуются с выводами, наблюдаемыми в литературе.

Различия между группами экспертов

Согласно звукорежиссерам и дирижерам, они часто используют яркость для описания звука, в то время как редко используют шероховатость. В contrast, наши результаты показывают, что шероховатость является наиболее консенсусной концепцией across групп, unlike яркость.

Яркость обычно ассоциировалась с сильными высокочастотными компонентами и высокой основной частотой. Соответствуя этим выводам, наши акустические результаты и концептуальные отношения объясняют расхождения между группами в ментальной репрезентации яркости.

Выводы и практическое значение

С этой работой мы оценили влияние звуковой экспертизы трех групп участников на их ментальные репрезентации метафорических звуковых концепций. Для этого мы акустически объяснили яркость, округлость, теплоту и шероховатость согласно оценке набора данных звуков по этим терминам звукорежиссерами, дирижерами и неспециалистами в области звука.

Удивительно, но термин, наиболее используемый в экспертных областях (яркость), гораздо менее консенсусен, чем наименее используемый термин (шероховатость). Кроме того, мы углубились в акустические описания концепций, раскрывая существующие отношения между концепциями согласно оценкам каждой группы участников.

Например, мы изучили тонкие специфики округлости и теплоты, которые спектрально очень похожи для всех участников, но также и для каждой группы. С этой работой мы привносим тонкое понимание технического словаря звука, а также эргономичную методологию на основе Best-Worst Scaling, которая может быть применена в будущем в краудсорсинговых контекстах, прокладывая путь для изучения других сложных звуковых концепций.

Ключевой вывод: Профессиональный опыт значительно влияет на восприятие метафорических звуковых концепций, причем наиболее часто используемые экспертами термины оказываются наименее консенсусными между разными группами.

Ограничения исследования и направления для будущих работ

Одним ограничением текущего исследования является небольшой размер выборки каждой социопрофессиональной категории (N = 8), что ограничивает, например, нашу способность исследовать гендерные различия в данных. Однако важно отметить, что метод BWS, который мы использовали, отличается от других исследований, использующих традиционные статистические методы.

Несмотря на небольшой размер выборки, наши результаты показали высокую согласованность внутри групп и стабильные веса акустических характеристик при различных разделениях набора данных во время акустических анализов. Тем не менее, будущие исследования должны рассмотреть возможность увеличения размеров выборки и дальнейшего изучения вопроса мощности в дизайнах BWS.