Контекстуальное разнообразие и обработка лексики: всесторонний обзор

Введение

Частотность слов давно признана важным фактором лексического доступа: высокочастотные слова распознаются быстрее и точнее, чем низкочастотные (Monsell et al., 1989). Это предполагает, что принцип повторения является ключевой особенностью лексической организации (т.е. каждое столкновение со словом увеличивает его силу или доступность в памяти). Adelman et al. (2006) оспорили эту концепцию, предположив, что определяющим фактором силы слова в памяти является не количество столкновений с ним, а количество различных контекстов, в которых оно встречается.

Методы измерения разнообразия

Контекстуальное разнообразие

Контекстуальное разнообразие определяется как количество уникальных документов, в которых встречается слово. Исследования показывают, что этот показатель объясняет значительно больше дисперсии в латентности лексических решений и называния слов, чем простая частотность.

Семантическое разнообразие

Более современные подходы учитывают семантическое перекрытие между документами. Например, слова «perjury» и «horrific» имеют схожие показатели контекстуального разнообразия, но существенно различаются по семантическому разнообразию из-за различий в контекстах использования.

Влияние на обработку словоформ

Исследования демонстрируют последовательное преимущество высокого разнообразия в задачах распознавания слов. Высокодиверсифицированные слова обрабатываются быстрее и точнее across различных метрик и языков.

Влияние на семантическую обработку

Эффекты разнообразия на семантическую обработку более сложны и зависят от типа задачи и используемой метрики. В то время как некоторые задачи показывают преимущество высокого разнообразия, другие демонстрируют обратную картину.

Практические применения

Понимание эффектов контекстуального разнообразия имеет значение для:

• Разработки образовательных методик
• Создания более эффективных систем обработки естественного языка
• Понимания механизмов языкового обучения

«Слова, появляющиеся в более разнообразных контекстах, с большей вероятностью понадобятся в новом контексте и поэтому более доступны в памяти» - Adelman et al., 2006