Мультимодальные корпусы текстов

Новым направлением в корпусной лингвистике является создание мультимодальных (мультимедийных) корпусов текстов.

Мультимодальный корпус - это «аннотированная коллекция взаимосвязанного контента (выровненных текстов, аудио- и видеозаписей актов коммуникации), используемая в качестве модели дискурса». [29] Корпус такого рода, кроме текстовой составляющей, включает видео- или аудиозаписи процесса коммуника­ции с привязкой к тексту. Такой корпус представляет языковой и коммуникативный материал, отражающий более чем одну модальность восприятия. Являясь «аннотированной коллекцией взаимосвязанного контента, мультимодальный корпус может быть использован в качестве модели дискурса». [25] Тексты выравнивают с их расшифровками, что позволяет исследовать не только языковые единицы, но и речевые действия говорящего в различных ситуациях общения, его неречевое поведение (мимику, жесты, позы).

Интеграция текстовой информации, аудио- и видеозаписей коммуникативных актов в корпусе обеспечивает платформу для исследования целого спектра явлений в области лексики, просодии, использования невербальных средств, а также для изучения способов взаимодействия этих явлений в естественной речи. Кроме того, мультимодальные корпусы обладают высоким потенциалом для практического применения в таких областях как лексикография, построение систем машинного перевода, создание интерфейсов, построение систем искусственного интеллекта и многих других.

Также как и в учебных корпусах, тексты мультимодальных корпусов имеют разметку, соответствующую целям корпуса. В отличие от корпусов письменной речи, мультимодальные корпусы в дополнение к выше представленным типам разметки имеют свою разметку, которая позволяет выделить интонацию, ударение (фонетические компоненты) и разметку, обозначающую мимику, жесты, телодвижения и т.д.