Сравнительный анализ существующих методик взвешивания термов

Пусть f_ij – частота встречаемости терма i в документе j, N – количество документов в коллекции, M – число термов в коллекции, после удаления стоп-слов и выделения словарных основ, n_i – общее количество появлений терма i во всей коллекции. Используя эти величины при создании векторов документов x₁, x₂,..., x_N, значение j-й компоненты вектора x_i, при 1 ≤ i ≤ N, определяется выражением:

где t_ji – локальный вес терма, основанный лишь на величине f_ik, g_j – глобальный вес терма, основанный на величине n_i, d_i – нормализующая компонента вектора x_i. Существует несколько базовых схем взвешивания. В таблицах 1-3 представлены используемые в задачах ИП методы взвешивания, для каждой из трех составляющих t_ji, g_j, d_i вектора x_i [44]. Основания логарифмов равны 2, χ определяет сигнум-функцию вида: