Обновление информации

Одним из подходов для добавления термов и документов в векторное пространство был реализован в [5].

Как уже говорилось, для добавления термов и документов в сгенерированной ЛСИ базы данных используются три процесса: вложение, пересчет SVD и SVD-обновление.

Процесс вложения состоит в добавлении термов и документов в существующее векторное пространство. Чтобы «вложить» новый mx1 вектор документа d, элементы которого были нужным образом взвешены, d проецируется на совокупность существующих векторов термов (то есть на столбцы матрицы U_k). Пусть d_p представляет документную проекцию вектора d, тогда

d_р = d^T U_k å_k^-1 . (11)

Соответственно, для того, чтобы вложить вектор терма t размерностью 1xn, элементы которого определяют документы, ассоциированные с термом, t проецируется на совокупность ранее существующих векторов документов (то есть на столбцы матрицы V_k). Пусть t_p представляет термовую проекцию вектора t, тогда

t_р = t^T V_k å_k^-1 . (12)

Вложение не меняет представления существовавших ранее документов и термов в терм-документном пространстве, поэтому любое влияние дополнительных термов и документов не определяется.

Так как вложение не влияет на семантическую структуру базы данных, пересчет SVD всегда является альтернативой для обновления. Однако это может требовать больших затрат памяти и машинного времени.

Чтобы избежать таких затрат и иметь возможность увидеть эффект от добавления новых термов и документов в существующую модель векторного пространства, приемлемой альтернативой является SVD-обновление, описанное в [5, 15, 20, 26]. Этот процесс состоит из трех этапов: обновление термов, обновление документов, обновление весов термов.

Обновление термов

Чтобы добавить t термов в существующую ЛСИ - базу данных, пусть Т определяет t х n векторов термов, где n - число документов в коллекции. Т добавляется к рядам k-ранговой матрицы А_k. Пусть

В = А_k / Т, (13)

где В есть матрица (m+ t) х n. Как показано в [5, 26], приближенное SVD матрицы В используется для получения новых векторов термов U_В, новых векторов документов V_B и новых сингулярных значений å_В для задач масштабирования. В_k = U_B å_B V_В^Т есть k-ранговая модель, отражающая изменения в семантической структуре базы данных и терм-документного пространства, происшедших от добавления термов.