Анализ частот употреблений букв (схема Бернулли)

Схемой Бернулли в теории вероятностей называется последовательность независимых одинаково распределенных случайных величин. Формально мы можем предположить, что последовательности f_i,j и x являются реализациями последовательности независимых одинаково распределенных случайных величин, принимающих значения в A, а x распределен как величины класса , где  - неизвестный параметр. Тогда оценка (2.1) принимает вид

e(x) = argmin_i G_i(x), (2.2)

где

G_i(x) =  k _k ln((_k×h_i)/(hi,k×)),

где сумма вычисляется по таким k, что _k > 0, а  = _k_k, h_i = _k h_i,k и. Грубо говоря, производя оценку (x) мы производим частотный анализ текста. Статистический эксперимент показывает, что оценка e(x) существенно хуже оценки t(x).