2018-01-21
1872
Формула Байеса:
,
где
— априорная вероятность гипотезы A (смысл такой терминологии см. ниже);
— вероятность гипотезы A при наступлении события B (апостериорная вероятность);
— вероятность наступления события B при истинности гипотезы A;
— полная вероятность наступления события B.
Бейсовский подход основан на теореме, утверждающей, что если плотности распределения каждого из классов известны, то искомый алгоритм можно выписать в явном аналитическом виде. Более того, этот алгоритм оптимален, то есть обладает минимальной вероятностью ошибок.
На практике плотности распределения классов, как правило, не известны. Их приходится оценивать (восстанавливать) по обучающей выборке. В результате бейсовский алгоритм перестает быть оптимальным, так как восстановить плотность по выборке можно только с некоторой погрешностью. Чем короче выборка, тем выше шансы «подогнать» распределение под конкретные данные и столкнуться с эффектом переобучения. Будут рассмотрены три наиболее распространенных подхода к восстановлению плотностей: параметрический, непараметрический и расщепление смеси вероятностных распределений. Третий подход занимает промежуточное положение между двумя, и в определенном смысле является их обобщением.
|
|
|
Бейсовский подход к классификации является одним из старейших, но до сих пор сохраняет прочные позиции в теории распознания. Он лежит в основе многих удачных алгоритмических моделей.
Задача.
Билет 29+++
