Оценка системы

После завершения этапа разработки промышленной экспертной системы необходимо провести ее тестирование в отношении критериев эффективно­сти. К тестированию широко привлекаются другие эксперты с целью апро­бирования работоспособности системы на различных примерах. Экспертные системы оцениваются главным образом для того, чтобы проверить точность работы программы и ее полезность. Оценку можно проводить, исходя из различных критериев, которые сгруппируем следующим образом:

Ø критерии пользователей (понятность и "прозрачность" работы системы, удобство интерфейсов и др.);

Ø критерии приглашенных экспертов (оценка советов-решений, предлагае­мых системой, сравнение ее с собственными решениями, оценка подсис­темы объяснений и др.);

Ø критерии коллектива разработчиков (эффективность реализации, произ­водительность, время отклика, дизайн, широта охвата предметной облас­ти, непротиворечивость БЗ, количество тупиковых ситуаций, когда сис­тема не может принять решение, анализ чувствительности программы к незначительным изменениям в представлении знаний, весовых коэф­фициентах, применяемых в механизмах логического вывода, данных и т. п.).