Иногда при разработке промышленной системы выделяют дополнительные этапы для перехода: демонстрационный прототип – исследовательский прототип – действующий прототип – промышленная система.
Однако чаще реализуется плавный переход от демонстрационного прототипа к промышленной системе. Понятие же коммерческой системы в нашей стране входит в понятие промышленный программный продукт или промышленная ЭС.
Стадии изменения ЭС от прототипа до коммерческой системы
Демонстрационный прототип ЭС | Система решает часть задач, демонстрируя жизнеспособность подхода (несколько десятков правил или понятий) |
Исследовательский прототип ЭС | Система решает большинство задач, но не устойчива в работе и не полностью проверена (несколько сотен правил и понятий) |
Действующий прототип ЭС | Система надежно решает все задачи на реальных примерах, но для сложной задачи требует много времени и памяти |
Промышленная система | Система обеспечивает высокое качество решений при минимизации требуемого времени и памяти; переписывается с использованием более эффективных средств представления знаний |
Коммерческая система | Промышленная система, пригодная к продаже, т.е. хорошо документирована и снабжена сервисом |
После установления основной структуры ЭС инженер по знаниям приступает к разработке и адаптации интерфейсов, с помощью которых система будет общаться с пользователем и экспертом.
Этап 4: оценка системы
После завершения этапа разработки промышленной экспертной системы необходимо провести ее тестирование в отношении критериев эффективности. К тестированию широко привлекаются другие эксперты с целью апробирования работоспособности системы на различных примерах. Экспертные системы оцениваются главным образом для того, чтобы проверить точность работы программы и ее полезность. Оценку можно проводить, исходя из различных критериев, которые группируются следующим образом:
§ критерии пользователей (понятность работы системы, удобство интерфейсов и др.);
§ критерии приглашенных экспертов (оценка советов-решений, предлагаемых системой, сравнение ее с собственными решениями, оценка подсистемы объяснений и др.);
§ критерии коллектива разработчиков (эффективность реализации, производительность, дизайн, широта охвата предметной области, непротиворечивость базы знаний и т.п.).