Оценка результатов формального моделирования

Онтология, созданная или выбранная для повторного использования, оценивается по 3 критериям: адекватность отражения предметной области (fidelity); качество выполнения онтологии и то, насколько она отвечает требованиям, сформулированным в фазе онтологического проектирования (craftsmanship); а также то, насколько представление онтологии отвечает требованиям её использованию (fitness).

Оценка точности отображения предметной области (fidelity)

Точность отображения предметной области оценивается по трем критериям: Корректно ли элементы описания (определения, примеры, объяснения) онтологии для человека отражают онтологические элементы (классы, свойства, аксиомы),

Истинны ли все аксиомы в онтологии с учетом уровня детализации и системы отсчета. Согласуется ли описание онтологии с аксиомами?

В силу того, что оценка точности отображения предметной области зависит от понимания предметной области, оценка требует проверку содержания онтологии экспертами предметной области. Существуют, однако, автоматизированные техники оценки точности отображения предметной области. Например, можно оценивать логическую целостность онтологии, проверять автоматически созданные модели на соответствие требованиям к представлению предметной области ил сравнивать внутреннюю структуру онтологии с другими онтологиями или с другой версией той же онтологии, которые имеют похожую задачу.

Оценка технического совершенства (craftsmanship)

В любой инженерной дисциплине, техническое совершенство связано с двумя отдельными, но пересекающимися аспектами. Первый – построен ли продукт с применением лучших практик в области. Второй – соблюдены ли решения, принятые на стадии проектирования. Как правило, решения стадии проектирования нацелены на создание продукта максимального качества, так что второй аспект в некоторой степени определяет первый. В силу того, что проектирование онтологий это молодая отрасль, существует слишком мало универсально принятых критериев оценки онтологий (таких как синтаксическая связанность, документированность и логическая целостность). Таким образом, оценка технического совершенства должна оцениваться в свете проектных и методологических решений стадии онтологического проектирования.

Один из подходов к оценке оценка технического совершенства состоит в оценке аксиом на соответствие онтологии верхнего уровня или онтологическим мета-свойствам (точность, единство и т.д.). Инструменты для оценки оценка технического совершенства как правило оценивают внутреннюю структуру онтологии. Эти техники оценки опираются на математические и логические свойства онтологии, такие как логическая связанность, проблемы теоретико-модельной интерпретации итд. Структурные метрики включают в себя коэффициент разветвления, плотность, средние значения и т.п.

Оценка соответствия онтологии требованиям предметной области

Формализованные вопросы компетентности и сценарии являются одним из способов проверки соответствия онтологии требованиям предметной области. Успешные ответы на вопросы компетентности доказывают соответствие онтологии требованиям, происходящим от задач онтологии отвечать на запросы. Это не совсем проверка соответствия, но, в зависимости он сценария использования, может быть большой её частью.

Соответствие онтологии требованиям предметной области также можно оценить путем проведения тестов, использующих онтологию в качестве испытательной площадки. Например, если от онтологии требуется автоматическое индексирование текстов, испытания соответствия могут включать аппроксимацию анализа документа и индексирующей системы. Существует множество методов оценки результата, например, сравнение с некоторым эталоном или оценка экспертами. Степень, в которой результаты относятся к онтологии, а не к другим аспектам системы, может быть в определенной степени оценена путем сравнения результатов с использованием той же системы индексации, но для другой онтологии.