Применение экспертных методов при разработке балловых шкал

В качестве примера приводится алгоритм действий экспертов ри разработке 5-балловой шкалы с коэффициентами весомости. Разработка балловой шкалы состоит из следующих этапов: выбор номенклатуры единичных показателей, характеризующих органолептические свойства продуктов; составление схем-таблиц, содержащих словесную характеристику каждого показателя по всем качественным уровням шкалы; назначение коэффициентов весомости показателей; установление критериев для разных качественных уровней (категорий качества) продукции; предварительное обсуждение разработанных элементов балловой шкалы; дву-, троекратное опробование шкалы на нескольких образцах продукции, на этом этапе оценивают в баллах единичные показатели качества с помощью зрительных, обонятельных, осязательных и вкусовых органов чувств, затем рассчитывают комплексные показатели и относят продукцию к определенной категории качества.

Для выбора наилучших решений в каждом из этапов применяют экспертные методы, основанные на использовании суждений экспертов.

Первый этап — выбор номенклатуры показателей качества. Номенклатура единичных показателей установлена соответствующими стандартами на пищевые продукты, но расширить возможности использования балловой шкалы для дифференцирования качества продуктов можно введением дополнительных показателей. Например, иногда целесообразно отдельно оценить запах и вкус, приводимые в стандартах обычно одним показателем, или, если необходимо, ввести дополнительные показатели, не включенные в НД, например «вкус и запах вареной рыбы».

В выборе номенклатуры показателей для балловой шкалы должны участвовать компетентные эксперты, обладающие необходимыми знаниями и опытом в области товароведения и технологии пищевых производств.

Второй этап — составление схем-таблиц характеристики уровней качества.

Ихразрабатывают эксперты, давая подробную словесную характеристику качественных уровней единичных показателей, руководствуясь при этом требованиями соответствующей нормативной и технической документации.

В таблице 7 показан пример схемы словесного описания органолептических свойств рыбы холодного копчения по пяти качественным уровням.

Таблица 7. Характеристика органолептических показателей рыбы холодного копчения

Схемы-таблицы разрабатывают по каждому виду продуктов или группе однородных продуктов, они предназначены для дегустаторов, которые руководствуются необходимой информацией, заложенной в них, при определении балловых оценок в процессе дегустационного контроля качества продуктов.

Третий этап — назначение коэффициентов весомости показателей качества. Коэффициенты весомости используют в связи с различной значимостью единичных показателей в общем восприятии товарного качества продукции. Они выражают долевое участие признака в формировании качества продукта и служат множителями при расчете обобщенных балловых оценок. Таким образом, коэффициенты весомости являются количественными характеристиками значимости показателей.

Для назначения коэффициентов весомости применяют экспертные методы с групповым или индивидуальным опросом. Эксперты сравнивают между собой значимость единичных показателей, используя процедуры ранжирования, оценивания, парного и последовательного сравнений. При этом должны быть выделены главные показатели, наиболее полно отражающие способность изделия отвечать своему основному назначению. Следует учитывать традиционное распределение баллов в шкалах, нашедших практическое применение в действующей нормативной и технической документации. Наиболее важными для пищевых продуктов являются вкус, запах, консистенция. Обычно вкусоароматическим показателям в шкалах отводят до 40 — 60 % общего количества баллов, консистенции — 20 — 25 % баллов.

Согласно рекомендациям сумма коэффициентов весомости должна быть равна 20, чтобы 5-балловые шкалы при любом числе показателей трансформировались в 100-балловые и комплексные показатели можно было воспринимать в процентах от оптимального качества (эталона).

Коэффициенты весомости можно варьировать в зависимости от цели исследования. Например, если необходимо установить влияние какого-либо фактора на качество продукта, то среди единичных показателей, характеризующих качество, повышается значимость тех, которые более лабильны и подвержены действию рассматриваемого фактора. Такой прием позволяет выделить главный фактор среди прочих и более четко выявить его роль в качественных изменениях продукции.

Номенклатура показателей также не является стабильной для каждого вида продуктов питания. В зависимости от поставленной задачи в одних случаях целесообразно фракционировать единичные показатели, например, рассматривать вкус и запах как два разных показателя, в других — объединять несколько единичных показателей в групповой. В некоторых случаях уместно вводить дополнительные показатели, не включенные в стандарты на пищевую продукцию.

Эксперты, работая индивидуально, ранжируют показатели по значимости и назначают коэффициенты весомости. Мнения экспертов обобщаются расчетным путем. Согласно обобщенному мнению экспертов коэффициенты весомости показателей распределены так: 50% баллов шкалы (55% для мороженой рыбы) отводятся вкусоароматическим признакам, 25% баллов — консистенции. В консервах «Шпроты в масле» показатель «состояние тушек рыбы и кожных покровов» имеет непосредственное отношение к консистенции рыбы. Поэтому оба показателя принимают долевое участие в распределении коэффициентов весомости, назначаемых обычно для консистенции рыбных продуктов.

На четвертом этапе эксперты определяют граничные пределы значений комплексных и единичных показателей для каждой категории качества в соответствии с градацией качественных уровней, установленной ими. Мнения экспертов заносят в индивидуальные листы, а затем обобщают.

Пятый этап — обсуждение разработанных элементов балловой шкалы. Предварительно обсуждаются элементы разработанной балловой шкалы. Решается возможность испытания балловой шкалы при необходимости доработки отдельных ее элементов. На этом этапе могут быть внесены коррективы относительно номенклатуры показателей, схем-таблиц, коэффициентов весомости, а также градации продукта по качественным уровням.

Шестой этап — опробование балловой шкалы. Коллектив из 5 — 7 экспертов-дегустаторов, выдержавших испытания на сенсорную чувствительность, оценивает единичные показатели качества нескольких образцов продукции по 5-балловой шкале, используя схемы-таблицы

Оценивая показатели продукции, эксперты сопоставляют их характеристики с базовыми признаками аналогов и словесным описанием свойств в схемах-таблицах. Задачей экспертов является определение зависимости количественных оценок показателей от качественной характеристики. Если комиссия состоит из высококвалифицированных дегустаторов, можно применять шкалу с девятью уровнями качества. Для работы экспертов более удобно использовать 5-балловую шкалу с характеристикой признаков продукта по пяти ступеням качества. При введении оценок в 0,5 балла такая шкала трансформируется в 9-балловую, достаточно подробную для научных целей, при поиске оптимальных технологических режимов и параметров производства продуктов, условий транспортирования и хранения.

Результаты оценки эксперты заносят в дегустационные листы. Затем проводится статистическая обработка индивидуальных оценок, рассчитываются комплексные показатели и количественные меры согласованности экспертов. Обобщение дегустационных оценок качества продукции выполняется методом усреднения. При обработке дегустационных листов и расчете комплексных показателей используют основные приемы математико-статистического анализа для получения количественных характеристик органолептических свойств продуктов, а также принятия количественных мер для анализа этих характеристик и согласованности мнений экспертов. Для этого вычисляют средние величины, например среднюю арифметическую.

Чтобы охарактеризовать разброс совокупности оценок отдельных дегустаторов, рассчитывают статистические показатели их согласованности: среднее квадратическое отклонение, коэффициенты конкордации (согласия), вариации, корреляции, размах и др.

Седьмой этап — обсуждение результатов и корректирование балловой шкалы. Методом группового опроса экспертов обобщаются их мнения о качестве разработанной шкалы, ее надежностии удобстве в работе. Мнение каждого эксперта должно быть обосновано. На заседании экспертной группы обсуждаются результаты испытания балловой шкалы и с помощью голосования составляется заключение об ее качестве. Решение (обобщенное мнение) принимается 2/3, голосов: 5 из 7, 6 из 8 или 9, 7 из 10, 8 из 11 или 12. При серьезном расхождении во мнениях проводят повторные опросы экспертов и обсуждение.

Привлечение коллектива опытных специалистов-экспертов, прошедших подготовку, является гарантией надежных результатов в профильном методе и при разработке балловых шкал оценки качества продуктов.

Лекция 7. Взаимосвязь органолептических и инструментальных показателей качества

1. Объективные и субъективные методы оценки
2. Психореология