Сводная матрица рангов

№ п.п. / Эксперты          
  0.4 0.38 0.42 0.38 0.5
  0.6 0.6 0.6 0.6 0.6
  0.8 0.7 0.78 0.7 0.7
  0.8 0.81 0.8 0.81 0.81
  0.6 0.61 0.61 0.71 0.52
  0.7 0.7 0.7 0.7 0.72
  0.76 0.69 0.6 0.61 0.69
  0.6 0.5 0.56 0.5 0.35

Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 8). Переформирование рангов производится в табл.

Таблица 3

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.4  
  0.6  
  0.6  
  0.6  
  0.7  
  0.76  
  0.8 7.5
  0.8 7.5

Так как в матрице имеются связанные ранги в оценках 2-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.

Таблица 4

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.38  
  0.5  
  0.6  
  0.61  
  0.69  
  0.7 6.5
  0.7 6.5
  0.81  

Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.5.

Таблица 5

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.42  
  0.56  
  0.6 3.5
  0.6 3.5
  0.61  
  0.7  
  0.78  
  0.8  

Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.6

Таблица 6

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.38  
  0.5  
  0.6  
  0.61  
  0.7 5.5
  0.7 5.5
  0.71  
  0.81  

На основании переформирования рангов строится новая матрица рангов.

Таблица 7

№ п.п. / Эксперты          
           
      3.5    
  7.5 6.5   5.5  
  7.5        
           
    6.5   5.5  
      3.5    
           

Матрица рангов

Таблица 8

Факторы / Эксперты           Сумма рангов d d2
x1             -16.5 272.25
x2     3.5     16.5 -6  
x3 7.5 6.5   5.5   32.5    
x4 7.5         39.5    
x5             -0.5 0.25
x6   6.5   5.5     7.5 56.25
x7     3.5     23.5    
x8             -12.5 156.25
               

где

Проверка правильности составления матрицы на основе исчисления контрольной суммы:

Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.

Этап 4. Анализ значимости исследуемых факторов.

В данном примере факторы по значимости распределились следующим образом (табл.).

Расположение факторов по значимости.

Факторы Сумма рангов
x1  
x8  
x2 16.5
x5  
x7 23.5
x6  
x3 32.5
x4 39.5

Этап 5. Оценка средней степени согласованности мнений всех экспертов.

Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):

где S = 911, n = 8, m = 5

Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).

T1 = [(33-3) + (23-2)]/12 = 2.5

T2 = [(23-2)]/12 = 0.5

T3 = [(23-2)]/12 = 0.5

T4 = [(23-2)]/12 = 0.5

∑Ti = 2.5 + 0.5 + 0.5 + 0.5 = 4

W = 0.88 говорит о наличии высокой степени согласованности мнений экспертов.

Этап 6. Оценка значимости коэффициента конкордации.

Для этой цели исчислим критерий согласования Пирсона:

Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 8-1 = 7 и при заданном уровне значимости α = 0.05

Так как χ2 расчетный 30.96> табличного (14.06714), то W = 0.88 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.

Этап 7. Подготовка решения экспертной комиссии.

На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:

x1 = 1/6 = 0.167

x8 = 1/10 = 0.1

x2 = 1/16.5 = 0.0606

x5 = 1/22 = 0.0455

x7 = 1/23.5 = 0.0426

x6 = 1/30 = 0.0333

x3 = 1/32.5 = 0.0308

x4 = 1/39.5 = 0.0253

Факторы Величины, обратные сумме рангов Коэффициенты весомости параметров
x1 0.17 0.33
x8 0.1 0.2
x2 0.0606 0.12
x5 0.0455 0.0901
x7 0.0426 0.0843
x6 0.0333 0.066
x3 0.0308 0.061
x4 0.0253 0.0502

Таблица 2

Оценочные элементы фактора "надежность аналога 1"

Наименование Э1 Э2 Э3 Э4 Э5
Возможность обработки ошибочных ситуаций 0,7 0,67 0,77 0,67 0,6
Наличие тестов для проверки допустимых значений входных данных 0,8 0,7 0,83 0,67 0,72
Наличие требований к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, внешних устройств 0,9 0,88 0,91 0,88 0,8
Наличие требований к программе по восстановлению результатов при отказах процессора, ОС 0,7 0,8 0,7 0,83 0,82
Наличие возможности разделения по времени выполнения отдельных функций программ 0,6 0,6 0,63 0,66 0,56
Наличие возможности повторного старта с точки останова 0,8 0,85 0,7 0,85 0,85
Наличие проверки параметров и адресов по диапазону их значений 0,5 0,5 0,55 0,5 0,5
Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случае ошибок или помех 0,1 0,2 0,15 0,2 0,25

Этап 1. Создание экспертной комиссии.

Число факторов n = 8, Число экспертов m = 5

Этап 2. Сбор мнений специалистов путем анкетного опроса.

Оценку степени значимости параметров эксперты производят путем присвоения им рангового номера. Фактору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составляется сводная матрица рангов.

Этап 3. Составление сводной матрицы рангов.

№ п.п. / Эксперты          
  0.7 0.67 0.77 0.67 0.6
  0.8 0.7 0.83 0.67 0.72
  0.9 0.88 0.91 0.88 0.8
  0.7 0.8 0.7 0.83 0.82
  0.6 0.6 0.63 0.66 0.56
  0.8 0.85 0.7 0.85 0.85
  0.5 0.5 0.55 0.5 0.5
  0.1 0.2 0.15 0.2 0.25

Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 8). Переформирование рангов производится в табл.

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.1  
  0.5  
  0.6  
  0.7 4.5
  0.7 4.5
  0.8 6.5
  0.8 6.5
  0.9  

Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.15  
  0.55  
  0.63  
  0.7 4.5
  0.7 4.5
  0.77  
  0.83  
  0.91  

Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.2  
  0.5  
  0.66  
  0.67 4.5
  0.67 4.5
  0.83  
  0.85  
  0.88  

На основании переформирования рангов строится новая матрица рангов.

№ п.п. / Эксперты          
  4.5     4.5  
  6.5     4.5  
           
  4.5   4.5    
           
  6.5   4.5    
           
           

Матрица рангов

Факторы / Эксперты           Сумма рангов d d2
x1 4.5     4.5     0.5 0.25
x2 6.5     4.5     5.5 30.25
x3             15.5 240.25
x4 4.5   4.5       5.5 30.25
x5             -7.5 56.25
x6 6.5   4.5       10.5 110.25
x7             -12.5 156.25
x8             -17.5 306.25
               

где

Проверка правильности составления матрицы на основе исчисления контрольной суммы:

Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.

Этап 4. Анализ значимости исследуемых факторов.

В данном примере факторы по значимости распределились следующим образом (табл.).

Расположение факторов по значимости

Факторы Сумма рангов
x8  
x7  
x5  
x1  
x2  
x4  
x6  
x3  

Этап 5. Оценка средней степени согласованности мнений всех экспертов.

Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):

где S = 930, n = 8, m = 5

Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).

T1 = [(23-2) + (23-2)]/12 = 1

T3 = [(23-2)]/12 = 0.5

T4 = [(23-2)]/12 = 0.5

∑Ti = 1 + 0.5 + 0.5 = 2

W = 0.89 говорит о наличии высокой степени согласованности мнений экспертов.

Этап 6. Оценка значимости коэффициента конкордации.

Для этой цели исчислим критерий согласования Пирсона:

Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 8-1 = 7 и при заданном уровне значимости α = 0.05

Так как χ2 расчетный 31.3> табличного (14.06714), то W = 0.89 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.

Этап 7. Подготовка решения экспертной комиссии.

На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:

x8 = 1/5 = 0.2

x7 = 1/10 = 0.1

x5 = 1/15 = 0.0667

x1 = 1/23 = 0.0435

x2 = 1/28 = 0.0357

x4 = 1/28 = 0.0357

x6 = 1/33 = 0.0303

x3 = 1/38 = 0.0263

Факторы Величины, обратные сумме рангов Коэффициенты весомости параметров
x8 0.2 0.37
x7 0.1 0.19
x5 0.0667 0.12
x1 0.0435 0.0808
x2 0.0357 0.0664
x4 0.0357 0.0664
x6 0.0303 0.0563
x3 0.0263 0.0489

Таблица 3

Оценочные элементы фактора "надежность аналога 2"

Наименование Э1 Э2 Э3 Э4 Э5
Возможность обработки ошибочных ситуаций 0,1 0,2 0,21 0,2 0,2
Наличие тестов для проверки допустимых значений входных данных 0,5 0,6 0,5 0,65 0,6
Наличие требований к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, внешних устройств 0,2 0,12 0,22 0,12 0,3
Наличие требований к программе по восстановлению результатов при отказах процессора, ОС 0,8 0,79 0,8 0,8 0,7
Наличие возможности разделения по времени выполнения отдельных функций программ 0,4 0,43 0,54 0,43 0,43
Наличие возможности повторного старта с точки останова 0,8 0,8 0,8 0,8 0,8
Наличие проверки параметров и адресов по диапазону их значений 0,7 0,66 0,67 0,65 0,67
Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случае ошибок или помех 0,4 0,3 0,4 0,37 0,3

Этап 1. Создание экспертной комиссии.
Число факторов n = 8, Число экспертов m = 5

Этап 2. Сбор мнений специалистов путем анкетного опроса.
Оценку степени значимости параметров эксперты производят путем присвоения им рангового номера. Фактору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составляется сводная матрица рангов.

Этап 3. Составление сводной матрицы рангов.

№ п.п. / Эксперты          
  0.1 0.2 0.21 0.2 0.2
  0.5 0.6 0.5 0.65 0.6
  0.2 0.12 0.22 0.12 0.3
  0.8 0.79 0.8 0.8 0.7
  0.4 0.43 0.54 0.43 0.43
  0.8 0.8 0.8 0.8 0.8
  0.7 0.66 0.67 0.65 0.67
  0.4 0.3 0.4 0.37 0.3

Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 8). Переформирование рангов производится в табл.

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.1  
  0.2  
  0.4 3.5
  0.4 3.5
  0.5  
  0.7  
  0.8 7.5
  0.8 7.5

Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.21  
  0.22  
  0.4  
  0.5  
  0.54  
  0.67  
  0.8 7.5
  0.8 7.5

Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.12  
  0.2  
  0.37  
  0.43  
  0.65 5.5
  0.65 5.5
  0.8 7.5
  0.8 7.5

Так как в матрице имеются связанные ранги в оценках 5-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.

Номера мест в упорядоченном ряду Расположение факторов по оценке эксперта Новые ранги
  0.2  
  0.3 2.5
  0.3 2.5
  0.43  
  0.6  
  0.67  
  0.7  
  0.8  

На основании переформирования рангов строится новая матрица рангов.

№ п.п. / Эксперты          
           
        5.5  
          2.5
  7.5   7.5 7.5  
  3.5        
  7.5   7.5 7.5  
        5.5  
  3.5       2.5

Матрица рангов

Факторы / Эксперты           Сумма рангов d d2
x1             -15.5 240.25
x2       5.5   24.5    
x3         2.5 8.5 -14  
x4 7.5   7.5 7.5   36.5    
x5 3.5         20.5 -2  
x6 7.5   7.5 7.5   38.5    
x7       5.5   29.5    
x8 3.5       2.5   -7.5 56.25
              1001.5

где

Проверка правильности составления матрицы на основе исчисления контрольной суммы:

Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.

Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости

Факторы Сумма рангов
x1  
x3 8.5
x8  
x5 20.5
x2 24.5
x7 29.5
x4 36.5
x6 38.5

Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):

где S = 1001.5, n = 8, m = 5

Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(23-2) + (23-2)]/12 = 1
T3 = [(23-2)]/12 = 0.5
T4 = [(23-2) + (23-2)]/12 = 1
T5 = [(23-2)]/12 = 0.5
∑Ti = 1 + 0.5 + 1 + 0.5 = 3

W = 0.97 говорит о наличии высокой степени согласованности мнений экспертов.

Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:


Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 8-1 = 7 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 33.87> табличного (14.06714), то W = 0.97 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.

Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x1 = 1/7 = 0.143
x3 = 1/8.5 = 0.118
x8 = 1/15 = 0.0667
x5 = 1/20.5 = 0.0488
x2 = 1/24.5 = 0.0408
x7 = 1/29.5 = 0.0339
x4 = 1/36.5 = 0.0274
x6 = 1/38.5 = 0.026

Факторы Величины, обратные сумме рангов Коэффициенты весомости параметров
x1 0.14 0.28
x3 0.12 0.23
x8 0.0667 0.13
x5 0.0488 0.0968
x2 0.0408 0.081
x7 0.0339 0.0673
x4 0.0274 0.0544
x6 0.026 0.0515

Аналогичным образом выполняем расчеты по другим показателям качества.

Оценочные элементы фактора "сопровождаемость нашего ПИ"

Код элемента Наименование          
C0803 Наличие комментариев в точках входа и выхода программы 0,7 0,8 0,8 0,78 0,78
С0303 Осуществляется ли передача результатов работы модуля через вызывающий его модуль 0,6 0,6 0,6 0,67 0,66
С0801 Наличие комментариев ко всем машинозависимым частям программы 0,78 0,75 0,75 0,78 0,78
С0901 Соответствие комментариев принятым соглашениям 0,7 0,7 0,7 0,7 0,7
С1001 Используется ли язык высокого уровня 0,5 0,65 0,55 0,52 0,52
С0301 Наличие проверки корректности передаваемых данных 0,8 0,8 0,8 0,82 0,8
C0602 Соблюдение принципа разработки программы сверху вниз 0,57 0,63 0,63 0,57 0,57
C0101 Наличие модульной схемы программы 0,7 0,75 0,85 0,74 0,7
C0102 Оценка программы по числу уникальных модулей 0,56 0,7 0,6 0,57 0,57
C0903 Оценка ясности и точности описания последовательности функционирования всех элементов программы 0,8 0,6 0,6 0,63 0,58

Матрица рангов

Факторы / Эксперты           Сумма рангов d d2
x1   9.5 8.5 8.5 8.5   13.5 182.25
x2   1.5       18.5 -9  
x3   7.5   8.5 8.5 39.5    
x4   5.5     6.5   2.5 6.25
x5             -19.5 380.25
x6 9.5 9.5 8.5     47.5    
x7       2.5 2.5   -11.5 132.25
x8   7.5     6.5   9.5 90.25
x9   5.5   2.5 2.5 15.5 -12  
x10 9.5 1.5         -5.5 30.25
              1590.5

где

Проверка правильности составления матрицы на основе исчисления контрольной суммы:

Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости

Факторы Сумма рангов
x5  
x9 15.5
x7  
x2 18.5
x10  
x4  
x8  
x3 39.5
x1  
x6 47.5

Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):

где S = 1590.5, n = 10, m = 5

Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(33-3) + (23-2)]/12 = 2.5
T2 = [(23-2) + (23-2) + (23-2) + (23-2)]/12 = 2
T3 = [(23-2) + (33-3)]/12 = 2.5
T4 = [(23-2) + (23-2)]/12 = 1
T5 = [(23-2) + (23-2) + (23-2)]/12 = 1.5
∑Ti = 2.5 + 2 + 2.5 + 1 + 1.5 = 9.5

W = 0.79 говорит о наличии высокой степени согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:


Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 10-1 = 9 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 35.52> табличного (16.91898), то W = 0.79 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x5 = 1/8 = 0.125
x9 = 1/15.5 = 0.0645
x7 = 1/16 = 0.0625
x2 = 1/18.5 = 0.0541
x10 = 1/22 = 0.0455
x4 = 1/30 = 0.0333
x8 = 1/37 = 0.027
x3 = 1/39.5 = 0.0253
x1 = 1/41 = 0.0244
x6 = 1/47.5 = 0.0211

Факторы Величины, обратные сумме рангов Коэффициенты весомости параметров
x5 0.13 0.26
x9 0.0645 0.13
x7 0.0625 0.13
x2 0.0541 0.11
x10 0.0455 0.0942
x4 0.0333 0.0691
x8 0.027 0.056
x3 0.0253 0.0525
x1 0.0244 0.0505
x6 0.0211 0.0436

Оценочные элементы фактора "сопровождаемость аналога 1"

Код элемента Наименование          
C0803 Наличие комментариев в точках входа и выхода программы 0,7 0,8 0,8 0,78 0,78
С0303 Осуществляется ли передача результатов работы модуля через вызывающий его модуль 0,6 0,6 0,6 0,67 0,66
С0801 Наличие комментариев ко всем машинозависимым частям программы 0,78 0,75 0,75 0,78 0,78
С0901 Соответствие комментариев принятым соглашениям 0,7 0,7 0,7 0,7 0,7
С1001 Используется ли язык высокого уровня 0,5 0,65 0,55 0,52 0,52
С0301 Наличие проверки корректности передаваемых данных 0,8 0,8 0,8 0,82 0,8
C0602 Соблюдение принципа разработки программы сверху вниз 0,57 0,63 0,63 0,57 0,57
C0101 Наличие модульной схемы программы 0,7 0,75 0,85 0,74 0,7
C0102 Оценка программы по числу уникальных модулей 0,56 0,7 0,6 0,57 0,57
C0903 Оценка ясности и точности описания последовательности функционирования всех элементов программы 0,8 0,6 0,6 0,63 0,58

Матрица рангов

Факторы / Эксперты           Сумма рангов d d2
x1   7.5 4.5   6.5 33.5    
x2   4.5       23.5 -4  
x3 6.5         42.5    
x4 9.5 7.5     6.5 39.5    
x5 2.5   2.5       -15.5 240.25
x6 6.5         39.5    
x7             -22.5 506.25
x8 9.5         37.5    
x9 2.5   2.5       -14.5 210.25
x10   4.5 4.5       1.5 2.25
               

где

Проверка правильности составления матрицы на основе исчисления контрольной суммы:

Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости

Факторы Сумма рангов
x7  
x5  
x9  
x2 23.5
x10  
x1 33.5
x8 37.5
x4 39.5
x6 39.5
x3 42.5

Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):

где S = 1624, n = 10, m = 5

Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(23-2) + (23-2) + (23-2)]/12 = 1.5
T2 = [(23-2) + (23-2)]/12 = 1
T3 = [(23-2) + (33-3) + (23-2)]/12 = 3
T4 = [(33-3)]/12 = 2
T5 = [(23-2)]/12 = 0.5
∑Ti = 1.5 + 1 + 3 + 2 + 0.5 = 8

W = 0.8 говорит о наличии высокой степени согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:


Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 10-1 = 9 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 36.13> табличного (16.91898), то W = 0.8 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x7 = 1/5 = 0.2
x5 = 1/12 = 0.0833
x9 = 1/13 = 0.0769
x2 = 1/23.5 = 0.0426
x10 = 1/29 = 0.0345
x1 = 1/33.5 = 0.0299
x8 = 1/37.5 = 0.0267
x4 = 1/39.5 = 0.0253
x6 = 1/39.5 = 0.0253
x3 = 1/42.5 = 0.0235

Факторы Величины, обратные сумме рангов Коэффициенты весомости параметров
x7 0.2 0.35
x5 0.0833 0.15
x9 0.0769 0.14
x2 0.0426 0.0749
x10 0.0345 0.0607
x1 0.0299 0.0526
x8 0.0267 0.047
x4 0.0253 0.0446
x6 0.0253 0.0446
x3 0.0235 0.0414

Оценочные элементы фактора "сопровождаемость аналога 2"

Код элемента Наименование          
C0803 Наличие комментариев в точках входа и выхода программы 0,7 0,8 0,8 0,78 0,78
С0303 Осуществляется ли передача результатов работы модуля через вызывающий его модуль 0,6 0,6 0,6 0,67 0,66
С0801 Наличие комментариев ко всем машинозависимым частям программы 0,78 0,75 0,75 0,78 0,78
С0901 Соответствие комментариев принятым соглашениям 0,7 0,7 0,7 0,7 0,7
С1001 Используется ли язык высокого уровня 0,5 0,65 0,55 0,52 0,52
С0301 Наличие проверки корректности передаваемых данных 0,8 0,8 0,8 0,82 0,8
C0602 Соблюдение принципа разработки программы сверху вниз 0,57 0,63 0,63 0,57 0,57
C0101 Наличие модульной схемы программы 0,7 0,75 0,85 0,74 0,7
C0102 Оценка программы по числу уникальных модулей 0,56 0,7 0,6 0,57 0,57
C0903 Оценка ясности и точности описания последовательности функционирования всех элементов программы 0,8 0,6 0,6 0,63 0,58

Матрица рангов


Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:  


Факторы / Эксперты           Сумма рангов d d2
x1             -13.5 182.25
x2     4.5     12.5 -15  
x3       6.5   25.5 -2  
x4 7.5 8.5         16.5 272.25
x5   2.5

double arrow