Оценка согласованности мнений экспертов

При ранжировании объектов эксперты обычно расходят­ся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации. Рас­смотрим матрицу результатов ранжировки n объектов группой из m экспертов (j=1,…,m; i=1,…,n), где - ранг, присваиваемый j-м экспертом i-му объекту. Составим суммы рангов по каждому столбцу. В резуль­тате получим вектор с компонентами [12]

(i=1,2,…,n). (5.14)

Величины рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оп­тимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой [12]:

, (5.15)

где - оценка математического ожидания, равная

(5.16)

Дисперсионный коэффициент конкордации определя­ется как отношение оценки дисперсии (5.15) к макси­мальному значению этой оценки [12]

. (5.17)

Коэффициент конкордации изменяется от нуля до еди­ницы, поскольку .

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка мате­матического ожидания зависит только от числа объек­тов и количества экспертов. Подставляя в (5.16) зна­чение из (5.14), получаем [12]

(5.18)

Рассмотрим вначале суммированные по i при фиксиро­ванном j. Это есть сумма рангов для j-го эксперта. По­скольку эксперт использует для ранжировки натураль­ные числа от 1 до n, то, как известно, сумма натураль­ных чисел от 1 до n равна [12]

(5.19)

Подставляя (5.19) в (5.18), получаем [12]

(5.20)

Таким образом, среднее значение зависит только от числа экспертов m и числа объектов n.

Для вычисления максимального значения оценки дис­персии подставим в (5.15) значение из (5.14) и воз­ведем в квадрат двучлен в круглой скобке. В результате получаем [12]

(5.21)

Учитывая, что из (5.18) следует

получаем [12]

(5.22)

Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скоб­ках. Величина этого члена существенно зависит от рас­положения рангов - натуральных чисел в каждой стро­ке i. Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицы будут расположены одинаковые числа. Следовательно, суммирование рангов в каждой i-u стро­ке дает m-кратное повторение i-ro числа [12]:

Возводя в квадрат и суммируя по i, получаем значение первого члена в (5.22) [12]:

(5.23)

Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая n=m все эксперты присваивают разные ранги одному объекту. Тогда [12]

Сравнивая это выражение с при m=n, убеждаемся, что первый член в квадратных скобках формулы (9) ра­вен второму члену и, следовательно, оценка дисперсии равна нулю.

Таким образом, случай полного совпадения ранжиро­вок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в (5.22) и выпол­няя преобразования, получаем [12]

(5.24)

Введем обозначение [12]

(5.25)

Используя (5.25), запишем оценку дисперсии (5.15) в виде [12]

(5.26)