Особенности технологии экспертной оценки качества
Экспертн. методы
исп-ются там, где физ-ое явл не открыто или оч сложно для использ-ия. Пример такого метода - оценка кач-ва фигуристов. Разновидностью экспертного метода является так называемый органолептический метод, основанный на исп-нии органов чувств человека.
Измерение - это сравнение одного продукта с др. Если результат получен теорет. путем, то это не измерение, а прогноз.
Методы сравнения.
При сравнен можно пользоваться тремя шкалами или методами: шкала уровней; шкала интервалов; шкала отношений.
При исп-ии шкалы уровней
с принятой величиной уровня Q сравниваются все
остальные величины Q, по принципу: Qi-Q=Q. Например, t таяния льда Q = 0° С, измеренная t Qi = 50° С, следовательно, t объекта превышает заданный уровень. При измерениях по шкале порядка результ-ом измерения явл решение в виде ранжированного ряда объектов сравнения: Q
<
Q
<
Q
<
Q
<
Q
<
Q
.Ряд явл результ-ом оценок экспертов. При измерениях по шкале отношен, которая обычно применяется для измерения физ величин, таких как масса, длина, мощность, величины сравнивают по принципу:
Q/Q=q,
где Q, - измеренная величина; Q - эталонная величина.
Экспертные методы.
При использ-ии экспертного метода для оценки кач-ва часто используется шкала порядка. Решается вопрос сравнения по принципу «лучше или хуже», «< или >». Более подробная инфа о том, во сколько раз лучше или хуже часто не требуется. Попарное сравнение
. При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления. Предпочтение одного объекта перед другим обозначено 1, обратная ситуация - 0.
Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка будет иметь вид: Q
<
Q
<
Q
<
Q
=
Q
<
Q
.Если использовать
несколько экспертов, то можно получить более точный результат. Можно использовать более совершенные критерии, например, преимущество определить оценкой 1, худшее качество определить оценкой -1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним. Психологами доказано, что попарное сопоставление лежит в основе любого выбора, тем не менее, шкалу порядка часто составляют заранее (не ранжированный ряд) и фиксируют на ней опорные (реперные) точки, которые называют баллами. Так появилась двенадцатибальная шкала интенсивности землетрясений МSК - 64, минералогическая шкала Мооса, пятибалльная шкала оценки знании. В таблице 10.2 в качестве примера приведена шкала твердости минералов Мооса.
Влияние на результаты экспертизы состава экспертов.
Тестирование. При формировании экспертной группы целесообразно провести тестирование, взаимооценку экспертов и проверку согласованностей мнений.Тестирование состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами, и проверке по критерию Фишера гипотезы о принадлежности оценок разных экспертов к одной и той же генеральной совокупности оценок.Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы. Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации:
W= ;
где S - сумма квадратов отклонений всех оценок рангов
каждого объекта экспертизы
от среднего значения;
1 2