Меню

Методы измерения показателей качества экспертный метод



Экспертный метод.

.: Дата публикации 22-Июль-2008 :: Просмотров: 111185 :: :.

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения зна­чений весовых коэффициентов.

Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;

в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;

вопросы, поставленные перед экспертами, не должны допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии — важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым — инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности — отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества— его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу «трех сигм» легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 . 40 тоже подчиняется нормальному закону, а при меньшем их числе — закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S — сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п — число экспертов; m — число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

Решение.1. Среднее арифметическое рангов

2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:

анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;

многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;

контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.

* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов («дельфийский оракул»), славившийся своими предсказаниями.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 . 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.

В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором разли­чия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.

По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:

При непосредственных измерениях экспертным методом значения физических величин или показателей качества оп­ределяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле

где п — количество экспертов; m — число “взвешиваемых” показателей; — коэффициент весомости j -го показателя в баллах, данный i -м экспертом.

По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.

Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:

лучшим является седьмое, вторым по качеству — четвертое, затем — шестое, первое, второе, третье и пятое. Если же ранжирование прово­дилось с целью определения весовых коэффициентов g i для семи пока­зателей качества, то они рассчитываются по формуле (53), в которой — ранг j — го показателя, установленный i -м экспертом, В примере 75

Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.

1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости — баллы или весовые коэффициенты 1 до 0.

3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.

5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.

Балл j — го объекта или весомость j — го показателя рассчитываются по формуле (53). В данном случае

где — частота предпочтения i — м экспертом j — го объекта экспертизы; С — общее число суждений одного эксперта, свя­занное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением

Пример 76. Предположим для простоты, что пять экспертов, выра­зили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.

Решение 1. Частоты предпочтений

Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.

5. Ранжированный ряд объектов экспертизы имеет вид: № 3; 1;№2; №6; №5; №4.

Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, . и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим . и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т—1).

Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.

Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмот­рения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность— цифрой 1, а предпочтение i — го объекта перед j — м — цифрой 0.

Что можно сказать о результате измерения в третьем приближении? Решение.

1. В первом приближении

2. Во втором приближении

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

Источник

Экспертный метод определения и измерения качества продукции

Данный метод связан с ситуациями в оценке и измерении качества продукции, когда по различным причинам, в значительной мере в связи с отсутствием достоверной информации, использование, например, статистического метода регулирования качества не представляется возможным.

В таких случаях широко применяются методы, использующие результаты опыта и интуицию, т.е. эвристические методы или методы экспертных оценок.

Особенностью данных методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений, оценок, измерений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных и качественных оценок продукции, услуг, работ, процессов, систем, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Примерами традиционных эвристических процедур являются различные экспертизы, консилиумы, совещания, конференции и т.п., результатом которых являются экспертные оценки состояния объекта исследования.

Рассмотрим кратко характеристику экспертных процедур.

В практической деятельности применяются как индивидуальные, так и групповые (коллективные) экспертные оценки (опросы).

Основными целями использования индивидуальных экспертных оценок являются:

— прогнозирование хода развития событий и явлений, состояния оборудования, техники, изделий в будущем, а также оценка их в настоящем.

Применительно к анализу качества продукции, работ, услуг – это выявление источников и причин низкого уровня качества, прогнозирование действий конкурентов, установление всех возможных факторов низкого качества продукции, оценка вероятности наступления неисправностей, назначение коэффициентов относительной важности (значимости последствия и ранжирование факторов качества продукции, выявление путей повышения качества продукции и др.);

— анализ и обобщение результатов, представленных другими экспертами;

— составление сценариев действий и их последствий;

— выдача заключений на работу других специалистов и организаций (рецензий, отзывов, экспертиз и т.п.).

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений о качестве продукции и небольшие затраты, а недостатком – высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

Указанный недостаток призваны устранить или ослабить коллективные экспертные оценки.

Процессу группового обсуждения по сравнению с индивидуальными оценками присущи некоторые отличительные особенности: коллективные оценки, как правило, менее субъективны и решения, принятые на их основе , связаны с большей вероятностью осуществления.

Используя групповые экспертные процедуры (консилиумы), предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов относительно качества, состояния объекта, надежнее, чем мнение отдельного эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.

Можно выделить следующие типы групповых экспертных процедур:

1) открытое обсуждение поставленных вопросов о качестве продукции, состоянии объекта экспертизы, с последующим открытым и закрытым голосованием;

2) свободное высказывание без обсуждения и голосования;

3) закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

Опыт показал, что традиционные методы обсуждения вопросов, поставленных перед группой экспертов, относящихся к первому типу экспертных процедур, не всегда обеспечивают достижения цели — достоверность полученных оценок.

Эти методы страдают рядом недостатков, таких, как влияние авторитетных и «напористых» участников на суждение остальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов все большее распространение находят второй и третий типы групповых экспертных процедур.

Второй тип групповых экспертных процедур предусматривает отсутствие любого вида критики, препятствующего формулировке идей, свободную интерпретацию идей в рамках поставленной проблемы.

Такой метод обсуждения получил название метода коллективной генерации идей (по американской терминологии метод «мозговой атаки»). Он направлен на получение большого количества идей, в том числе и от лиц, которые, обладая большей эрудицией, обычно воздерживаются от высказываний.

К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень «информационного шума», создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей. Этой процедуре «митингового» решения проблем присущ, в частности, и такой недостаток как «сдвиг риска», который заключается в том, что после проведения открытой групповой дискуссии возрастает уровень рискованности принимаемых решений.

Третий тип групповых экспертных оценок – закрытое обсуждение поставленных проблем о качестве, состоянии объекта – позволяет в значительной степени устранить указанные выше недостатки первого и второго типов экспертных процедур. Примером таких экспертных процедур (третьего типа) может служить метод «Дельфи» (название его происходит от греческих оракулов г. Дельфи в древней Греции).Этот метод предусматривает проведение экспертного опроса в несколько туров. Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информации, полученной от экспертов, все оценки располагают в порядке убывания: Н1, Н2 …. Нм, затем определяют медиану и квартили, которые разбивают все оценки на четыре интервала.

Экспертов, чьи оценки попадают в крайние интервалы, просят дополнительно обосновать свое мнение по поводу этих оценок. С их обоснованием и выводами, не указывая от кого, они получены, знакомят остальных экспертов.

После получения оценок второго тура снова рассчитываются медиана и квартили. Это процесс продолжается до тех пор, пока продвижение к сближению точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Учитывая условность метода экспертных оценок, некоторые специалисты относятся к нему с недоверием, считая, что нет гарантии достоверности полученных оценок. Устраняется данный недостаток путем использования соответствующих методов, в частности, определения степени согласованности мнений экспертов, а также – подбором экспертов и определенной системой обработки мнений экспертов.

Общая схема экспертных опросов включает следующие основные этапы:

1) подбор экспертов и формирование экспертных групп;

2) формирование вопросов и составление анкет;

3) работа с экспертами;

4) формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

5) анализ и обработку экспертных оценок.

Как уже отмечалось, существующие способы определения достоверности экспертных оценок качества продукции, состояния объекта основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используется коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, о достоверности оценок.

Коэффициент конкордации определяется по формуле:

где: σ 2 ф – фактическая дисперсия суммарных упорядоченных оценок, данных экспертами;

σ 2 max – дисперсия суммарных (упорядоченных) оценок в случае, когда мнения экспертов полностью совпадают.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0, согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1, согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения. Чаще всего считают, что если W ≥ 0,5, то действия экспертов в большей степени согласованы, чем не согласованны.

Есть много и других методик анализа оценок, даваемых экспертами. В частности, при использовании экспертного метода для оценки качества применяется «шкала порядка». С помощью ее решается вопрос сравнения по принципу «лучше или хуже», «больше или меньше».

При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сравнения. В таблице 7.1 приведен пример ранжирования в ряд шести объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом.

Предпочтение одного объекта перед другим обозначено 1, обратная ситуация – 0.

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таблице № 6 будет иметь вид:

Источник

Читайте также:  Измерение времени отклика приложения

Сравнить или измерить © 2021
Внимание! Информация, опубликованная на сайте, носит исключительно ознакомительный характер и не является рекомендацией к применению.