Реферати українською » Философия » Сучасний етап розвитку теорії експертні оцінки


Реферат Сучасний етап розвитку теорії експертні оцінки

Страница 1 из 3 | Следующая страница

А.И.Орлов

За підсумками більш як двадцятирічного досвіду комісії "Експертні оцінки" Наукового ради АН СРСР з комплексної проблемі "Кібернетика" і двадцяти років її наукового семінару "Математичні методи аналізу експертні оцінки" у "справжній главі звіту розглядаються проблеми теорії та практики експертні оцінки. Сучасні математичні методи експертні оцінки - це загалом методи статистики об'єктів нечисловой природи. Обговорюються догми у сфері експертні оцінки i сучасні рекомендації, застосування статистики об'єктів нечисловой природи в експертних оцінок, питання інтегральних показників якості, ефективності тощо., тобто. рейтингів, і навіть перспективи створення застосування гами сучасних методик експертні оцінки з урахуванням підходів і результатів зазначеного наукового колективу. У цілому нині глава дає наукове обгрунтування розробці автоматизованого робочого місця МАТЭК (МАТематические методжы в ЭКспертных оцінках).

Безперечно цілком, що з прийняття обгрунтованих рішень необхідно спиратися на досвід, знання і набутий інтуїцію фахівців. Після Другої світової війни у рамках теорії управління (менеджменту) почала розвиватися самостійна дисципліна - в експертних оцінках.

Методи експертні оцінки - це методи щодо організації роботи з спеціалістами-експертами і методи обробки думок експертів, виражених у кількісної і/або якісної формі з підготовки інформації прийняття рішень ЛПР - особами, котрі ухвалюють рішення.

Для проведення роботи з методу експертні оцінки створюють Робочу групу (скорочено РГ), що й організує за дорученням ЛПР діяльність експертів, об'єднаних (формально чи з суті) в експертну комісію (ЕК).

Є багато методів отримання експертні оцінки. У мають однакові з кожним експертом працюють окремо, він не знає, хтось ще є експертом, тому висловлює свою думку незалежно від авторитетів. За інших експертів збирають разом на підготовку матеріалів для ЛПР, у своїй експерти обговорюють проблему друг з одним, навчаються друг в одного, та зрадливі думки відкидаються. У одних методах число експертів фіксоване і таке, щоб статистичні методи перевірки узгодженості думок і далі їх усереднення дозволяли приймати обгрунтовані рішення. За інших - число експертів зростає у процесі проведення експертизи, наприклад, під час використання методу "снігової кулі" (див., наприклад, [1] ).

Нині немає науково-обгрунтованою класифікації методів експертні оцінки і більше - однозначних рекомендацій з їхньої застосуванню. Цілком природно, спочатку нашій країні з'явилися публікації про найпростіших методах експертні оцінки (див., наприклад, [2-3]). Як завжди буває, тривіальні міркування набули поширення, увійшли до масову свідомість інженерів і сучасних керівників (менеджерів) і вони гальмом по дорозі впровадження сучасних успіхів у області експертні оцінки, описаних, наприклад, на роботах [4-8]. На думку, найбільш просунуті результати в аналізованої області одержані результаті сумлінної роботи комісії "Експертні оцінки" Наукового ради АН СРСР з комплексної проблемі "Кібернетика" в 70-90-ті роки (см.[9-30] та інших. публікації).

У межах справжньої глави звіту не можна докладно розповісти з різноманітними методами експертні оцінки (та й немає у этьом необхідності, оскільки існують численні публікації). Проте, виділимо проблеми в аналізованої області, які можна розглядати, як експертний аналіз стану справ науково-практичної дисципліни "Експертні оцінки".

Основні проблеми експертні оцінки

Що має уявити експертна комісія внаслідок своейработы - інформацію ухвалення рішення ЛПР чи проект рішення? Від відповіді цей методологічний питання залежить організація роботи експертної комісії.

Мета - збирати інформацію для ЛПР.

Тоді Робоча група повинна зібрати можливо, більше що належить до справі інформації, аргументів "за" і "проти" певних варіантів рішень. Корисний метод поступового збільшення кількості експертів, описаний в [1]. Спочатку перший експерт наводить свої міркування щодо оскільки він розглядався питання. Складений їм матеріал передається другому експерту, який додає свої аргументи. Нагромаджений матеріал надходить ось до чого - третьому - експерту... Процедура закінчується , коли вичерпується потік нових міркувань.

Зазначимо, що експерти в аналізованому методі лише поставляють інформацію, аргументи "за" і "проти", але з виробляють узгодженого проекту рішення. Немає жодної необхідності прагне, щоб експертні думки було узгоджено між собою. Понад те, найбільшу користь приносять експерти з мисленням, отклоняющимся від масового, оскільки їх слід очікувати найоригінальніших аргументів.

Мета - як готувався проект рішення ЛПР

Математичні методи в експертних оцінок застосовуються зазвичай саме з вирішення завдань підготовки проекту рішення. У цьому найчастіше некритично приймають догми узгодженості і одномірності. Ці догми "кочують" з однієї публікації у іншу, тому доцільно їх обговорити.

Догму узгодженості.

Вважається, що ухвалено рішення може з'явитися тільки основі узгоджених думок експертів. Тому виключають із експертної групи тих, чия думка відрізняється від думки більшості. У цьому відсіваються як некваліфіковані особи, хто у склад експертної комісії з непорозуміння чи з міркувань, які мають ставлення до їхніх фаховим рівнем, і найбільш оригінальні мислителі, глибше проникли в проблему, ніж безліч. Варто було б з'ясувати їх аргументи, надати можливість для обгрунтування їх точок зору. Замість цього їх думкою нехтують. Трапляється, що експерти діляться на два чи більш груп, мають єдині групові погляду. Так було в [1] наведено приклад розподілу фахівців в оцінці результатів науково-дослідницьких робіт на дві групи: "теоретиків", явно котрі НДР, у яких отримані теоретичні результати, і "практиків", вибирають ті НДР, що дозволяють отримувати безпосередні прикладні результати (йдеться конкурс НДР сьогодні в Інституті проблем управління (автоматики і телемеханіки)).

Іноді заявляють, у разі виявлення двох або кількох груп експертів (замість однієї узгодженої у думках) опитування не досяг мети. Не так! Мети було досягнуто - встановлено, що скасування єдиного думки немає. І ЛПР має це враховувати. Прагнення забезпечити узгодженість думок експертів будь-який цілої може спричинить свідомому односторонньому добору експертів, ігнорування всіх точок зору, крім однієї, найбільш любому робочій групі ( і навіть "підказаної" ЛПР).

Оскільки число експертів звичайно перевищує 20-30, то формальна статистична узгодженість думок експертів може поєднуватися з реально які є поділом на групи, що робить подальші розрахунки які мають ставлення до дійсності. Якщо ж звернутися до конкретних методам розрахунків, наприклад, з допомогою коефіцієнтів конкордации з урахуванням коефіцієнтів ранговій кореляції Кендалла чи Спирмена [31], необхідно пам'ятати, що у насправді позитивного результату перевірки узгодженості у такий спосіб означає ні більше, не менше, як відхилення гіпотези про незалежність і рівномірної распределенности думок експертів на безлічі всіх ранжировок. Інакше кажучи, ми падаємо жертвою помилок, що випливають із своєрідного тлумачення слів: перевірка узгодженості у зазначеному статистичному сенсі не є перевіркою узгодженості себто практики експертні оцінки. (Саме ущербність аналізованих математико-статистичних методів аналізу ранжировок привела нас до розробки нового математичного апарату для перевірки узгодженості - непараметрических методів, заснованих на виключно люсианах [32].)

З метою штучно домогтися узгодженості намагаються зменшити вплив думок экспертов-диссидентов. Жорсткий спосіб боротьби з дисидентами полягає у їх виключення зі складу експертної комісії. Отбраковка експертів, як і вибракування різко що виділяються результатів спостережень, призводить до процедурам, у яких погані чи невідомі статистичні властивості. Так було в [33] показано крайня нестійкість класичних методів відбракування викидів стосовно отклонениям від передумов моделі.

М'який спосіб боротьби з дисидентами полягає у застосуванні робастных (стійких) статистичних процедур. Найпростіший приклад: якщо відповідь експерта - дійсне число, то різко яке вирізняється думка дисидента тяжко впливає середнє арифметичне відповідей експертів і впливає їх медіану. Тому розумно як узгодженого думки розглядати медіану. Однак цьому ігноруються (не досягають ЛПР) аргументи дисидентів.

У кожному з цих двох способів боротьби з дисидентами ЛПР позбавляється інформації, яка від дисидентів, тому може взяти необгрунтоване рішення, яке призведе до негативних наслідків. З іншого боку, уявлення ЛПР всього набору думок знімає частку провини і праці з підготування своє рішення з комісії експертів та ініціативною робочою групи з проведення експертного опитування і перекладає в плечі ЛПР.

Догму одномірності.

Поширений досить примітивний підхід так званої "квалиметрии"(см.,например, [34]), за яким об'єкт можна оцінити одним числом. Оцінювати людини одним числом спадало на думку тільки невільничих ринках. Навряд чи навіть найзавзятіші квалиметристы розглядають книжку або картину як еквівалент її "ринкову вартість".

Кожен об'єкт можна розцінювати за багатьма показниками якості. Наприклад, легковий автомобіль можна розцінювати за такими показниками:

витрата бензину на 100 км шляху (загалом);

надійність (середня вартість ремонту протягом року);

швидкість набору швидкості 100 км/год від початку руху;

максимальна яка швидкість;

тривалість збереження в салоні позитивної температури при зовнішньої температурі ( - 50 градусів) із вимкненим двигуні;

вагу, тощо.

Чи можна звести оцінки за цих показників разом? Визначальною є конкретна ситуація, на яку вибирається автомашина. Максимально яка швидкість важлива гонщика, але, як здається, немає великого практичного значення для водія рядовий приватної машини. Для такого водія важливіше витрата бензину, і надійність. Для машин різних служб управління надійність важливіше, ніж для приватника, а витрата бензину - навпаки. Для районів Крайньої Півночі важлива теплоізоляцію салону, а південних районів країни - немає.

Отже, важлива конкретна (вузька) завдання перед експертами. Але така постановки часто немає. А тоді "гри" для розробки узагальненого показника якості немає об'єктивного характеру. У недавно їх використовували до створення враження про високий рівень вітчизняної продукції. Адже західних машин не морозостійкі, правда? Отже, підбираючи за потрібне чином коефіцієнти в лінійної функції з показників якості, саме, занижуючи ті, якими західних машин краще (вага і ін.) і завищуючи ті, якими краще вітчизняні (морозоустойчивость), можна домогтися поставленої мети. Чомусь ринкові відносини некоректні з цими висновками. (З цією, щоправда, можна боротися, обираючи інші коефіцієнти - ті, що випливають із реального порівняння виробів на конкурентоспроможність).

Альтернативою єдиному узагальненому показнику є математичний апарат типу многокритериальной оптимізації - безлічі Парето тощо. (див., например,[35]).

У окремих випадках усе ж можна глобально порівняти об'єкти - наприклад, з допомогою тієї ж експертів отримати впорядкування аналізованих об'єктів - виробів чи проектів. Тоді можна ПОДОБРАТЬ коефіцієнти при окремих показниках те щоб впорядкування з допомогою лінійної функції можливо точніше відповідало глобальному упорядкування (див., наприклад, [36]). Навпаки, у випадках НЕ СЛІД оцінювати зазначені коефіцієнти з допомогою експертів. Ця проста ідея досі стала очевидною окремих укладачів методик з проведення експертних опитувань та аналізу їх результатів. Вони завзято намагаються змусити експертів робити те, що вони виконати неспроможна - вказувати ваги, із якими окремі показники якості має входити в підсумковий узагальнений показник. Експерти зазвичай можуть порівняти об'єкти чи проекти - у цілому, але з можуть вичленувати внесок окремих чинників. Якщо організатори опитування запитують, експерти відповідають, але це відповіді не несуть у собі надійної інформації реальність...

Основні стадії експертного опитування

Вирізняють такі стадії проведення експертного опитування:

1) формулювання Обличчям, Принимающим Рішення, мети експертного опитування;

2) добір ЛПР основного складу Робочої групи;

3) розробка РГ і запровадження у ЛПР технічного завдання для проведення експертного опитування;

4) розробка РГ докладного сценарію проведення збирання й аналізу експертних думок (оцінок), включаючи як вид експертної інформації ( слова, умовні градації, числа, ранжировки, розбивки чи інші види об'єктів нечисловой природи) і виробити конкретні методи аналізу цієї інформації (обчислення медіани Кемени, статистичний аналіз люсианов й інші методи статистики об'єктів нечисловой природи й інших розділів прикладної статистики);

5) добір експертів відповідно до їх компетентністю;

6) формування експертної комісії (доцільно укладати договори з експертами про умови їхнього роботи та її оплати, твердження ЛПР складу експертної комісії);

7) проведення збору експертної інформації;

8) аналіз експертної інформації;

9) за наявності кількох турів - повторення попередніх етапів;

10) інтерпретація отриманих результатів і підготовка укладання для ЛПР;

11) офіційне закінчення діяльності РГ.

Підбір експертів

Проблема добору експертів є одним із найскладніших. Вочевидь, як експерти необхідно використовувати тих осіб, чиї судження найбільш допоможуть прийняттю адекватного рішення. Але як виділити, знайти, підібрати таких людей? Треба чесно кажучи, що немає методів добору експертів, напевно які забезпечують успіх експертизи. Сьогодні ми думати повертатися до обговорення проблеми існування різних "партій" по-різному (див. вище) і звернемо увагу різні інші боку добору експертів.

Часто пропонують використовувати методи взаємооцінювання і самооцінки компетентності експертів. З одного боку, хто ж краще може знати можливості експерта, що вона сам? З іншого боку, при самооцінці компетентності скоріш оцінюється ступінь самовпевненості експерта, ніж її реальне компетентність. Тим паче, що саме поняття "компетентність" суворо не визначено. Можна його уточнювати, виділяючи складові, та заодно ускладнюється попередня частина діяльності експертної комісії.

З використанням методу взаємооцінювання, крім можливості прояви особистісних і групових симпатій і антипатій, ж виконує функцію непоінформованість експертів про можливості одне одного. За сучасних умов досить хороше ознайомлення з роботи будівельників і можливостями одне одного може лише у фахівців, ви багато років працюючих спільно. Проте залучення таких пар фахівців була дуже доцільно, оскільки вони схожі один на друга.

Використання формальних показників (посаду, вчені ступінь і звання, стаж, число публікацій...), очевидно, може мати допоміжний характер. Успішність участі у попередніх експертизи - хороший критерій для діяльності дегустатора, лікаря, судді у спортивних змаганнях, тобто. таких експертів, які беруть участь у довгих серіях однотипних експертиз. Проте, на жаль, найцікавіші і важливі

Страница 1 из 3 | Следующая страница

Схожі реферати:

Навігація