Современный етап розвитку теорії експертних оценок

Современный етап розвитку теорії експертних оценок.

На основі ніж двадцятирічного досвіду комісії «Експертні оцінки «Наукового ради АН СРСР з комплексної проблемі «Кібернетика «і двадцяти років її наукового семінару «Математичні методи аналізу експертні оцінки «у «справжній главі звіту розглядаються проблеми теорії та практики експертні оцінки. Сучасні математичні методи експертні оцінки — це загалом методи статистики об'єктів нечисловой природи. Обговорюються догми у сфері експертні оцінки i сучасні рекомендації, застосування статистики об'єктів нечисловой природи в експертних оцінок, питання інтегральних показників якості, ефективності тощо., тобто. рейтингів, і навіть перспективи створення і застосування гами сучасних методик експертні оцінки з урахуванням підходів і результатів зазначеного наукового колективу. У цілому нині глава дає наукове обгрунтування розробці автоматизованого робочого місця МАТЭК (МАТематические методжы в ЭКспертных оценках).

Бесспорно цілком, що з прийняття обгрунтованих рішень необхідно спиратися на досвід, знання і набутий інтуїцію фахівців. Після Другої світової війни у рамках теорії управління (менеджменту) почала розвиватися самостійна дисципліна — експертні оценки.

Методы експертні оцінки — це методи щодо організації роботи з спеціалістами-експертами і методи обробки думок експертів, виражених у кількісної і/або якісної формі з підготовки інформації прийняття рішень ЛПР — особами, приймають решения.

Для проведення роботи з методу експертні оцінки створюють Робочу групу (скорочено РГ), що й організує за дорученням ЛПР діяльність експертів, об'єднаних (формально чи з суті) в експертну комісію (ЭК).

Существует маса методів отримання експертні оцінки. У мають однакові з кожним експертом працюють окремо, він не знає, хто ещ› є експертом, а тому висловлює свою думку незалежно від авторитетів. За інших експертів збирають разом на підготовку матеріалів для ЛПР, у своїй експерти обговорюють проблему друг з одним, навчаються друг в одного, та зрадливі думки відкидаються. У одних методах число експертів фіксоване і таке, щоб статистичні методи перевірки узгодженості думок і далі їх усереднення дозволяли приймати обгрунтовані рішення. За інших — число експертів зростає у процесі проведення експертизи, наприклад, під час використання методу «снігової кулі «(див., наприклад, [1]).

В час немає науково-обгрунтованою класифікації методів експертні оцінки і більше — однозначних рекомендацій з їхньої застосуванню. Цілком природно, спочатку нашій країні з’явилися публікації про найпростіших методах експертні оцінки (див., наприклад, [2−3]). Як завжди буває, тривіальні міркування набули поширення, увійшли до масову свідомість інженерів і сучасних керівників (менеджерів) і вони гальмом по дорозі впровадження сучасних успіхів у області експертні оцінки, описаних, наприклад, на роботах [4−8]. На думку, найбільш просунуті результати в аналізованої області одержані результаті сумлінної роботи комісії «Експертні оцінки «Наукового ради АН СРСР з комплексної проблемі «Кібернетика «в 70−90-ті роки (см. 9−30] та інших. публикации).

В рамках справжньої глави звіту не можна докладно розповісти з різноманітними методами експертні оцінки (та й немає у этьом необхідності, оскільки існують численні публікації). Проте, виділимо проблеми в аналізованої області, які можна розглядати, як експертний аналіз стану справ науково-практичної дисципліни «Експертні оцінки » .

Основные проблеми експертні оцінки.

Что має подати експертна комісія внаслідок своейработы — інформацію ухвалення рішення ЛПР чи проект рішення? Від відповіді цей методологічний питання залежить організація роботи експертної комиссии.

Цель — збирати інформацію для ЛПР..

Тогда Робоча група повинна зібрати можливо, більше що належить до справі інформації, аргументів «за «і «проти «певних варіантів рішень. Корисний метод поступового збільшення кількості експертів, описаний в [1]. Спочатку перший експерт наводить свої міркування щодо оскільки він розглядався питання. Складений їм матеріал передається другому експерту, який додає свої аргументи. Нагромаджений матеріал надходить ось до чого — третьому — експерту… Процедура закінчується, коли вичерпується потік нових соображений.

Отметим, що експерти в аналізованому методі лише поставляють інформацію, аргументи «за «і «проти », але з виробляють узгодженого проекту рішення. Немає жодної необхідності прагне, щоб експертні думки було узгоджено між собою. Понад те, найбільшу користь приносять експерти з мисленням, отклоняющимся від масового, оскільки їх слід очікувати найоригінальніших аргументов.

Цель — як готувався проект рішення ЛПР.

Математические методи в експертних оцінок застосовуються зазвичай саме з вирішення завдань підготовки проекту рішення. У цьому найчастіше некритично приймають догми узгодженості і одномірності. Ці догми «кочують «з однієї публікації у іншу, тому доцільно їх обсудить.

Догма узгодженості..

Считается, що ухвалено рішення може з’явитися тільки основі узгоджених думок експертів. Тому виключають із експертної групи тих, чия думка відрізняється від думки більшості. У цьому відсіваються як некваліфіковані особи, хто у склад експертної комісії з непорозуміння чи з міркувань, які мають ставлення до їхніх фаховим рівнем, і найбільш оригінальні мислителі, глибше проникли в проблему, ніж безліч. Варто було б з’ясувати їх аргументи, надати можливість для обгрунтування їх точок зору. Замість цього їх думкою нехтують. Трапляється, що експерти діляться на два чи більш груп, мають єдині групові погляду. Так було в [1] наведено приклад розподілу фахівців в оцінці результатів науково-дослідницьких робіт на дві групи: «теоретиків », явно котрі НДР, у яких отримані теоретичні результати, і «практиків », вибирають ті НДР, що дозволяють отримувати безпосередні прикладні результати (йдеться конкурс НДР сьогодні в Інституті проблем управління (автоматики і телемеханики)).

Иногда заявляють, у разі виявлення двох або кількох груп експертів (замість однієї узгодженої у думках) опитування не досяг мети. Не так! Мети було досягнуто — встановлено, що жодного думки немає. І ЛПР має це враховувати. Прагнення забезпечити узгодженість думок експертів будь-який цілої може спричинить свідомому односторонньому добору експертів, ігнорування всіх точок зору, крім однієї, найбільш любому робочій групі (і навіть «підказаної «ЛПР).

Поскольку число експертів звичайно перевищує 20−30, то формальна статистична узгодженість думок експертів може поєднуватися з реально які є поділом на групи, що робить подальші розрахунки які мають ставлення до дійсності. Якщо ж звернутися до конкретних методам розрахунків, наприклад, з допомогою коефіцієнтів конкордации з урахуванням коефіцієнтів ранговій кореляції Кендалла чи Спирмена [31], необхідно пам’ятати, що у насправді позитивного результату перевірки узгодженості у такий спосіб означає ні більше, не менше, як відхилення гіпотези про незалежність і рівномірної распределенности думок експертів на безлічі всіх ранжировок. Інакше кажучи, ми падаємо жертвою помилок, що випливають із своєрідного тлумачення слів: перевірка узгодженості у зазначеному статистичному сенсі не є перевіркою узгодженості себто практики експертні оцінки. (Саме ущербність аналізованих математико-статистичних методів аналізу ранжировок привела нас до розробки нового математичного апарату для перевірки узгодженості - непараметрических методів, заснованих на виключно люсианах [32].).

С метою штучно домогтися узгодженості намагаються зменшити вплив думок экспертов-диссидентов. Жорсткий спосіб боротьби з дисидентами полягає у їх виключення зі складу експертної комісії. Вибракування експертів, як і вибракування різко що виділяються результатів спостережень, призводить до процедурам, у яких погані чи невідомі статистичні властивості. Так було в [33] показано крайня нестійкість класичних методів відбракування викидів стосовно отклонениям від передумов модели.

Мягкий спосіб боротьби з дисидентами полягає у застосуванні робастных (стійких) статистичних процедур. Найпростіший приклад: якщо відповідь експерта — дійсне число, то різко яке вирізняється думка дисидента тяжко впливає середнє арифметичне відповідей експертів і впливає їх медіану. Тому розумно як узгодженого думки розглядати медіану. Однак цьому ігноруються (не досягають ЛПР) аргументи диссидентов.

В будь-якому з цих двох способів боротьби з дисидентами ЛПР позбавляється інформації, яка від дисидентів, тому може взяти необгрунтоване рішення, яке призведе до негативних наслідків. З іншого боку, уявлення ЛПР всього набору думок знімає частку провини і праці з підготування своє рішення з комісії експертів та ініціативною робочою групи з проведення експертного опитування і перекладає в плечі ЛПР.

Догма одномерности..

Распространен досить примітивний підхід так званої «кваліметрії «(см., например, [34]), за яким об'єкт завжди можна оцінити одним числом. Оцінювати людини одним числом спадало на думку тільки невільничих ринках. Навряд чи навіть найзавзятіші квалиметристы розглядають книжку або картину як еквівалент е› «ринкову вартість » .

Каждый об'єкт можна розцінювати за багатьма показниками якості. Наприклад, легковий автомобіль можна розцінювати із таких показателям:

расход бензину на 100 км шляху (загалом);

надійність (середня вартість ремонту протягом року); швидкість набору швидкості 100 км/год від початку руху; максимальна яка швидкість; тривалість збереження в салоні позитивної температури при зовнішньої температурі (- 50 градусів) із вимкненим двигуні; вагу, тощо.

Можно звести оцінки за цих показників разом? Визначальною є конкретна ситуація, на яку вибирається автомашина. Максимально яка швидкість важлива гонщика, але, як здається, немає великого практичного значення для водія рядовий приватної машини. Для такого водія важливіше витрата бензину, і надійність. Для машин різних служб управління надійність важливіше, ніж для приватника, а витрата бензину — навпаки. Для районів Крайньої Півночі важлива теплоізоляцію салону, а південних районів країни — нет.

Таким чином, важлива конкретна (вузька) завдання перед експертами. Але така постановки часто немає. А тоді «гри «для розробки узагальненого показника якості немає об'єктивного характеру. У недавно їх використовували до створення враження про високий рівень вітчизняної продукції. Адже західних машин не морозостійкі, правда? Отже, підбираючи за потрібне чином коефіцієнти в лінійної функції з показників якості, саме, занижуючи ті, якими західних машин краще (вага і ін.) і завищуючи ті, якими краще вітчизняні (морозоустойчивость), можна домогтися поставленої мети. Чомусь ринкові відносини некоректні з цими висновками. (З цією, щоправда, можна боротися, обираючи інші коефіцієнти — ті, що випливають із реального порівняння виробів по конкурентоспособности).

Альтернативой єдиному узагальненому показнику є математичний апарат типу многокритериальной оптимізації - безлічі Парето тощо. (див., например,[35]).

В окремих випадках вс›-таки можна глобально порівняти об'єкти — наприклад, з допомогою тієї ж експертів отримати впорядкування аналізованих об'єктів — виробів чи проектів. Тоді можна ПІДІБРАТИ коефіцієнти при окремих показниках те щоб впорядкування з допомогою лінійної функції можливо точніше відповідало глобальному упорядкування (див., наприклад, [36]). Навпаки, у випадках НЕ СЛІД оцінювати зазначені коефіцієнти з допомогою експертів. Ця проста ідея досі стала очевидною окремих укладачів методик з проведення експертних опитувань та аналізу їх результатів. Вони завзято намагаються змусити експертів робити те, що вони виконати неспроможна — вказувати ваги, із якими окремі показники якості повинні укладати підсумковий узагальнений показник. Експерти зазвичай можуть порівняти об'єкти чи проекти — у цілому, але з можуть вичленувати внесок окремих чинників. Якщо організатори опитування запитують, експерти відповідають, але це відповіді не несуть у собі надійної інформації про реальности…

Основные стадії експертного опитування.

Выделяют такі стадії проведення експертного опитування:

1) формулювання Обличчям, Які Вживають Рішення, мети експертного опитування;

2) добір ЛПР основного складу Робочої групи;

3) розробка РГ і запровадження у ЛПР технічного завдання для проведення експертного опитування;

4) розробка РГ докладного сценарію проведення збирання й аналізу експертних думок (оцінок), включаючи як вид експертної інформації (слова, умовні градації, числа, ранжировки, розбивки чи інші види об'єктів нечисловой природи) і виробити конкретні методи аналізу цієї інформації (обчислення медіани Кемени, статистичний аналіз люсианов й інші методи статистики об'єктів нечисловой природи й інших розділів прикладної статистики);

5) добір експертів відповідно до їх компетентністю;

6) формування експертної комісії (доцільно укладати договори з експертами про умови роботи та її оплати, твердження ЛПР складу експертної комиссии);

7) проведення збору експертної інформації;

8) аналіз експертної інформації;

9) за наявності кількох турів — повторення попередніх етапів;

10) інтерпретація отриманих результатів і підготовка укладання для ЛПР;

11) офіційне закінчення діяльності РГ.

Подбор експертів.

Проблема добору експертів є одним із найскладніших. Вочевидь, як експерти необхідно використовувати тих осіб, чиї судження найбільш допоможуть прийняттю адекватного рішення. Але як виділити, знайти, підібрати таких людей? Треба чесно кажучи, що немає методів добору експертів, напевно які забезпечують успіх експертизи. Сьогодні ми думати повертатися до обговорення проблеми існування різних «партій «по-різному (див. вище) і звернемо увагу різні інші боку добору экспертов.

Часто пропонують використовувати методи взаємооцінювання і самооцінки компетентності експертів. З одного боку, хто ж краще може знати можливості експерта, що вона сам? З іншого боку, при самооцінці компетентності скоріш оцінюється ступінь самовпевненості експерта, ніж її реальне компетентність. Тим паче, що саме поняття «компетентність «суворо не визначено. Можна його уточнювати, виділяючи складові, та заодно ускладнюється попередня частина діяльності експертної комиссии.

При використанні методу взаємооцінювання, крім можливості прояви особистісних і групових симпатій і антипатій, ж виконує функцію непоінформованість експертів про можливості одне одного. За сучасних умов досить хороше ознайомлення з роботи будівельників і можливостями одне одного може лише у фахівців, багато років жив працюючих спільно. Проте залучення таких пар фахівців була дуже доцільно, оскільки вони схожі один на друга.

Использование формальних показників (посаду, вчені ступінь і звання, стаж, число публікацій…), очевидно, може мати допоміжний характер. Успішність участі у попередніх експертизи — хороший критерій для діяльності дегустатора, лікаря, судді у спортивних змаганнях, тобто. таких експертів, які беруть участь у довгих серіях однотипних експертиз. Проте, на жаль, найцікавіші і важливі унікальні експертизи великих проектів, які мають аналогов.

В разі, якщо процедуру експертного опитування передбачає спільну роботу експертів, велике значення мають їхні особистісні характеристики. Один «балакун «може паралізувати діяльність всій комісії стало. У разі важливо дотримання регламенту роботи, розробленого РГ.

Есть корисний метод «снігової кулі «[1], у якому від кожної фахівця, залучуваного експертом, отримують кілька прізвищ тих, хто то, можливо експертом по аналізованої тематиці. Вочевидь, дехто з тих прізвищ зустрічалися до цього часу діяльності РГ, і деякі - нові. Процес розширення списку зупиняється, коли нові прізвища перестають зустрічатися. У результаті виходить досить великий список можливих експертів. Зрозуміло, що якби першому етапі все експерти були вже з «клану », те й метод «снігової кулі «дасть, швидше за все, осіб із цього «клану », думки і аргументи інших «кланів «будуть упущены.

Необходимо підкреслити, що добір експертів зрештою — функція Робочої групи, і ні методики добору не знімають із неї відповідальності. Інакше кажучи, саме у робочій групі лежить відповідальність за компетентність експертів, право їх принципову здатність вирішити поставлену задачу.

Математические моделей поведінки экспертов.

Теория і практика експертні оцінки дуже математизированы.

Можно виділити дві взаємозалежні галузі - математичні моделей поведінки експертів і математико-статистичні методи аналізу експертних оценок.

Модели поведінки експертів зазвичай засновані на припущенні, що експерти оцінюють цікавий для ЛПР параметр (наприклад, ранжирування зразків виробів по конкурентоспроможності) з декотрими помилками, тобто. експерта розглядають як особливий прилад з властивою йому метрологическими характеристиками. Оцінки групи експертів розглядають як сукупність незалежних однаково розподілених випадкових величин зі значеннями у відповідній просторі об'єктів числової чи нечисловой природи. Зазвичай передбачається, що експерт частіше вибирає правильне рішення (тобто. адекватне реальності), ніж неправильне. У математичних моделях висловлюється у цьому, що щільність розподілу випадкової величини — відповіді експерта монотонно убуває з збільшенням відстані від центру розподілу — істинного значення параметра. Різні варіанти моделей поведінки експертів описані і вивчені в [9,12,18, 26,27,37,38] та інших публикациях.

На математичних моделях поведінки експертів засновані методи планування експертного опитування, збирання й аналізу відповідей експертів. Вочевидь, що більше припущень закладено у модель, то більше вписувалося висновків можна зробити з урахуванням експертні оцінки, аналізованих як статистичні дані - і тих менш обгрунтованими є ці висновки, якщо ні підстав щодо прийняття використовуваної моделі. Розглянемо тріаду моделей поведінки экспертов:

Параметрическая модель — непараметрическая модель — модель аналізу данных..

Параметрическим моделям відповідають найсильніші припущення, перевірити які звичайно вдається. Так, слід звернути увагу, що зазвичай неможливо обгрунтувати нормальність розподілу відповідей експертів. Причини відсутності нормальності у реальних даних, приватним випадком яких є в експертних оцінках, докладно розглянуті в [39]. Додатковим чинником є обмеженість числа експертів — звичайно понад десять — 30, що унеможливлює надійну перевірку нормальності з допомогою такого ефективного стосовно зазвичай яке трапляється альтернативам критерію, як критерій Шапиро-Уилка.

В початку 70-х років було проведено великий експеримент (з кінця з психофизиологией) з вивчення поведінки експертів. Кожен з них пред’явлено п’ять зразків. Експерти розглядалися як «прилади », які порівнювали зразки на вагу. Виявилося, що відповіді експертів однаково добре відповідають як моделі Терстоуна, і моделі Бредли-Терри-Льюса [9]. Адже ці моделі принципово різні, висновки з їхньої основі істотно отличаются!

На думку, сказаного досить, щоб ставитися з сумнівом до обгрунтованості застосування параметричних моделей експертних оценок.

Непараметрические моделі експертні оцінки спираються тільки припущення загального характеру про можливість вероятностно-статистического описи поведінки експертів з допомогою безперервних функцій распрекделения чи люсианов, параметрами котрим служать нечіткі безлічі - вектор ймовірностей відповідей «так ». Тож у багатьох ситуаціях такі видаються адекватными.

Под моделями аналізу даних розуміємо тут моделі, не використовують імовірнісні міркування. Вочевидь, вони найбільш адекватними є і захищені від критики, оскільки претендують для виходу на межі наявних даних, вони передбачають побудови і обгрунтування будь-якої вероятностно-статистической моделі реального явища чи процесу. Проте якщо з їх допомогою, очевидно, не можна зробити ніяких висновків про майбутніх аналогічних ситуаціях. Адже експертні опитування проводяться заради обгрунтування поведінки у майбутньому! Інакше кажучи, методи лікування й моделі аналізу даних — найбільш обгрунтовані і найбільш бесполезные.

Итак, без ймовірнісних моделей замало. Оскільки параметричні моделі зазвичай неможливо обгрунтувати, залишається використовувати непараметрические.

Математические методи аналізу експертних оценок.

При аналізі думок експертів можна використовувати найрізноманітніші статистичні методи, описувати їх — отже описувати всю прикладну статистику (за нашою оцінкою, до прикладної статистиці належить щонайменше 1 000 000 статей та книжок, та щонайменше 100 000 є актуальними на цей час). У цьому вся затвердженні нічого немає нового: оскільки одна з наукових напрямів хоче розглядати експерта як прилад, які вимірюють цікавий для ЛПР параметр — номер кращого на конкурентоспроможність вироби, ранжирування проектів тощо. — те й в експертних оцінках воно зіставляє з результатами вимірів — традиційним виглядом даних, оброблюваних з допомогою методів прикладної статистики.

Тем щонайменше можна назвати основні широко використовувані нині методи математичного опрацювання експертні оцінки — це перевірка узгодженості думок експертів (чи класифікація експертів, якщо ні узгодженості) і усереднення думок експертів всередині узгодженої группы.

Поскольку відповіді експертів у багатьох процедурах експертного опитування — не числа, а такі об'єкти нечисловой природи, як градації якісних ознак, ранжировки, розбивки, результати парних порівнянь, нечіткі переваги й т.д., то тут для їх аналізу корисні методи статистики об'єктів нечисловой природи (див., наприклад, [18,22,23,38,40−42]).

Почему відповіді експертів носять нечисловой характер? Найбільш загальну відповідь у тому, що не мислять числами. У мисленні людини використовуються образи, слова, але з числа. Тому вимагати від експерта відповіді у вигляді числа — отже гвалтувати її розум. Навіть у економіці підприємці, приймаючи рішення, лише частково спираються на чисельні розрахунки. Це з умовного (т.е.определяемого довільно прийнятими угодами) характеру балансовою прибутку, амортизаційних відрахувань та інших економічних показників [43]. Тому фраза типу «фірма прагне максимізації прибутку «неспроможна мати чітко визначеного сенсу. Досить запитати: «Максимізація прибутку — який період? «.

Эксперт може порівняти два об'єкта, обрати оцінки типу «хороший », «прийнятний », «поганий », впорядкувати кілька об'єктів по привабливості, але може сказати, скільки один чи наскільки об'єкта кращий за інший. Інакше кажучи, відповіді експерта зазвичай обмірювані в порядковой шкалою, є ранжировками, результатами парних порівнянь та інші об'єктами нечисловой природи, але з числами. Поширене оману у тому, що відповіді експертів намагаються розглядати, як числа, займаються «оцифровкой «їх думок, приписуючи полярним думкам чисельні значення — бали, які потім обробляють з допомогою методів прикладної статистики як результати звичайних фізичних вимірів. Що стосується довільності оцифровки висновки, отримані внаслідок обробки даних, можуть бути причетним до реальності. У [22,38] це твердження продемонстровано з прикладу неадекватного даним усереднення відносини школярів до професій: десяти градаціям були довільно приписані бали 1,2,3,…, 10. Так само природно було б послуговуватись бали 1,4,9,…, 100 чи (-50); INSERT INTO `ref` (`id_predmet`, `name_predmet`, `id_ref`, `name_ref`, `text_ref`) VALUES (-30); INSERT INTO `ref` (`id_predmet`, `name_predmet`, `id_ref`, `name_ref`, `text_ref`) VALUES (-5),…, 17, тобто. довільні десять числових значень, розташованих гаразд зростання. З позицій репрезентативною теорії вимірів [22,23] треба використовувати алгоритми аналізу даних, результати своєї роботи яких немає змінюються при допустимому перетворення шкалы.

Настоящая глава розділу звіту відповідає інший парадигмі проти багатьма публікаціями з питань статистики об'єктів нечисловой природи, наприклад, статтями [40−42]. Тут ми розглядаємо конкретну науково-практичну дисципліну, у якій постійно використовуються методи статистичного аналізу нечисловых даних, тоді як роботи [40−42] присвячені одного з розділів прикладної математичної статистики. Іншими словами, справжня глава розділу звіту написана з позицій фахівця з експертних оцінок, а статті [40−42] - з позицій специалста по статистичним методам.

Сначала ми розвивали тематику експертні оцінки, вивчаючи зокрема можливість використання у цій галузі методів репрезентативною теорії вимірів [44,45], нечітких множин [46,47], аксіоматичного запровадження метрик [22,48] тощо. Розроблені підходи, методи, результати розглядалися як частину математичної теорії експертного оцінювання. Відповідні статті [49−55] публікувалися в збірниках по експертних оцінок і було написані мовою експертні оцінки. І лише потім, після десятирічної роботи, було осмислене, що розроблена нова галузь прикладної математичної статистики, яка може застосовуватися у експертних оцінок, а й у технічних науках, медицині, соціально-економічних дослідженнях, практично переважають у всіх напрвлениях наукових установ та практичних досліджень. З іншого боку, для роботи у сфері експертні оцінки, можливо, більш корисні практичні рекомендації [1], ніж згадані математичні результати і містять їх публікації. Але тепер що час повернутися старої парадигмі, розроблений математичний апарат статистики об'єктів нечисловой природи використовуватиме вирішення конкретних завдань практики експертних исследований.

Тесная зв’язок між експертними оцінками і статистикою об'єктів нечисловой природи дозволяє опустити тут опис математичного апарату експертних оцінок, відіславши читача до оглядам [40−42]. У даний главі розділу звіту ми обмежуємося обговоренням питань використання цього апарату (див. також попередню главу).

Проверка узгодженості і класифікація експертів.

Статистические методи перевірки узгодженості залежить від математичної природи відповідей експертів. Відповідні статистичні теорії дуже важкі, коли ці відповіді - ранжировки чи розбивки, і прості, якщо відповіді - результати парних порівнянь. Звідси випливає рекомендація з організації експертного опитування: не намагайтеся одержати окрайчик від експерта ранжирування чи розбивка, важко це, та й наявні математичні методи неможливо далеко просунутися. Експерту набагато легше щокроку порівнювати лише 2 об'єкта. Нехай навіть він займається парними порівняннями. Непараметрическая теорія парних порівнянь (теорія люсианов) (основні результати теорії люсианов описані у роботах [32,53]) дозволяє вирішувати складніші завдання, ніж статистика ранжировок чи разбиений. Зокрема, замість гіпотези рівномірного розподілу так можна трактувати гіпотезу однорідності, тобто. замість збіги всіх розподілів з однією фіксованим (рівномірним) можна перевіряти лише збіг розподілів думок експертів між собою, що цілком природно трактувати як узгодженість їх думок. Отже, вдається позбутися неприродного припущення равномерности.

При відсутності узгодженості експертів природно розбити їх у групи подібних на думку. Це можна зробити методами кластер-анализа, попередньо запровадивши метрики у просторі думок експертів. Ідея Кемени [37] про аксіоматичному запровадження метрик знайшла у СРСР численних продовжувачів [18,22,48]. Проте методи кластер-анализа звичайно є эвристическими, зокрема, неможливо з позицій статистичної теорії обгрунтувати «законність «об'єднання двох кластерів до одного [56]. Є важливе виняток — для незалежних парних порівнянь (люсианов) розроблено методи, дозволяють перевіряти можливість об'єднання кластерів як статистичну гіпотезу [32,53]. Це — іще одна аргумент через те, щоб розглядати теорію люсианов як ядро математичних методів експертних оценок.

Нахождение підсумкового думки комісії експертів.

Пусть думки комісії експертів, чи якийсь її частки визнані узгодженими. Яке ж итоговое (среднее, загальне) думка комісії? Відповідно до ідеї Кемени, описаної у монографії [37], треба знайти середнє думка як вирішення оптимизационной завдання — мінімізувати сумарне відстань від кандидати середні до думок експертів. У [26] так знайдене середнє думка названо «медианой Кемени » .

Математическая складність у тому, що думки експертів лежать у деякому просторі об'єктів нечисловой природи. Загальна теорія подібного усереднення побудовано роботах [22,40,54], зокрема, показано, що внаслідок сформульованого і доведеного А. И. Орловым узагальнення закону великих чисел середнє думка зі збільшенням числа експертів (чиї думки незалежні і однаково розподілені) наближається до певного межі, який природно назвати математичним очікуванням (випадкового елемента, має те розподіл, як і відповіді экспертов).

В конкретних просторах нечисловых думок експертів обчислення медіани Кемени може бути досить складно [21]. Крім властивостей простору, велика роль конкретних метрик. Так було в просторі ранжировок під час використання метрики [37], що з коефіцієнтом ранговій кореляції Кендалла, необхідно здійснювати досить складні розрахунки [21], тоді як застосування метрики з урахуванням коефіцієнта ранговій кореляції Спирмена призводить до упорядкування по середнім рангам, тобто. обчислюється елементарно [28].

Интервальные в експертних оцінках.

С початку 80-х активно розвивається интервальная математика [57], як найбільш практично важливу складову е› - интервальная статистика (огляд дано, наприклад, в [58]). У разрабатываемом нами підході основну увагу приділяється розрахунках якомога більшої відхилення значення аналізованої статистики, викликаного похибками у вихідних даних (т.н.нотны), і «раціонального обсягу вибірки », перевищення якого можуть призвести до значного підвищенню точності оцінювання. Основні ідеї, й результати статистики интервальных даних було опубліковано у статтях [59−63].

Перспективным є використання интервальных експертні оцінки: експерт називає не число, а інтервал як оцінки аналізованого параметра. Такі процедури вдало поєднують у собі кількісний і якісний підходи до експертних оцінок. Як приклад може бути процедуру регресійного аналізу, застосовується в экспертно-статистическом методі щоб одержати коефіцієнтів вагомості ознак, дозволяють найточніше відновити глобальне висновок об'єкт за результатами оцінок окремих параметров[36]. Теорія регресійного аналізу интервальных даних розвинена у [63]. Интервальность необхідно враховувати, якщо результати оцінок параметрів експертами, як і глобальні оцінки, задаються інтервалами, а чи не числами. Интервальные експертні оцінки — нове перспективний напрям у сфері експертні оцінки, що тільки починає развиваться.

При використанні методу интервальных експертні оцінки замість оцінювання показника чи характеристики об'єкта числом експерт вказує інтервал, в якій він (або він) міститься. В багатьох випадках оцінювання інтервалом природніше для експерта, ніж оцінювання числом. Наприклад, капітану рибальського сейнера природніше вказати квадрат морської поверхні (тобто. інтервал з кожної координаті), у якому ймовірність хорошого улову, з його думці, максимальна, ніж вказати точні координати точки максимального улову. Интервальные в експертних оцінках успішно використовувалися з метою підвищення улову сельди-иваси в Охотськім морі та атлантичної оселедця у Баренцовому море, соответствуюшая система підтримки прийняття рішень була розроблена Інституті автоматики Далекосхідного відділення АН СРСР [64].

Другой приклад пов’язані з оцінюванням якості продукції. Оцінку показника, та й глобальну оцінку експерту природніше не як дійсного числа, а вигляді значення якісного ознаки — «відмінно », «добре », «задовільно «тощо. При формалізації кожна така відповідь доцільно описувати інтервалом. Наприклад, оцінка «відмінно «описується інтервалом (0,8; 1,0), оцінка «задовільно «- інтервалом (0,4; 0,6) тощо. Такий підхід можна порівняти з використанням нечітких чисел як відповідей експертів, оскільки інтервали — окремі випадки нечітких множин [22, 23].

Выводы.

В даний час ширшого застосування набували різні методи експертні оцінки. Вони незамінні під час вирішення складних завдань оцінювання і вибору технічних об'єктів, зокрема спеціального призначення, під час аналізу і прогнозуванні ситуацій з великою кількістю значимих чинників — скрізь, коли необхідно залучення знань, інтуїції і надзвичайно досвіду багатьох висококваліфікованих специалистов-экспертов.

Проведение експертних досліджень грунтується на використанні сучасних методів прикладної математичної статистики, передусім статистики об'єктів нечисловой природи, та сучасного комп’ютерна техніка. Найбільш просунуті результати у сфері експертні оцінки одержані СРСР 70−90-ті роки у межах комісії «Експертні оцінки й нечисловая статистика «Наукового Ради АН СРСР з комплексної проблемі «Кібернетика ». У сфері комп’ютерної техніки найперспективнішими видаються розробки фірми «Apple » .

Поэтому доцільно розробити готовий до підтримки проведення експертних досліджень АРМ «МАТЭК «(«Математика в експертизі «) з урахуванням РС фірми «Apple «із сучасних досягнень у царині теорії та практики експертні оцінки, у сфері прикладної математичної статистики, передусім статистики об'єктів нечисловой природы.

1. Орлов А.І. Допустимі середні у деяких завданнях експертні оцінки і агрегирования показників якості. — У рб. «Багатомірний статистичний аналіз в соціально-економічних дослідженнях », М.: Наука, 1974, с.388−393.

1. Панкова Л. А., Петровський А. М., Шнейдерман М. В. Організація експертиз і аналіз експертної інформації. — М.:Наука, 1984. — 120 с.

2. Бешелев С. Д., Гурвіч Ф.Г. Експертні оцінки. — М.: Наука, 1973. — 79 с.

3. Райхман Э. П., Азгальдов РР. Експертні методи щодо оцінки якості товарів. — М.: Економіка, 1974. — 151 с.

4. Бурков В. М. Великі системи: моделювання організаційних механізмів. — М.: Наука, 1989. — 354 с.

5. Китаєв М.М. Групові в експертних оцінках. — М.: Знання, 1975. — 64 с.

6. Ларичев О. И. Об'єктивні моделі і суб'єктивні рішення. — М.: Наука, 1987. — 143 с.

7. Моїсєєв М.М. Неформальні процедури і автоматизація проектування. — М.: Знання, 1979. — 64 с.

8. Моїсєєв М.М. Математичні завдання системного аналізу. — М.: Наука, 1981. — 487 с.

9. Статистичні методи аналізу експертні оцінки. — М.: Наука, 1977. — 384 с.

10. Експертні оценки/Вопросы кібернетики. — Вып.58. — М.: Науковий рада АН СРСР з комплексної проблемі «Кібернетика », 1979. — 200 с.

11. Експертні оцінки на системних исследованиях/Сборник праць. — Вып.4. — М.: ВНИИСИ, 1979. — 120 с.