Модели аналізу тестування у освітньому процесі

Модели аналізу тестування у освітньому процессе

О. М. Полещук, До. До. Рыбников Последние п’ять років Центр тестування проводить тестування випускників з єдиною метою вдосконалення прийому до вузів і шляхом створення рівних умов в оцінці якості знань всім піддослідних [1]. Ці заходи є частиною російської освітньої реформи і передано отримання об'єктивною ситуацією і незалежної інформацію про рівні знань абітурієнтів. У зв’язку з особливої роллю проведених заходів та зростання рік у рік охопленій цими заходами аудиторії, особливо актуальна завдання перекладу набраних тестованими балів у звичне оцінки «2 », «3 », «4 », «5 «чи «незадовільно », «задовільно », «добре », «відмінно ». У даний роботі ні розглядатися недоліки використання перелічених вище балів чи відповідних рівнів з метою оцінки знань учнів. Зазначимо лише, що багато навчальними закладами для внутрішнього контролю давно використовують свої, більш чутливі шкалы.

Методы, застосовувані для перекладу набраних тестованими балів у звичне оцінки, як правило [2−5], спираються на апарат теорії ймовірностей і математичної статистики, хоча природа невизначеності, виникає знання, є лінгвістичної [6], а чи не випадкової (себто фізичної випадковості). Імовірнісна міра, застосовується для виміру невизначеності типу фізичної випадковості, є аддитивной нечіткою мірою [7], тоді як [8−10] реальне поведінка людини суперечить припущенню про аддитивности заходів, що він використовує в оцінці будь-яких подій. У психології досі використовуються стохастические моделі навченості, хоча ряд авторів експериментально показав [8,9], що здатність навчатися в вероятностной обстановці властива людині. У той самий час [7] одній з чудових здібностей людини його спроможність навчатися в нечіткою обстановці. Відповідно до цим методи, застосовувані для аналізу моделей тестування, повинні спиратися на теорію нечітких множин, що займається вивченням і виміром невизначеності лінгвістичної природи. Відмова від методів, які спираються аддитивную імовірнісного міру, актуальним як для моделювання процесу творення. Він також актуальним для моделювання областей, у яких доводиться враховувати дії особи, який приймає рішення, чи слідства його суждения.

Постановка завдання. За підсумками апарату теорії нечітких множин побудувати модель, що дозволить переводити результатів тестування, виражені в балах, в звичні оцінки «2 », «3 », «4 », «5 «чи «незадовільно », «задовільно », «добре », «відмінно » .

Решение. Необхідною етапом вирішення цього завдання є етап відбору кваліфікованих викладачів, предъявляющих статистично схожі (себто нечёткой кластеризації) вимоги для оцінювання знань за матеріалом, у якого був складено тест. Новим у вирішенні поставленого завдання не сам етап (наприклад, в [2] цей відбір здійснюється за — критерію), а метод рішення. Ми підійти до вирішення цього питання з позиції теорії нечітких множин. Фазифицируем оцінки, хто був виставлені кожним викладачем у процесі прийому іспитів по програмному матеріалу тесту (в попередньому тестуванню періоді). Процедура фазификации викладена у роботі [11], функції приналежності нечітких на [0,1] множин мають трапецеидальный чи трикутний вид.

Пусть.

— функція приналежності нечіткого безлічі «незадовільно «-го преподавателя,.

— функція приналежності нечіткого безлічі «задовільно «-го преподавателя,.

— функція приналежності нечіткого безлічі «добре «-го преподавателя,.

— функція приналежності нечіткого безлічі «відмінно «-го преподавателя.

Определим відстань між критеріями оцінок -го і -го преподавателей:

, , — число преподавателей.

Составим матрицю.

, , ,.

которая є симетричній з нулями на головною діагоналі. По матриці складемо матрицю відносини подібності [6] між критеріями різних преподавателей.

, , .

Пусть — ставлення подоби (подібності). Тоді [6].

,.

где — ставлення еквівалентності себто звичайній теорії множин. Отже, декомпозируя на відносини еквівалентності , ми маємо систему вкладених класів, відповідних відношенню подоби .

Выделив групу викладачів, критерії яких статистично схожі, формуємо їх екзаменаційну комісію з прийому іспиту у тестируемых не більше програмного матеріалу, відображеного у тісті. Маючи сукупну вибірку оцінок, виставлених викладачами у процесі іспиту, фазифицируем оцінки «2 », «3 », «4 », «5 «[11]. Означимо відповідно за , , , їх функції принадлежности.

Пусть тест складається з завдань і поза правильно обраний відповідь кожного завдання ставиться один бал, а й за неправильно обраний відповідь нуль балів. Слід зазначити, що процедуру накопичення балів шляхом їх складання перестав бути коректною, як і, як некоректні все арифметичні операції в порядковой шкалою. Але оскільки цю процедуру застосовується найчастіше, то, на цю некоректність можна вирішити око тільки при умови, що запропоновані тесті завдання складено в такий спосіб, що перевіряють знання з незалежним розділах відповідного предмета. По отриманої після тестування сукупної вибірці результатів тієї ж респондентів, які здавалися іспит із програмі тесту, фазифицируем [11] все бали . Означимо за , їх функції приналежності. Визначимо відстань між функціями приналежності оцінок і функціями приналежності балів:

, .

Критерий перекладу балів в оцінку пропонується наступний: за -е кількість балів ставиться оцінка , якщо , .

Если , , то ставиться оцінка . Запропонований критерій дозволяє скільки завгодно балів однозначно перекласти на загальноприйняту оценку.

Описанная процедура перекладу результатів тестування, виражених у балах, у звичне оцінки «2 », «3 », «4 », «5 «може застосовуватися до тестів з будь-якої дисципліни. Вочевидь, що діапазони балів, відповідних одному й тому ж оцінці до різних тестів, будуть різними, а сама процедура вимагає супроводження і про обновления.

Заметим, що систему тестування, що передбачає двухбалльную оцінку (Про чи 1) за кожен у відповідь завдання, то, можливо описана системою булевых уравнений.

В ряді робіт (наприклад [12]) розглядається можливість відомості завдання рішення системи булевых рівнянь до системи псевдобулевых нерівностей, і навіть метод розв’язання цих систем. У [12] описується випадок полиномиальной (від розмірів системи) складності цього метода.

При реалізації методу можна використовувати наступний метод оцінки числа рішень системи псевдобулевых нерівностей. Ця оцінка дозволяє визначити обсяг відповіді при тестировании.

Рассмотрим псевдобулево неравенство.

;

, ; .

Минимальным покриттям цього нерівності називається безліч , таке, что.

.

и нічого для будь-якого вищезазначене нерівність не выполняется.

Из формули включения-выключения слід, що кількість рішень псевдобулева нерівності визначається как.

,.

где — безліч мінімальних покрытий,.

.

Рассматривая суму, визначальну , можна помітити, що модуль кожного з її доданків менше попереднього. Отже, розглядаючи послідовно величины.

.

получаем послідовність оцінок, сходящуюся до точному значенням числа решений.

Такой підхід поширений і випадок системи псевдобулевых нерівностей. І тому досить формально замінити систему мінімальних покриттів нерівності на об'єднання систем мінімальних покриттів, входять до системи неравенств.

Пример. Система псевдобулевых неравенств.

.

эквивалентна булевому уравнению.

.

Для першого доданка формули, визначальною N, отримуємо оценку.

,.

для першого і другого.

,.

а наступних этапах.

,.

,.

.

Несмотря за велике, зазвичай, число нерівностей в практичних завдання й, отже, дуже великий число мінімальних покриттів, вже в перших етапах підрахунку можливо отримання прийнятних оцінок числа решений.

На підставі усього цього можна запропонувати такі шляху застосування запропонованого подхода:

получать оцінки числа рішень системи з допомогою одного-двох доданків цифру формулі для .

использовать попередні оцінки кожного нерівності системи із єдиною метою відкидання найменш інформативних, тобто, яким задовольняє більше вершин -мірного одиничного куба.

Список литературы

А. Рыжкин, М. Єфремова. Сучасні вимірювачі знань (досвід тестування) // Вища ж освіта у Росії. 2001. № 1. С.15−24.

Г. Хубаев. Про побудові шкали оцінок в системах тестування // Вища ж освіта у Росії. 1996. № 1. З. 122−125.

М. Панин. Морфологія рейтингу // Вища ж освіта у Росії. 1998. № 1. С.90−94.

В. Наделяев, Т. Мартынова та інших. Рейтингова система оцінювання знань щодо загальнотехнічних дисциплін // Вища ж освіта у Росії. 1997. № 1. С.103−107.

В. Алчинов, А. Купців. Рейтинг-контроль успішності курсантів // Вище освіту у Росії. 1998. № 1. С.95−97.

А. П. Рижов. Елементи теорії нечітких множин й вимірювання нечіткості. М.: Діалог. МДУ, 1998.116 з.

А. М. Аверкин та інших. Нечіткі безлічі в моделях управління і штучного інтелекту. М.: Наука. Гол. ред. физ-мат. літ., 1986. 312 з.

Ю. Козелецкий. Психологічна теорія рішень. М.: Прогрес. 1979, 504 з.

Т. З. Уолстен. Використання алгебр. моделей вивчення процесів прийняття рішень. // Нормативні і дескриптивные моделі прийняття рішень. М.: Наука., 1981. З. 310−319.

А.Tversky, D. Kahneman. Judgement under uncertainty: heuristics and bases. 1974. V. l85. P. H24-Н31.

О. М. Полещук. Про застосування нечітких множин в завданнях побудови рівневих градацій // Лісовий вісник. 2000. № 4(13). З. 143−146.

К. До. Рибников. Методи рішення систем булевых рівнянь, засновані на зануренні безлічі рішень на опуклий багатогранник // Автоматизація і комп’ютеризація інформаційної техніки і технології. Наукові праці МДУ лісу. 1995. Вип. 269. З. 88−91.

Для підготовки даної праці були використані матеріали із сайту internet.