Модели и алгоритмы для программного обеспечения системы адаптивного тестирования

Тип работы:
Реферат
Предмет:
ТЕХНИЧЕСКИЕ НАУКИ


Узнать стоимость

Детальная информация о работе

Выдержка из работы

Д. В. Литовкин, А. И. Потапов
МОДЕЛИ И АЛГОРИТМЫ ДЛЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ
Волгоградский государственный технический университет E-mail: litd@mail. ru, aleksey. potapov. 89@yandex. ru
Представлены модели и алгоритмы, необходимые для создания системы адаптивного тестирования, в которой порядок задания вопросов определяется иерархией единиц компетенции.
Ключевые слова: адаптивный тест, критериально-ориентированный тест, тестовый вопрос, иерархия единиц компетенции.
D. V. Litovkin, A. I. Potapov
MODELS AND ALGORITHMS FOR ADAPTIVE SYSTEMS TESTING OF STUDENTS TO PROVIDE FOR THE STUDY IDENTIFY GAPS PROGRAMMING LANGUAGES
Volgograd State Technical University
Models and algorithms to create a adaptive testing system, where the order is determined by a hierarchy of task competencies issue.
Keywords: adaptive test, a criterion-oriented test, test question, the hierarchy of competence units.
Введение ла задается вопрос среднего уровня сложности
Адаптивные тесты (АТ) обладают рядом пре- или того уPовня, к°т°рый шот^тста^т ур°вню
имуществ по сравнению с обычными [1- 2- 6]: испытуемого. Если жтпутьш дает ^авктсь-
— испытуемому подбираются вопросы, по ный ответ, то сложность очередного вопроса по-
сложности подходящие его уровню знаний- в противном случае — понижается.
— задается столько вопросов, сколько необ- Тестирование завершается в случае:
ходимо для достижения цели, поставленной — если испытуемый ответил на самый слож-
тестированием- ный вопрос-
— при помощи АТ можно определить уро- - испытуемЫй не ответил на самый легкий
вень знаний испытуемого. вопрос-
Порядок задания вопросов в известных алго- - испытуемый многократно ответил на
ритмах адаптивного тестирования определяется вопросы некоторого уровня сложности, но не статической сложностью вопросов [3- 4]. Снача- смог ответить на более сложные вопросы.
Такой подход хорошо применим к нормативно-ориентированному тесту, однако не всегда — для критериально-ориентированного теста, который выявляет степень усвоения испытуемым определенного раздела в заданной предметной области [4]. Существующий подход адаптивного тестирования не гарантирует, что будут заданы вопросы, соответствующие всем единицам компетенции (ЕК) некоторого раздела предметной области. Под Е К будем понимать любую сторону или составляющую компетенции, которую с точки зрения тестирования целесообразно учитывать и специфицировать в самостоятельном качестве [7]. Под компетенцией понимается набор качеств (знаний, навыков, мотивов, установок), способствующих успешному решению определенной задачи [5].
Актуальной задачей является расширение адаптивного подхода за счет использования иерархии ЕК для определения очередного задаваемого вопроса. В этом случае порядок задаваемых вопросов будет определяться в первую очередь движением по сети ЕК и только во вторую — повышением или понижением уровня сложности тестовых вопросов. Такой подход позволит задавать вопросы по всем интересующим нас ЕК и определять те ЕК, которыми не владеет испытуемый.
Модель теста, ориентированного на ЕК
Тест представляет собой базу вопросов QВ, в которой с каждым вопросом ассоциируется одна или несколько ЕК:
Теи1 =Б, СЫБЛ}, (1)
где QВ — база тестовых вопросов- СЫ — ЕК, которыми должен владеть испытуемый (представляется ациклическим графом, см. ниже) — БЛ — отношения ассоциации между ЕК и вопросами- наличие отношения ассоциации Лк между ЕК С и вопросом QJ указывает, что для успешного ответа на вопрос QJ необходимо владеть ЕК С-.
ЕК, которыми должен владеть испытуемый, составляют иерархию и могут быть представлены ациклическим графом:
СЫ = {БС, ББ}, (2)
где БС — множество ЕК- ББ — направленные отношения декомпозиции-агрегации между ЕК [7].
Отношение декомпозиции-агрегации
Бт = (СС) указывает, что для владения ЕК Ci необходимо владеть ЕК С^. ЕК С{ будет
называть родительской по отношению к ЕК С. и, наоборот, считать дочерней по отношению к ЕК С.
На рис. 1 представлен пример иерархии ЕК и связанных с ней вопросов для предметной области «программирование на языке высокого уровня Си».
В иерархии можно выделить ЕК трех типов: целевые, базовые и промежуточные. Целевые Е К — это комплексные знания и умения, которыми должны обладать все испытуемые в рам-
Рис. 1. Пример иерархии ЕК и ассоциированных с ней вопросов
ках оцениваемого раздела предметной области- они представляются в ациклическом графе вершинами с полустепенью захода, равной 0 (в примере ЕК С1 и С2). Базовые Е К — это знаниям и умениям, которые считаются неделимыми- они соответствуют листьям ациклического графа (в примере ЕК С5 и С6). Остальные Е К соответствуют знаниям и умениям, которые обеспечивают ЕК более высокого уровня и одновременно сами поддерживаются низкоуровневыми ЕК (в примере ЕК С3 и С4).
Необходимо отметить, что владение всеми дочерними ЕК (например, ЕК С3 и С4) зачастую не означает владение родительской ЕК (например, ЕК С1). Это обусловлено тем, что родительская ЕК требует от испытуемого умение комбинировать дочерние ЕК и применять их в соответствии с контекстом.
Отдельная Е К представляется кортежем:
C = {Name, Mark}
(3)
где Name — наименование ЕК (оно должно быть уникальным среди всех ЕК и задаваться автором теста) — Mark — пометка, определяющая, владеет ли испытуемый данной ЕК. Изначально Е К не помечена, но в процессе тестирования ей присваивается значение либо владеет, либо не _ владеет.
База QВ содержит множество тестовых вопросов, где каждый вопрос представляется кортежем:
Q = {Content, Difficulty, Tags}, (4)
где Content — тип («вопрос с открытым ответом», «вопрос с закрытым ответом» и т. д.) и формулировка вопроса, варианты правильных ответов- задается автором теста- Difficulty —
статистическая сложность вопроса — это доля несправившихся с вопросом участников из группы испытуемых (шкала измерения от 0 до 100%.) [3]- задается либо экспертным путем, либо вычисляется на основе статистической выборки из предыдущих попыток тестирования- Tags — список классификационных признаков, характеризующих контент вопроса Content — признаки задаются автором теста и используются для поиска связанных вопросов по контенту.
Ниже приведен пример тестового вопроса.
Вопрос Q1 Content = Тип: «вопрос с закрытым отве-
том»
Формулировка:
Укажите типы данных, относящиеся к скалярным:
— char
— unsigned char
— unsigned int
— unsigned long int
— char *
Варианты правильных ответов:
— char
— unsigned char
— unsigned int
— unsigned long int
Difficulty = 50
Tags = { char, unsigned char, unsigned int,
unsigned long int}.
Модель испытуемого
Модель испытуемого содержит информацию, необходимую для начала тестирования, а также результаты тестирования:
Student= {Name, Level, TestTrack}, (4)
где Name — имя испытуемого- Level — уровень испытуемого в диапазоне [0- 100]- испытуемый обладает уровнем равным Level, если он ответит со 100%-й вероятностью (без учета опечаток) на любой вопрос, сложность Difficulty которого меньше или равна Level — уровень задается либо экспертным путем перед началом тестирования, либо вычисляется на основе предыдущих попыток тестирования испытуемого- TestTrack — траектория тестирования.
Траектория описывает, какие тестовые вопросы были заданы и как на них отвечал испытуемый:
TestTrack= {qIndex, Answer, Grade, cIndex}, (5)
где qIndex — индекс вопроса в базе QВ- Answer — ответ испытуемого на тестовый вопрос (например, строка, если ответ в открытой форме) — Grade — оценка ответа в процентах [0- 100]- cIndex — индекс ЕК в иерархии CN, которая ассоциируется с вопросом.
Тестирование, ориентированное на ЕК
Целью критериально-ориентированного тестирования является определение, владеет ли ис-
пытуемый каждой ЕК из иерархии CN. Поэтому тестирование выполняется путем обхода иерархии ЕК и задания тех вопросов, которые ассоциированы с этими ЕК. В процессе обхода иерархии ЕК можно выделить следующие ситуации: выбор первого вопроса (единицы компетенции), движение вверх по иерархии ЕК, движение вниз по иерархии ЕК, переход к несвязанной ЕК.
Далее будем полагать, что в иерархии ЕК только одна целевая ЕК, а затем обобщим этот подход на несколько целевых ЕК.
Выбор первого вопроса
(единицы компетенции)
Для того чтобы первый вопрос соответствовал по сложности уровню знаний испытуемого, из базы Qfi выбираются вопросы, наиболее близкие по сложности Q. Difficulty к уровню знаний Student. Level, и формируется выборка SampleQ. Чтобы минимизировать общее количество задаваемых вопросов, из SampleQ выбираются только те вопросы, которые ассоциированы с ЕК, находящимися ближе всего к целевой ЕК, т. е. с ЕК SampleC. Чтобы определить множество SampleC, достаточно подсчитать длину пути от целевой ЕК до каждой ЕК, ассоциированной с вопросом из SampleQ, и выбрать ЕК с минимальной длиной пути. Как результат опре-
деляется первый тестовый вопрос currentQ и ассоциированная с ним ЕК currentC.
Таким образом, первым задается вопрос, на который испытуемый предположительно должен ответить успешно, и он соответствует ЕК с максимально высоким уровнем иерархии.
Ответ на первый тестовый вопрос записывается в траекторию тестирования Student. TestTrack. Если ответ оценивается положительно, то в иерархии CN ЕК currentC и все нижележащие ЕК помечаются как подтвержденные, т. е. Mark = владеет, и далее выполняется движение вверх по иерархии ЕК. Если ответ оценивается отрицательно, то ЕК currentC и все вышележащие ЕК помечаются как неподтвержденные, т. е. Mark = не _владеет, и далее выполняется движение вниз по иерархий ЕК.
Рассмотрим на примере выбор первого вопроса (единицы компетенции). Пусть уровень знаний испытуемого составляет Student. Level = = 50, тогда наиболее близким по уровню сложности будет вопрос Q1, т. е. SampleQ = {Q1}. В данном случае наблюдается безальтернативный вариант выбора вопроса- соответственно получаем currentQ = Q1 и currentC = C5 (рис. 2).
Предположим, что испытуемый ответил на вопрос Q1 правильно, тогда помечаем ЕК C5 как подтвержденную и переходим по иерархии ЕК вверх (рис. 2).
Рис. 2. Пример обхода иерархии ЕК при критериально-ориентированном тестировании
Номера соответствуют порядку действий при тестировании. Номера 1, 4, 7, 10 обозначают выбор вопроса- номера 2, 5, 8, 11 — ответ на вопрос и присвоение пометок ЕК- номера 3, 6, 9 — переход между единицами компетенции.
Движение вверх по иерархии ЕК
Если испытуемый успешно ответил на вопрос currentQ, то следующий вопрос выбирается среди вопросов, которые ассоциированы с родительскими ЕК по отношению к ЕК currentC. Эти Е К не должны иметь пометок, т. е. Mark для них не определено.
Пусть из вопросов, ассоциированных с родительскими ЕК, сформировано множество SampleQ. Среди вопросов SampleQ выбирается вопрос, уровень сложности которого больше уровня сложности предыдущего вопроса, т. е. принадлежит интервалу [currentQ. Difficulty +
+low, currentQ. Difficulty + high], где low и high — минимальный и максимальный прирост сложности вопроса. Если ограничение по уровню сложности не выполняется, то выбирается вопрос, уровень сложности которого наиболее близко соответствует ограничению.
Как результат выбирается очередной вопрос currentQ (и ассоциированная с ним ЕК currentC), который соответствует ЕК более высокого уровня иерархии и который, как правило, характеризуется более высокой сложностью.
Ответ на тестовый вопрос записывается в траекторию тестирования StudentTestTrack. Если ответ оценен положительно, то ЕК currentC и все нижележащие ЕК оцениваются как подтвержденные, и движение продолжается вверх до целевой ЕК. Если ответ оценивается отрицательно, то ЕК currentC и все вышележащие ЕК помечаются как неподтвержденные, и начинается движение вниз по иерархии ЕК с целью определения тех ЕК, которыми не владеет испытуемый.
Рассмотрим на примере движение вверх по иерархии ЕК. Испытуемый ранее успешно ответил на вопрос currentQ = Q1 (currentC = C5).
Формируем множество вопросов, ассоциированных с родительскими ЕК по отношению к C5, получаем SampleQ = {Q3, Q4, Q5}. Среди вопросов SampleQ выбираем вопросы, уровень сложности которых принадлежат интервалу
[50 + 5, 50 +10], где 50 — уровень сложности вопроса Q1 — 5 и 10 — минимальный и максимальный прирост сложности вопроса. Этому ограничению удовлетворяют два вопроса — Q3 и Q5. Из них вероятностным способом выбираем вопрос Q5- следовательно, currentQ = Q5 и currentC = C4 (см. рис. 2).
Предположим, что испытуемый ответил на вопрос Q5 неверно, тогда помечаем ЕК C4, а также вышележащую непомеченную ЕК C1, как неподтвержденные (см. рис. 2). Далее двигаемся вниз по иерархии с целью определения причины неудачного исхода.
Движение вниз по иерархии ЕК
Если испытуемый не ответил на вопрос currentQ, то задается вопрос с целью выяснения причины такого исхода: либо испытуемый не владеет текущей ЕК, либо — одной из нижележащих ЕК. Поэтому следующий вопрос выбирается среди вопросов, которые ассоциированы с дочерними ЕК (не имеющими никаких пометок) по отношению к ЕК currentC. Как результат из вопросов, ассоциированных с дочерними ЕК, формируется множество SampleQ.
С целью более точного определения причины неудачного ответа на родительский вопрос currentQ из множества SampleQ необходимо выбрать только те вопросы, которые связаны с ним по контексту. Для связанности двух вопросов по контексту предлагается использовать теги. Они могут иметь различную природу- применительно к предметной области «программирование на языке высокого уровня Си» можно использовать ключевые слова языка программирования. Таким образом, в множество SampleQ попадают только те вопросы, которые имеют наибольшее пересечение по тегам с родительским вопросом.
Далее среди вопросов SampleQ выбирается вопрос, уровень сложности которого меньше уровня сложности предыдущего вопроса, т. е. принадлежит интервалу [currentQ. Difficulty —
-high, currentQ. Difficulty — low],
где low и high — минимальная и максимальная убыль сложности вопроса. Если ограничение по уровню сложности не выполняется, то выбирается вопрос, уровень сложности которого наиболее близко соответствует ограничению.
Как результат выбирается очередной вопрос currentQ (и ассоциированная с ним ЕК currentC), который соответствует ЕК более низкого уровня иерархии и который, как правило, характеризуется меньшей сложностью.
Ответ на тестовый вопрос записывается в траекторию тестирования StudentTestTrack. Если ответ оценивается отрицательно, то ЕК currentC и все непомеченные вышележащие ЕК помечаются как неподтвержденные- и продолжается движение вниз по иерархии ЕК до листьев. Тем самым продолжается поиск причины неудачных исходов. При этом может возникнуть ситуация, когда базовая ЕК и все ее родительские ЕК уже помечены, следовательно, движение вверх-вниз по иерархии ЕК невозможно. Однако в иерархии ЕК могут оставаться еще непомеченные ЕК. В этом случае требуется поиск еще непомеченных ЕК, не связанных с текущей.
Если ответ оценен положительно, то ЕК currentC и все нижележащие непомеченные ЕК оцениваются как подтвержденные. В этом случае возникает ситуация, когда родительская ЕК не подтверждена, а дочерняя — подтверждена, следовательно, движение вверх-вниз по иерархии ЕК невозможно и требуется переход к несвязанной ЕК.
Рассмотрим на примере движение вниз по иерархии ЕК. Испытуемый ранее неудачно ответил на вопрос currentQ = Q5 (currentC = C4).
Формируем множество вопросов, ассоциированных с дочерними (непомеченными) ЕК по отношению к C4, получаем SampleQ = {Q2}. Так как найден только один вопрос, то поиск по тегам и уровню сложности не имеет значения, следовательно, currentQ = Q2 и currentC = C6 (см. рис. 2).
Предположим, что испытуемый ответил на вопрос Q2 неверно, тогда помечаем ЕК C6, а также вышележащую непомеченную ЕК C2, как неподтвержденные (см. рис. 2). В этом случае движение вверх-вниз по иерархии ЕК невозможно, а так как не все ЕК помечены, то требуется переход к несвязанной ЕК.
Переход к несвязанной ЕК
В некоторых ситуациях движение вверх-вниз по иерархии ЕК невозможно, однако в иерархии ЕК еще могут присутствовать непомеченные ЕК.
Поиск таких ЕК выполняется обходом ациклического графа в ширину, начиная с роди-
тельской ЕК по отношению к currentC. Если такие ЕК не найдены, то поиск возобновляется с ЕК более верхнего уровня (и т. д.) вплоть до целевой ЕК.
Пусть в результате обхода сформировано множество еще непомеченных ЕК SampleC и известна их общая родительская ЕК parentC. Если испытуемый уже отвечал на вопрос, ассоциированный с parentC, то выбор вопроса (единицы компетенции) осуществляется по тем же принципам, что и при движении вниз по иерархии ЕК.
Если испытуемый еще не отвечал на вопрос, ассоциированный с parentC, то из вопросов, ассоциированных с дочерними ЕК для parentC, формируется множество SampleQ. Среди вопросов SampleQ выбирается вопрос, уровень сложности которого равен последнему вопросу, на который был получен правильный ответ. Если ограничение по уровню сложности не выполняется, то выбирается вопрос, уровень сложности которого наиболее близко соответствует ограничению.
Ответ на тестовый вопрос записывается в траекторию тестирования Student TestTrack. Если ответ оценивается отрицательно, то ЕК currentC и все непомеченные вышележащие ЕК помечаются как неподтвержденные, и продолжается движение вниз по иерархии ЕК до листьев.
Если ответ оценен положительно, то осуществляется переход к следующей несвязанной ЕК, пока имеются непомеченные вершины.
Рассмотрим на примере переход к несвязанной ЕК. Испытуемый последний раз неудачно ответил на вопрос currentQ = Q2 (currentC = C6). ЕК C6 является базовой, поэтому движение вниз по иерархии невозможно- движение вверх также невозможно, так как родительская ЕК уже помечена. В этом случае необходим поиск оставшихся непомеченных ЕК. Путем обхода графа находим множество непомеченных ЕК SampleC = {C3} с общим родителем parentC = C1 и формируем множество связанных с ними вопросов — SampleQ = {Q3}. Так как вопрос только один, то задаем его вне зависимости от уровня сложности- следовательно, currentQ = Q3 и currentC = C3 (см. рис. 2).
Предположим, что испытуемый ответил на вопрос Q3 верно, тогда помечаем ЕК C3 как подтвержденную (см. рис. 2). Так как все ЕК помечены, то тестирование завершается.
Учет нескольких целевых ЕК
В иерархии ЕК в общем случае может быть несколько целевых ЕК. Однако задачу обхода ациклического графа с несколькими целевыми ЕК можно свести к задаче обхода циклического графа с одной целевой ЕК. Для этого из графа выделяется подграф с одной целевой ЕК и выполняется его обход. При этом распространение пометок владеет/не владеет для ЕК выполняется на весь граф. Далее выделяется подграф с другой целевой ЕК и выполняется его обход с учетом пометок ЕК, полученных при предыдущем обходе. Так продолжается для всех целевых ЕК.
В рассмотренном примере ациклический граф включает две целевые ЕК — С1 и С2. Сначала исследуется целевая ЕК С1- связанный с ней подграф включает в себя все узлы, кроме С2. В результате исследования целевой ЕК С1 помечаются все ЕК в иерархии (в том числе целевая ЕК С2). Следовательно дальнейшее тестирование не требуется.
Заключение
Предложен подход к адаптивному критериально-ориентированному тестированию, в котором порядок задания вопросов определяется иерархией ЕК, а внутри ЕК — наличием необходимых тегов и заданной статистической сложностью.
Такой поход позволяет целенаправленно исследовать ЕК определенного раздела в заданной предметной области, учитывать уровень знаний испытуемого и связанность вопросов по контексту.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Достоинства адаптивной модели педагогического тестирования [Электронный ресурс]. — Режим доступа: http: //www. znannya. org/?view=concept:1213
2. Адаптивные тесты Microsoft [Электронный ресурс]. -Режим доступа: http: //www. examen. ru/add/School-Subjects/ Mathematics-and-Computer-Science/Computer-Science/9760/ 9769/9782/9783
3. Севрук, А. И. Статистический критерий уровня учебных достижений [Электронный ресурс] / А. И. Севрук — ПГУ // Вестник Пермского университета. — Пермь, 2008. — Режим доступа: http: //vestnik. psu. ru/files/articles/ 56_79 497. p
4. Ким, В. С. Тестирование учебных достижений: монография / В. С. Ким — УГПИ. — Уссурийск: Изд-во УГПИ, 2007. — 214 с.
5. HR-Portal: Сообщество HR-менеджеров [Электронный ресурс] - Режим доступа: http: //www. hr-portal. ru/taxonomy/term/46
6. Воробкалов, П. Н. Метод оценки качества адаптивных обучающих систем с использованием имитационного моделирования // Известия Волгоградского государственного технического университета: межвуз. сб. науч. ст. № 7 / ВолгГТУ. — Волгоград, 2007. — (Сер. Новые образовательные системы и технологии обучения в вузе. Вып. 4). — С. 164−166.
7. Башмаков, А. И. Принципы и технологические основы создания открытых информационно-образовательных сред / А. И. Башмаков, В. А. Старых — ФГУ ГНИИ ИТТ «Информика». — М.: БИНОМ. Лаборатория знаний, 2010. — 719 с.

ПоказатьСвернуть
Заполнить форму текущей работой