Разработка моделей и алгоритмов оценки качества деятельности образовательных организаций

Тип работы:
Диссертация
Предмет:
Теоретические основы информатики
Страниц:
135


Узнать стоимость

Детальная информация о работе

Выдержка из работы

Актуальность работы. Кардинальные изменения в России, охватывающие все стороны ее жизнедеятельности и влияющие на актуализацию проблем образования как главного условия прогрессивного развития страны в XXI веке, получили свое отражение в оценке качества деятельности учебных заведений.

Последние сорок лет отмечены усилением интереса ученых и практиков к вопросам взаимодействия, взаимопроникновения различных наук. О перспективности исследований на стыках различных областей знаний, в особенности относящихся к естественным и гуманитарным наукам, писали многие. Полезность интердисциплинарных исследований неоднократно проявляла себя в приложении к различным комплексным проблемам. Согласно научным прогнозам именно в результате таких исследований следует ожидать новых решений в области оценки качества образования.

Ценность качественных методов резко возросла, когда объектами описания стали сложные развивающиеся системы в психологии, биологии, образовании. Действительно, существующий подход к оценке качества деятельности образовательной организации (ОКДОУ) сводит результаты анализа функционирования учебного заведения только к учету явно выраженных количественных признаков, игнорируя другую составляющую -атрибутивные существенные факторы. Более того, сведение ОКДОУ к исследованию на основе предикамента количества составляет вне рассмотрения существенные признаки, характеризующие процессуальную сторону педагогической действительности. Поэтому, изоляционистский принцип опасен тем, что под видом ОКДОУ результаты образования сводятся либо к арифметизации количеств-величин, либо к вербальному описанию наборов качеств — интенсивностей.

Гибридность& quot- образовательных факторов, ограничивающая прогностичность методов количественной квалиметрии, связана, прежде всего, с их уникальностью и специфичностью. Ряд понятий & quot-качество"-* & quot-кластеризация"-, & quot-классификация"-, & quot-целостность"- в сфере образования полезно дополнить термином & quot-топология"- как противоположного понятию & quot-метрика"-. Поэтому одной из задач данной работы является построение новой топометрики, учитывающей произвольную природу признаков, характеризующих процессуальную сторону образования и содержательные компетенции личности каждого студента.

Топометрическое понимание образовательных симптомов подразумевает разнокачественность и разномерность этих признаков, отражает их герменевтическое понимание и интерпретацию. Именно в этом смысле допустимо говорить о создании новых моделей и алгоритмов преобразования образовательных гибридных факторов к единому основанию — предикаменту качества.

Не менее важным представляется решение задач кластеризации, классификации, распознавания оценки деятельности и ранжирования образовательных организаций с учетом новых коэффициентов множественной конкордации и интегративного показателя качества системы образовательных учреждений. Такие модели и алгоритмы являются основой для моделирования образовательных систем различного уровня.

Сказанное выше определяет актуальность создания моделей и механизмов оценки качества деятельности образовательных учреждений на основе методов статистики качеств.

Целью диссертационной работы является создание моделей и алгоритмов оценки качества деятельности образовательных организаций на основе методов непараметрической статистики и педагогической герменевтики.

Задачи исследования. В соответствии с постановленной целью требуется решить следующие задачи:

— провести критический анализ современных методов и технологий оценки качества образования-

— разработать новую имманентную метрику (топометрику) для определения функций расстояний и плотностей образовательных признаков произвольной природы-

— создать модели и алгоритмы для вычисления коэффициентов множественной качественной конкордации образовательных факторов и оценки сходства образовательных объектов-

— построить интегративный показатель оценки качества деятельности образовательных учреждений-

— решить практические задачи по применению моделей и алгоритмов кластеризации, классификации и ранжирования высших учебных заведений.

Объектом -исследования является область теоретической информатики, связанная с разработкой моделей и алгоритмов оценки качества объектов произвольной природы.

Предмет исследования — установление на основе логико-гносеологического и ценностно-смыслового подходов новых функций расстояний и коэффициентов сходства между образовательными факторами и учреждениями.

Методы исследования. Для достижения поставленной в работе цели и решения перечисленных задач использованы методы статистики качеств, герменевтики, сетевой метод моделирования систем. Разработка программ для реализации алгоритмов проведена на языке программирования Visual Basic.

Методологическая основа. Работа выполнена на основе методологии культурологического и герменевтического подходов к синтезу логической и логичной форм мышления, используемого в процессе создания моделей оценки качества образования.

Достоверность полученных результатов подтверждается моделированием и герменевтической интерпретацией созданных топометрик и коэффициентов сходства образовательных объектов, практической реализацией моделей и алгоритмов опознавания, кластеризации, классификации и ранжирования совокупностей объектов.

Научная новизна полученных в данной работе результатов состоит в следующем:

— разработаны новые топометрические модели и алгоритмы для преобразования признаков различной природы к единому основанию качества-

— впервые получены коэффициенты множественной согласованности образовательных объектов включающих в себя факторы числовой и нечисловой природы-

— получена, апробирована и введена в эксплуатацию адаптивная система оценки качества учебных достижений студентов-

— создана, апробирована и введена в эксплуатацию технология оценки качества учебных достижений студентов при комплексной оценке деятельности вузов.

Предлагаемый автором данной работы интеграционистский подход понимает ОКДОУ как синтезирующую область знания, возникшую на стыке педагогической герменевтики и статистики качеств.

Оценка теоретической значимости результатов работы. Полученные концептуальные и математические модели и алгоритмы являются теоретической основой создания единой автоматизированной системы аккредитации и аттестации образовательных организаций. Методики определения коэффициентов сходства применяются для оценки качества деятельности образовательных учреждений.

Практическая ценность работы состоит в создании методик использовании методов непараметрической статистики для оценки качества процессуальной стороны образования и индивидуальных компетенций личности.

На защиту выносятся следующие положения:

1. Основу современной парадигмы качества образования составляют идеи гуманизма, субъективности, принципы открытости и интеграции учета факторов числовой и нечисловой природы-

2. Учет механизмов социализации, гуманизации и инкультуризации личности средствами образования, а также процессуальной стороны образования не позволяет использовать для оценки качества деятельности учебных заведений жесткие методы количественной квалиметрии-

3. Оценка качества деятельности образовательной организации строится на основе интегративного показателя качества и базируется на дуальном подходе, когда логико-гносеологический и ценностно-смысловой подходы используются в единстве-

4. Модели и алгоритмы функций расстояний и топометрики сходства образовательных объектов-

5. Итеративные процедуры кластеризации, классификации, распознавания, оценки качества и ранжирования образовательных учреждений-

6. Адаптивная система оценки качества достижений студентов и технология аттестации образовательных организаций.

Внедрение результатов. Модели и алгоритмы в виде поддержки принятия решений по оценке качества деятельности образовательных организаций применяются Федеральной службой по надзору в сфере образования и науки для итоговой аттестации учебных заведений, а также внедрены в 50-и образовательных учреждениях и при выполнении государственных контрактов № 1409 от 31. 05. 2004, № 1410 от 31. 05. 2004, № 1991 от 31. 10. 2002, № 1891 от 18. 08. 2003.

Апробации результатов работы. Основные результаты диссертационной работы доложены и обсуждены да Конференциях: & quot-Развитие методов и средств адаптивного тестирования& quot-, Москва, 2003- & quot-Развитие методов и средств компьютерного тестирования& quot-, Москва 2004.

Модели и алгоритмы, полученные автором данной работы использовались в процессе подготовки экспертов высших учебных заведений при реализации под руководством Министерства образования Российской Федерации Концепции и технологии компьютерного тестирования в аттестационных экспертизах вузов, Москва, 2003.

Личный вклад автора заключается в разработке концептуальных и математических моделей, а также алгоритмов и программ оценки качества деятельности образовательных организаций, базирующихся на методах статистики качеств, и их реализации в системе аттестационных проверок учебных заведений.

Публикации. Основные работы изложены в 17-ти научных статьях, 5-и материалах научных конференций. Программное обеспечение официально зарегистрировано в Федеральном органе Исполнительной власти по интеллектуальной собственности.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, заключений по каждой главе, основных результатов и выводов, списка использованной литературы и приложений.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Культурологический подход, герменевтическое сочетание парадигматического и нарративного способов интерпретации педагогического знания на основе дуального подхода к ОКДОУ обеспечивают взаимодополнение анализа процессуальной стороны образования и качества его результатов. Синтез логико-гносеологического и ценностно-смыслового подход к оценке качества образования позволил автору данной работы создать модели и построить алгоритмы ОКДОУ, основанные на методах непараметрической статистики.

Основными результатами работы являются:

Обоснованы принципиально различающиеся между собой методологические подходы, характеризующие востребованность применения культурологического и герменевтического подходов для ОКДОУ с учетом процессуальной стороны образования и нарастающего внимания к индивидуальным проявлениям личностной субъективности.

Методы квалиметрики не могут применяться при ОКДОУ, поскольку доверительные интервалы и вероятности — главный продукт количественной статистики — построены на основании домысливания непроверяемых экспериментально вещей: например, понятию генеральная совокупность в образовательной организации ничего не соответствует- предполагается обычно независимость отдельных факторов, что не соответствует реалиям да и может быть проверено в принципе- постулируется наличие одного закона распределения.

Базисное для количественной статистики понятие однородности образовательных объектов принципиально не отвечает не только методологии ОКДОУ, но и принципам кластерного анализа, когда классификация педагогических событий, явлений и свойств производится только при наличии неоднородных статистических совокупностей.

Полученные на основе синтеза логико-гносеологического и ценностно-смыслового подхода новые модели топометрики, обладают большим научным потенциалом и допускают герменевтическую интерпретацию содержания образовательных факторов произвольной природы и различной размерности, когда требуется поливариантность подходов и наблюдается отказ от жестких штампов традиционной статистики.

Переход от концептуальных моделей имманентной метрики к их математическим представлениям обеспечил создание алгоритмов и программ для оценки новых функций расстояний и плотностей образовательных факторов любой природы.

Образное представление моделей и алгоритмов ОКДОУ объясняется уникальностью и неповторимостью феномена личности студента, зависимостью процессуальной стороны образования от большого количества симптомов числовой и нечисловой природы, что создает препятствия для фиксирования образовательных реалий методами количественной квалиметрии.

Достоинства разработанных на основе статистики качеств новых моделей и алгоритмов кластеризации, классификации, оценки качества и ранжирования учебных заведений состоит в их явной и ясной герменевтической осмысленности и интерпретации, возможности моделирования и мониторинга качества деятельности образовательных организаций, придавая интервалам изменения границ признаков реальные нормативные значения.

Основные теоретические и практические положения данной работы доложены на 5-и научных конференциях, обсуждались на заседании НТС Минобразования Р Ф по проблемам тестирования (протокол № 12 от 21. 02. 2001), опубликованы в 17-и печатных работах, использованы при выполнении государственных контрактов № 1409 от 31. 05. 2004, № 1410 от 31. 05. 2004, № 1991 от 31. 10. 2002, № 1891 от 18. 08. 2003 и зарегистрированы в свидетельствах (№ 990 474, № 2 004 672 523, № 2 004 612 524, № 2 004 612 525) Российского агентства по патентам.

На основании полученных в данной работе результатов можно сделать следующие выводы.

Необходимым условием достижения объективности анализа качества образования является применение дуального подхода к ОКДОУ, когда логическая и логичная формы мышления рассматриваются в единстве на фоне рефлексивной деятельности исследователя.

Разработанная аксиоматика синтеза логико-гносеологического и ценностно-смыслового подходов послужила основой создания новых моделей топометрики, обеспечивающей сведение образовательных признаков произвольной природы к единому основанию предикамента качества.

Построенная система алгоритмов, поддержки принятия решений по ОКДОУ, позволяет осуществлять классификацию и ранжирование учебных заведений с учетом процессуальной стороны образования и индивидуальных достижений студентов, допускает ясную и явную герменевтическую интерпретацию результатов меоделирования.

Предложенный интегративный показатель качества образования, обеспечивает построения алгоритма объективного ранжирования образовательных организаций без введения весовых коэффициентов для различных факторов.

Главный смысл работы автор видит в создании концептуальной и математической моделей, алгоритмов и программ аккредитации и аттестации образовательных организаций, учитывающих специфику деятельности участников педагогического процесса. Это позволит автоматизировать процедуры кластеризации, классификации и ранжирования образовательных учреждений на основе методов статистики качеств, обеспечит объективизацию принятия решений по совершенствованию педагогического процесса и управления качеством образования.

Дальнейшее совершенствование работ в этом направлении должно идти по пути:

— создания единого пространства аккредитации и аттестации образовательных организаций-

— обоснования выбора, широкого обсуждения и утверждения на уровне Федеральной службы по надзору в сфере образования и науки макро и микро факторов, оказывающих существенное влияние на качество образования-

— разработки нормативной системы культуры по установлению рациональных границ и интервалов изменения качества образовательных признаков произвольной природы-

— проектирования анкет-вопросников и создания новых итеративных процедур согласования мнений экспертов, использующих представленные в данной работе модели и алгоритмы.

4.7. Заключение

Для апробации вышеизложенных моделей оценки качества обученности студентов образовательных организаций были использованы данные по результатам тестирования более 200 вузов (около 20 000 студентов) по 15 образовательным программам и 70 дисциплинам. а. 2, аз, гц — исходные коэффициенты. кг, кз, к4, ks & laquo-рубежные»- категории качества, к5 = 100.

1, кг] соответствует оценке & laquo-неудовлетворительно»-- кг+1, кз] соответствует оценке & laquo-удовлетворительно»-- кз+1, L"] соответствует оценке & laquo-хорошо»-- k4+l, ks] соответствует оценке & laquo-отлично»-. = 1,100

31) /=кг+1 -=А4+1

Представленные в данной главе модели интерпретации результатов компьютерного тестирования, как одного из основных объективных факторов качества деятельности образовательных организаций, основаны на теории статистики качеств и обеспечивают процедуры принятия решений при оценке деятельности образовательных организаций.

ПоказатьСвернуть

Содержание

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ.

1. Методологические аспекты оценки качества образования.

1.1. Становление гуманитарного научного знания.

1.2. Проблемы измерений и оценки в системе образования.

1.3. Онтология и гносеология оценки качества образования.

1.4. Генезис культуры оценки.

1.5. Компоненты и факторы образовательной организации.

Список литературы

1. Абрамова Н. Т. Ценности образования, новые технологии и неявные формы знания // Вопросы философии. 1998. № 6.

2. Байденко В. И. Компетенции: к освоению компетентного подхода. Методологический семинар & laquo-Россия в Болонском процессе: проблемы, задачи, перспективы& raquo-, Москва, 2004.

3. Беляева JI.A. Проблема понимания в педагогической деятельности, Екатеринбург, 1995.

4. Бенин B. JI. Сущность понятия & quot-педагогическая культура& quot-// Понятийный аппарат педагогики. Екатеринбург, 1996.

5. Беспалько В. П. Слагаемые педагогической технологии, Москва, изд. & laquo-Педагогика»-, 1989.

6. Бим-Бад Б. М. Антропологическое основание теории и практики современного образования, Москва, 1994.

7. Бондаревская Е. В. Педагогическая культура как общественная и личная ценность, Москва, изд. & laquo-Педагогика»-, 1999. № 3.

8. Братусь Б. С. Личностные смыслы по А. Н. Леонтьеву и проблема вертикали сознания // Традиции и перспективы деятельностного подхода в психологии: школа А. Н. Леонтьева / Под ред. А. Е. Войскунского, А. Н. Ждан и др., Москва, изд. & laquo-Смысл»-, 1999.

9. Брудный А. А. Психологическая герменевтика, Москва, изд. & laquo-Знание»-, 1990.

10. Булынин А. Актуализация ценностного подхода в педагогическом образовании // Alma mater. 1997. № 6.

11. Васильев В. И. Распознающие системы, Киев, изд. & laquo-Наукова Думка& raquo-, 1989.

12. Васильев В. И., Красильников В. В., Плаксий С. И., Тягунова Т. Н. Статистический анализ многомерных объектов произвольной природы, Москва, изд. ИКАР, 2004.

13. Васильев В. И., Тягунова Т. Н. Основы культуры адаптивного тестирования, Москва, изд. ИКАР, 2003.

14. Вебер М. Избранные произведения, Москва, изд. & laquo-Прогресс»-, 1990.

15. Видт И. Е. Культурологические основы образования, Тюмень, изд. Тюменского государственного университета, 2002.

16. Вильсон А. Дж. Энтропийные методы моделирования сложных систем, Москва, изд. & laquo-Наука»-, 1978.

17. Воронов В. В. Формы представления знания в педагогическом образовании, Москва, изд. & laquo-Педагогика»-, 1999. № 4.

18. Выготский JI.C. Собр. Соч.: В 6 т. Т.1. Москва, изд. & laquo-Педагогика»-, 1982.- Т. З. Москва, изд. & laquo-Педагогика»-, 1983.

19. Гершунский Б. С. Философия образования, Москва, изд. & laquo-Флинта»-, 1998.

20. Гессен С. И. Основы педагогики, Москва, изд. «Школа-Пресс», 1995.

21. Дубов И. Г. Феномен менталитета: психологический анализ // Вопросы психологии. 1993. № 5.

22. Закирова А. Ф. Теоретические основы педагогической герменевтики, Тюмень, изд. Тюменского государственного университета, 2001.

23. Звонников В. И., Найденова Н. Н., Никифоров С. В., Челышкова М. Б. Шкалирование и выравнивание результатов педагогических измерений, Москва, изд. & laquo-Логос»-, 2003.

24. Зимняя И. А. Ключевые компетентности как результативно-целевая основа компетентного подхода в образовании. Методологический семинар & laquo-Россия в Болонском процессе: проблемы, задачи, перспективы& raquo-, Москва, 2004.

25. Келс Г. Р. Процесс самооценки. Перевод с англ. О. Бухиной, Москва, 1999.

26. Конти Тито. Самооценка в организациях. Перевод с англ., Москва, изд. & quot-Стандарты и качество& quot-, 2000.

27. Крылова Н. Б. Культурология образования, Москва, 2000.

28. Лазарев С. С. Онтология точности и прогностичности, Москва, & laquo-Вопросы философии& raquo-, № 1,2004.

29. Леонтьев А. Н. Деятельность. Сознание. Личность, Москва, 1975.

30. Мессарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем, Москва, изд. & laquo-Мир»-, 1973.

31. Методологические-основы научного познания / Под ред. П. В. Попова. Москва, изд & laquo-Высшая школа& raquo-, 1972.

32. Орлов А. И. Заводская лаборатория. 1995, т. 61, № 3.

33. Педагогика. Под редакцией С. А. Смирнова. Москва, Academ А, 1998.

34. Плаксий С. И. Качество образования. Национальный институт бизнеса, Москва, 2003.

35. Полонский В. М. Понятийно-терминологический аппарат педагогики, Москва, изд. & laquo-Педагогика»-, 1999. № 8.

36. Поташник -М-М. Качество образования: проблемы и технология управления, Москва, изд. & laquo-Педагогическое общество России& raquo-, 2002.

37. Практикум по теории статистики, Москва, изд. & laquo-Финансы и статистика& raquo-, 2001.

38. Ришер Ж. Ф. Ментальная активность, Москва, изд. Института психологии ГАН, 1998.

39. Розенберг Н. М. Проблемы измерений в дидактике, Киев, изд. & laquo-Вища школа& raquo-, 1979.

40. Розов Н. С. Философия гуманитарного образования, Москва, 1993.

41. Рубинштейн C. JI. Основы общей психологии: В 2-х т. Т. 1. Москва, изд. & laquo-Педагогика»-, 1989.

42. Руденко В. Н. Культурологические основания целостности содержания высшего образования, Москва, изд. & laquo-Педагогика»-, № 1, 2004.

43. Рузавин Г. И. Методология научного исследования: Учеб. Пособие для вузов. Москва, изд. ЮНИТИ ДАНА, 1999.

44. Селезневва Н. А. Размышления о качестве образования: Международный аспект. Высшее образование сегодня, № 4, 2004 (терминология)

45. Сенько Ю. В. Гуманитарные основы педагогического образования, Москва, 2000.

46. Сергеев А. Г., Крохин В. В. Метрология, Москва, изд. & laquo-Логос»-, 2001.

47. Сулима И. И. Философская герменевтика и образование, Москва, изд. & laquo-Педагогика»-, 1999.

48. Тихомиров O.K. Психология мышления, Москва, изд. МГУ, 1984.

49. Тодоров JI.B. Понятие культуры и построение теории содержания образования, Москва, изд. & laquo-Педагогика»-, 1999. № 8.

50. Турбович И. Т., Юрков Е. Ф., Гитис В. Г. Аппроксимация и нормирование описания образа. Опознавание образов, Москва, изд. & laquo-Наука»-, 1968.

51. Тхагапсоев Х. Г. О новой парадигме образования, Москва, изд. & laquo-Педагогика»-, 1999. № 1.

52. Управление качеством образования. Под редакцией М. М. Поташника, Москва, изд. & laquo-Педагогическое общество России& raquo-, 2000.

53. Хованов Н. В. Математические основы теории шкал измерения -качества, Ленинград, изд. Ленинградского университета, 1982.

54. Шихирев П. Н. Современная социальная психология, Москва, изд. & laquo-Институт психологии РАН& raquo-, 1999.

55. Шуман А. Н. Филосовская логика, Москва, изд. & laquo-Экономпресс»-, 2001.

56. Follesdal D. Hermeneutics and hypothetico-deductive method // Dialectica. V. 33. №¾.

57. Васильев В. И., Красильников B.B., Плаксий С. И., Тягунова Т. Н. Статистический анализ многомерных объектов произвольной природы, Москва, изд. ИКАР, 2004 С. 147−258

58. Т. Н. Тягунова. Философия и концепция компьютерного тестирования, Москва, ИПК МГУП, 2003.

59. Васильев В. И., Тягунова Т. Н. Основы культуры адаптивного тестирования, Москва, изд. ИКАР, 2003 С. 115−235.

60. Васильев В. И., Демидов A.H., Малышев Н. Г., Тягунова Т. Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000. С. 30−52.

61. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования. Часть И. Программно-дидактическое тестовое задание. М.: МГУП, 2002. 90с. С. 43−87.

62. Отчет по НИР & laquo-Разработка математической модели и алгоритмического обеспечения интеллектуальной системы тестирования& raquo-, 1998 г. УДК 681. 012. 27 512. 06 № госрегистрации 1 980 010 490, инв. №ОИМ 1839 С. 27−85

63. Тягунова Т. Н. Сетевое моделирование интеллектуальной системы тестирования. Научный вестник МГТУ ГА. № 4. Серия Информатика, Москва. 1998.

64. Васильев В. И., Тягунова Т. Н. Подход к созданию инструментальной системы тестового контроля с интеллектуальными свойствами. // Межвузовский сборник научных трудов & laquo-Методы и средства дистанционного радиозондирования& raquo-, МГТУ ГА, Москва, 1997 г.

65. Васильев В. И., Тягунова Т. Н. Вероятностный подход к анализу тестовых заданий. Научный вестник МГТУ ГА. № 4. Серия Информатика, Москва. 1998. С. 28−32

66. Тягунова Т. Н. Адаптивная среда тестирования. Тезисы докладов Международная конференция, Москва, 20−21 апреля 1999 г.

67. Тягунова Т. Н. Математическая модель генератора тестов Адаптивной среды тестирования. Тезисы докладов Международная конференция, Москва, 20−21 апреля 1999 г.

68. Тягунова Т. Н., Строганов В. М. Лингвистические переменные компонент тестирования, Москва. 1999. Тезисы докладов Международная конференция, Москва, 20−21 апреля 1999 г.

69. Тягунова Т. Н., А. В. Казаков Проектирование мастера тестовых заданий, Москва. 1999. Тезисы докладов Международная конференция, Москва, 20−21 апреля 1999 г.

70. Строганов В. Ю., Тягунова Т. Н. Регрессионная модель оценивания уровня знаний студентов при тестировании. Научный вестник МГТУ ГА 1999. — № 17. Системы и технологии обучения. С. 39−43

71. Васильев В. И., Тягунова Т. Н. Системный подход к компьютерному тестированию. Научный вестник МГТУ ГА. № 25. Серия Информатика, Москва. 2000. С. 8−11.

72. Тягунова Т. Н., Казаков А. В. Реализация форм тестовых заданий в программной среде адаптивного тестирования. Научный вестник МГТУ ГА. № 25. Серия Информатика, Москва. 2000. С. 73−83

73. Васильев В. И., Касимов Ю. Ф., Тягунова Т. Н. Оценка верности аттестации испытуемых. Научный вестник МГТУ ГА. № 38. Серия Информатика, Москва. 2001. С. 25−26

74. МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

75. Федеральная служба по надзору в сфере образования и науки

76. Чистопрудный бульвар, 6/19,

77. Москва, 101 990 Телефон/факс: (095) 924−69^89f/tfM'v, ОТ

Заполнить форму текущей работой