Методика выбора состава показателей при проведении оценки качества педагогической продукции

Тип работы:
Реферат
Предмет:
Общие и комплексные проблемы естественных и точных наук


Узнать стоимость

Детальная информация о работе

Выдержка из работы

Граб В.П.
СДС «АПИКОН», «Военный Регистр», Росаккредитации, Москва, Россия
МЕТОДИКА ВЫБОРА СОСТАВА ПОКАЗАТЕЛЕЙ ПРИ ПРОВЕДЕНИИ ОЦЕНКИ КАЧЕСТВА ПЕДАГОГИЧЕСКОЙ ПРОДУКЦИИ
В настоящее время наиболее часто применяемыми методами оценивания показателей качества продукции являются — измерительный, регистрационный, расчетный, экспертный, статистический методы оценки. В то же время в существующих методиках по определению качества продукции производится оценивание качества продукции по отдельно взятым критериям или каким-то одним конкретным методом [1].
Для обеспечения использования педагогической продукции в учебном процессе необходимы весьма точные и надежные методы определения показателей ее качества, которые наиболее полно характеризи-рующих ее свойства.
Оценка уровня качества педагогической продукции необходима при решении следующих задач:
прогнозирование потребностей-
планирование повышения качества и объемов производства-
обоснование освоения новых видов продукции-
выбор наилучших образцов продукции-
обоснование целесообразности снятия с производства-
стимулирование повышения качества-
анализ динамики уровня качества.
Своевременная и правильная оценка показателей качества продукции, при их разработке, изготовлении и эксплуатации, является основой для эффективного управления качеством педагогической продукции.
Выбор показателей для оценивания качества педагогической продукции (КПП) осуществляется в соответствии с требованиями, касающимися качества любого вида педагогической продукции, включающими в себя:
— требования и потребности заказчика в связи с использованием продукции-
— назначение продукции-
— условия эксплуатации продукции-
— требования к долговечности и надежности-
— требования, установленные регламентирующими органами и государственными стандартами-
— привлекательность или внешний вид-
— условия транспортировки-
— регулирование убытков в связи с ответственностью за качество продукции-
— монтаж и установка —
— техническое обслуживание и услуги-
— характеристика рынка сбыта-
— товары, предлагаемые конкурирующими фирмами (технический уровень продукции) —
— требования безопасности.
Необходимо рассматривать следующие аспекты безопасности:
— предназначенное использование-
— возможное предсказуемое неправильное использование-
— способность к действию при ожидаемых условиях использования-
— совместимость с окружающей средой-
— эргономические факторы-
— безотказность-
— ремонтопригодность и удобство обслуживания-
— долговечность-
— возможность утилизации (включая любые необходимые инструкции) —
— специальные потребности пользователей продукции, процесса или услуги, например детей, пожилых людей, групп людей с ограниченными возможностями-
— характеристики отказов-
— маркировка и информация.
Именно эти перечисленные аспекты безопасности определяют показатели безопасности продукции, реализованной на базе ИКТ.
Правильный выбор методики и показателей для оценивания КПП обеспечивает достоверность полученных результатов, дает возможность определить соответствие продукции требованиям, которые предъявляются потребителями именно к этому виду продукции. Оцениваемые показатели должны быть определены не только с точки зрения технических характеристик продукции и показателей, обеспечивающих получение этих характеристик, показателей характеризующих продукцию в процессе испытаний и эксплуатации, но и с точки зрения значимости основных показателей (определение их весового значения).
Последовательность и этапы проведения работ, представленные в таблице 1, обеспечивают разработку методики оценки качества педагогической продукции с выделением в ней направлений по разработке:
— процесса оценивания затрат на качество-
— процесса оценивания технического уровня-
— механизма определения весовых коэффициентов показателей экспертными методами, с последующей проверкой достоверности полученных результатов
Таблица 1. Этапы проведения работ по созданию методики.
№ Наименование работ Содержание работ
1 Процесс оценки технического уровня 1. Выбор методики оценки технического уровня. 2. Определение показателей по группам продукции. 3. Определение значений показателей весомости для единичных и комплексных показателей экспертным способом. 4. Расчет технического уровня.
2 Процесс оценки затрат на качество 1. Анализ существующих методов оценки затрат на качество. 2. Выбор направлений проводимой оценки затрат на качество в соответствии с ГОСТ Р ИСО 3. Разработка классификатора оцениваемых показателей по направлениям деятельности предприятия. 4. Определение порядка сбора и учета информации о затратах на качество. 5. Расчет затрат на качество.
3 Разработка методики оценки качества продукции 1. Анализ методов оценки качества продукции. 2. Разработка методики оценки качества продукции. 3. Определение состава показателей и значений коэффициентов весомости (экспертным методом) для оценки качества продукции для стадий НИР и ОКР, эксплуатационной отработки. 4. Определение ответственности исполнителей за предоставление информации по качеству продукции, за сбор и обработку статистической информации.
4 Расчет единичных и комплексных показателей качества продукции 1. Определение значений единичных показателей и значений их показателей весомости. 2. Оценка достоверности показателей, полученных экспертным методом. 3. Расчет комплексных показателей качества продукции.
5 Расчет обобщенных показателей качества продукции 1. Расчет обобщенных показателей. 2. Выдача заключения о качестве продукции. 3. Прогнозирование характеристик продукции. 4. Анализ эксплутационных характеристик на основе информации получаемой от потребителей.
важнейших
направлены на реализацию одного применяемых при управлении организациями, созда-
С целью реализации работ по разработке методик возникает необходимость действий, определяющих порядок получения всей необходимой информации по выделенным направлениям.
В первую очередь это «Маркетинг». Данный выбор обусловлен тем, что основные принципы маркетинга, сформулированные теоретиками «Маркетинга», принципов — ориентации на потребителя (рис. 1), нии конкурентоспособной продукции.
* Ориентация на потребителя ¦& gt- Комплексность
& gt- Гибкость и адаптивность Концентрация усилий
& gt- Нацеленность на перспективу -> Сочетание адаптивности с воздействием
на потребителя
* Программно целевой подход
Рис. 1 Принципы маркетинга.
Целью М И является получение информации о конкурентоспособности разрабатываемой продукции, динамике спроса на конкретную продукцию, новейших мировых достижениях в исследуемой сфере.
Маркетинговые исследования должны обеспечить получение сведений о состоянии мирового рынка в данной области, тенденциях его изменения, направлениях научно-технической деятельности ведущих организаций и зарубежных фирм, разрабатывающих и выпускающих аналогичную продукцию, обоснование технико-экономических показателей планируемой к выпуску продукции.
Раскрытие понятий по направлениям маркетинговой деятельности, приведенное в табл. 2, дано профессором Кельнского университета (ФРГ) Клаусом Брокхоффом. Рассматривая маркетинговую систему, необходимо обязательно отметить довольно новое понятие «качество маркетинга».
Таблица 2. Качество маркетинга.
Аспекты, отражающие качество Направленность маркетинговой деятельности
Философский Удовлетворение запросов потребителей, ориентация на новаторство, приоритет долгосрочного (стратегического) мышления.
Поведенческий Постоянная забота о репутации (имидже) и её продуктах.
Информационный Ориентация на исследование рынка с учетом его значимости, разработка концепций опирающаяся на базы данных.
Аспект принципа действия Комплексный системный анализ, а не выделение его отдельных, хотя и важных функций.
Аспект дифференциации Политика рыночных ниш, использование стереотипов оповещения потребителей в качестве факторов воздействия на ту или иную группу.
Социальный Ориентация фирм на охрану здоровья потребителей и окружающей среды, безопасность.
Организационный Децентрализация и гибкость управления вместо повышенной централизации и бюрократизации- использование центров и прибыли.
Смысл маркетинга точно выразил американский специалист по проблемам управления П. Дракер. Он, в частности, отмечал, что необходимо поставить специалиста по маркетингу не в конец, а в начало производственного цикла и интегрировать маркетинг в каждую фазу бизнеса.
Путем изучения рынка нужно установить и довести до каждого инженера, конструктора и производственника каким клиент хочет видеть данный продукт, какую цену он готов платить, где и когда этот продукт потребуется. Маркетинг должен оказывать воздействие на проектирование, планирование ас-
сортиментной политики, экономический анализ, равно как и на распределение, сбыт и предоставление
услуг.
Маркетинговые исследования должны обеспечить получение данных для обоснованного выбора направлений исследования с учетом влияния научно-технического прогресса на выпускаемую продукцию (технический уровень, экономические показатели, темпы совершенствования и т. п.), формирования перспективных требований к продукции, отражающих предпочтения ведущих потребителей. МИ обеспечивают получение данных для создания продукции с технико-экономическими показателями, отвечающими требованиям конкретных потребителей на конкретных рынках, обоснование объемов производства продукции с гарантированным сбытом, анализ вероятных качественных изменений в товарной массе в перспективе- учет специфических требований к продукции с точки зрения стандартов и законодательных регламентов.
Организация обратных связей с потребителями основывается на получении от них информации, что позволяет:
— оценить стабильность работы-
— оценить приспособленность к работе в различных условиях-
— организовать работы по статистическому набору информации о качестве работы продукции-
Т.О., маркетинговые исследования в совокупности с применением экспертных и статистических методов при решении основных задач количественной оценки качества педагогической продукции на различных стадиях (разработки документации, выпуска и эксплуатации, проведения сертификационных испытаний и т. п.), позволяют в достаточной степени достоверно произвести:
1) определение перечня единичных и комплексных показателей на данный вид продукции-
2) определение числового значения коэффициентов весомости одного или нескольких единичных и комплексных показателей качества продукции-
3) проведение анализа полученных значений частных и комплексных показателей весомости рассматриваемой продукции и сравнительной оценки их значений с установленными статистически оптимальными значениями.
Для обеспечения этих работ необходимо провести комплекс мероприятий по определению оцениваемых показателей (единичных), по определению методов расчета комплексных показателей и обобщенного показателя качества продукции.
Но! Прежде всего следует акцентировать внимание на необходимость организации обучения персонала участвующего в проведении оценивания качества продукции.
Весь цикл обучения должен основываться на грамотном формировании программ обучения) и должен охватывать следующие этапы:
Формирование сознания того, что обучаемым необходимо повысить уровень своих знаний.
Ознакомление с сутью проблемы.
Изменение в отношении к проблеме.
Ознакомление с теорией, общей методологией и конкретными методами осуществления процесса оценивания качества продукции.
Использование полученных знаний на практике.
Обучение специалистов необходимо проводить по направлениям:
— применение статистических и экспертных методов-
— оценивание затрат на качество-
— способы и методы оценивания качества продукции-
— подготовка экспертов по сертификации педагогической продукции.
Рассмотрим подходы определяющие необходимость выбора состава единичных показателей при проведении оценивания качества продукции различными способами.
Оценка технического уровня.
Показатели технического уровня продукции, определяемые с момента начала разработки продукции, получаемые путем сравнения разрабатываемого вида продукции с лучшими аналогами (маркетинговые исследования), позволяют оценить:
— целесообразность поставки продукции на проектирование и производство-
— степень соответствия её технических характеристик показателям лучших аналогов.
При проведении маркетинговых исследований при поиске аналогов выпускаемой продукции с сопоставимыми показателями качества, возникает необходимость в разработке перечней основных показателей по группам продукции и определении значений их коэффициентов весомости.
При определении технического уровня осуществляется сравнение разрабатываемого изделия с лучшим аналогом, определяемого из группы аналогов экспертным методом или сравнением обобщенных показателей, которые рассчитываются относительно набора лучших показателей, взятых от различных аналогов (сравнительный метод). Обобщенный показатель технического уровня рассчитывается по формуле:
m
Q = X Mq ,
і=1
где Мі - коэффициент весомости i-го показателя-
qi — относительное отклонение i-го показателя технического уровня рассматриваемого аналога от соответствующего значения показателя из набора лучших показателей.

p — p
L ia Л і
= ±
q
где Pia, Pin — значение i-го показателя технического уровня аналога и соответствующего показателя из набора лучших показателей-
Экспертный метод.
Экспертный метод [2] определения показателей качества продукции — это метод определения значений показателей, осуществляемый на основе решения, принимаемого экспертами. Экспертные оценки -это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования при принятии решений
Оценка качества продукции включает в себя следующие направления деятельности:
— разработку методики оценки качества продукции, с выделением при этом основных направлений, позволяющих определить наиболее полно и достоверно качественные характеристики продукции, показатели процессов проектирования, изготовления, влияющие на эти характеристики, а так же процессы, при проведении которых определяются показатели качества-
— определение показателей влияющих на качество продукции-
— определение состава важнейших показателей изделия, наиболее полно характеризующих их качество.
Сертификация продукции.
Сертификат — одно из подтверждений качества продукции и эффективное средство содействия потребителю в ее выборе. Наличие сертификата повышает конкурентоспособность продукции и подтверждает возможность ее использования в образовательных учреждениях.
Для проведении сертификационных испытаний в Системах добровольной сертификации (СДС) [3] раз-
работаны нормативные документы, содержащие требования, на соответствие которым проводится сертификация — технические условия на продукцию.
Технические условия (ТУ) для сертификации, содержат требования к проведению испытаний, основные характеристики качества продукции и методики их оценки. ТУ являются нормативными документами СДС, разрабатываются на основе действующих международных стандартов и Государственных стандартов РФ.
Например, при оценивании качества электронных изданий образовательного назначения (ЭИ ОН) в технических условиях предусматривается оценка по следующим группам показателей:
1. Технико-технологических-
2. Эргономических-
3. Содержательно-педагогических.
Каждая из выделенных групп группам показателей содержит в свою очередь показатели, характеризирующие именно этот комплексный показатель, например:
1. Технико-технологических:
— характеристик установки/удаления ЭИ ОН,
— характеристик функционирования ЭИ ОН,
которые также включают в себя целый ряд единичных показателей.
Статистические методы.
Статистический метод — метод оценки качества продукции, при котором значения показателей качества продукции определяют с использованием правил математической статистики.
При отсутствии единой системы оценки качества педагогической продукции необходимо при ее разработке основываться на общей теории качества, включающей в себя использование статистических методов, как одного из основных в теории квалиметрии.
Необходимость применения статистических методов при оценивании качества продукции [4], обусловлена:
— во первых тем, что методология проведения статанализа является одним из наиболее оптимальных способов оценивания качества продукции на основе накопленной информации-
— во вторых тем, что отсутствие информации для сравнения характеристик и оценивания качества педагогической продукции, функционирующей на базе ИКТ не позволяет объективно призводить определение качества оцениваемых показателей-
— в третьих возможностью использования статметодов практически при любом способе проведения оценки качества и сертификации продукции, что особенно актуально в педагогике, т. к. применяемые в этой отрасли (в основном) экспертные методы не позволяют иметь достаточно объективную информацию наиболее приемлемую для использования при оценивании педагогической продукции. Проведение статанализа качества продукции расширяет эти возможности.
Перспективы организации и развития работ в этом направлении (в связи с тем, что в настоящее время практически отсутствуют разработки по определению качества педагогической продукции с применением традиционных методов статистического анализа) направлены на:
— уточнение специфики применения статистических методов и определение наиболее приемлемых при оценивании инновационной педагогической продукции, с конкретизацией по видам продукции-
— разработку критериев оценки качества продукции, ориентированных на применение статистических методов-
— формирование групп показателей (единичных и комплексных), определение значений их коэффициентов весомости с помощью экспертного оценки, для обеспечения комплексного и дифференциального оценивания педагогической продукции, а также обработки информации для проведения статистического анализа-
— сбор и накопление информации для сравнения характеристик и оценивания качества педагогической продукции, функционирующей на базе ИКТ, что позволит объективно призводить определение качества оцениваемых показателей-
— создание соответствующей базы данных для проведения сравнения оцениваемой продукции с аналогичной продукцией.
Всякий объект может характеризоваться неопределенно большим числом показателей качества. Однако существенными являются только некоторые, например, потребительские свойства, т. е. те, которые формируют ожидания потребителя от качества продукции. Среди них могут быть частные и комплексные. Частные — это те, которые можно оценить непосредственно (инструментально или экспертно). Частные показатели объединяют в однородные группы, каждая из которых служит основой для расчета комплексного показателя одноименной группы.
Основой для количественной оценки качества процесса разработки являются единичные показатели. Указанные показатели КПП и значения их коэффициентов весомости устанавливаются экспертным путем на основании анализа результатов проектирования, опытной отработки, испытаний и эксплуатации продукции.
В силу специфичных особенностей предприятий, производящих педагогическую продукцию при её разработке д. б. рассмотрены мероприятия по определению:
потребности в продукции или услуге-
рыночного спроса и области реализации продукции-
— требований потребителя к продукции (на основе постоянного анализа нужд рынка). Эти действия включают оценку любых, не сформулированных требований или склонностей потребителя-
— конкурентоспособности продукции на основе сравнения с аналогами определения её технического уровня.
В состав важнейших показателей вошли группы показателей, являющиеся наиболее значимыми для продукции и включающие в себя:
— показатели функционирования-
— показатели объемно-весовые-
— показатели надежности-
— показатели безопасности
— показатели устойчивости к внешним воздействиям.
Основными составляющими комплексного показателя качества процесса разработки являются частные показатели, определяемые согласно следующих критериев:
— критерия, характеризующего качество разработки документации-
— критерия, характеризующего обеспечение соответствия разработки требованиям НД-
— критерия, характеризующего качество разработок в части обеспечения характеристик надежности-
— критерия, характеризующего соответствие разработки показателям лучших отечественных и зарубежных аналогов-
— критерия, характеризующего новизну разработки (применение последних достижений науки) —
Процесс оценивания технического уровня продукции включает следующие этапы:
— выбор состава важнейших показателей технического уровня-
— установление коэффициентов весомости показателей технического уровня-
— выбор аналога-
— определение значений показателей перспективного образца-
— установление категории технического уровня изделия.
К показателям функционирования продукции относят параметры, определяющие её свойства, характеризующие функциональное назначение.
К объемно-весовым и конструктивно-технологическим показателям относят конструктивные показатели, характеризующие основные проектно-конструктивные решения, удобство монтажа и установки продукции.
К показателям стойкости к внешним воздействующим факторам относятся показатели, характеризующие стойкость продукции к воздействию механических, климатических и специальных факторов.
К показателям надежности относят показатели, характеризующие безотказность, долговечность и сохраняемость продукции.
К показателям безопасности относят показатели, характеризующие, например, совместимость с окружающей средой.
Состав важнейших показателей по группам показателей определяют, как правило, в таблице «Пере-чень показателей продукции», где указаны также значения коэффициентов весомости единичных показателей или коэффициенты весомости по подгруппам показателей.
Значения коэффициентов весомости Mi устанавливаются таким образом, чтобы их общая сумма равнялась единице. Максимальные значения Mi устанавливаются для конкретных показателей (параметров), определяющих выполнение основных требований к продукции (далее определяющие показатели).
Значения коэффициентов весомости определяются методом групповых решений т. к. по сравнению с индивидуальным (в лице разработчика) этот метод более эффективен и при создании комиссий соблюдаются (сформулированные К. Эрроу) пять из пяти основных условий корректного общественного (группового) выбора:
— универсальность-
— наличие положительных связей-
— независимость-
— суверенность экспертов-
— отсутствие диктаторства.
Метод групповых решений (метод комиссий) при определении показателей по группам продукции и коэффициентов весомости по подгруппам показателей применяется т. к. является наиболее простым и доступным, не требует проведения дополнительных мероприятий. Показатели по группам продукции рассчитывались по каждому показателю как среднее арифметическое суждений экспертов.
При отсутствии в «Перечне показателей разрабатываемой продукции» показателей и значений их коэффициентов весомости, определяется их состав, при необходимости вводят дополнительные группы показателей.
Таблица 7. Перечень показателей разрабатываемой продукции.
Наименование показателей качества Коэффициенты весомости
единичных показателей групповых показателей
1.1 Показатели функционирования 0,4
о и
0,05
о и
о и
0,05
1.2 Объемно-весовые показатели о и
— габариты о (Л
— вес о (Л
1.3 Показатели надежности го о
— суммарное время наработки о и
— вероятность безотказной работы или средняя наработка на отказ 0,2
1.4 Показатели устойчивости к внешним воздействиям о и о и
1.5 Показатели безопасности о и
— Отсутствие негативного влияния на здоровье и психологическое состояние учеников о и
В данном случае комплексный показатель (технико-технологический) качества продукции определяется согласно следующего выражения:
Кдр = Кі Ші +К2 Ш2 + Кэ Ш3 + К4 Ш4 + Кб Шб
где Кі_____ К5, следующие комплексные показатели по группам:
Кі - показатели функционирования-
К2 — объемно-весовые показатели-
Кз — показатели надежности
К4, — показатели устойчивости к внешним воздействиям-
К5 — показатели безопасности.
Внутри каждой группы расчет производится аналогичным образом.
Отдельные единичные показатели и значения всех коэффициентов весомости установлены экспертным путем на основании проведенного анализа, с применением таких методов экспертной оценки, как -непосредственное измерение, ранжирование и сопоставление. Сумма значений коэффициентов весомости по каждой группе показателей д.б. равна единице (Z mi =1).
КобНИ & gt- 0,85 — разработка изделия выполнена качественно и соответствует требованиям ТЗ-
КобНИ & lt- 0,85 — разработка изделия выполнена некачественно и имеет замечания.
Полученные значения показателей весомости, значения единичных показателей и значения граничных комплексных показателей, определенные при проведении экспертной оценки различными способами однозначны и принимаются для проведения оценки качества изделий.
ЛИТЕРАТУРА
1. Граб В. П. Определение качества разрабатываемых продукции. Труды Международного симпозиума «Надежность и качество». — Пенза: ПГТУ, 2004 (стр. 29−34)
2. В. П. Граб. Особенности применения экспертных методов при оценивании качества прикладных программных средств и систем автоматизации информационно-методического обеспечения образовательного процесса и управления образовательным учреждением //Научно-методический журнал «Информатизация образования и науки» № 2(6), Москва, ФГУ ИТТ «Информика», 2010 г., стр. 167−176
3. Граб В. П. Сертификация продукции образовательного назначения в СДС «АПИКОН». Научнометодический журнал «Информатизация образования и науки», Москва, ФГУ ИТТ «Информика», 2011
№ 2(6), г., стр. стр. 143−156. Граб В. П. Оценивание качества прикладных программных средств и систем автоматизации информационно-методического обеспечения образовательного процесса. Ученые записки, РАО ИИО, Москва, 2007 г. (234−240).
4. Граб В. П. Применение статистических методов при оценивании качества педагогической продукции. Ученые записки, РАО ИИО, Москва, № 32, 2010 г. (стр. 184−206).

ПоказатьСвернуть
Заполнить форму текущей работой