Оценивание в системе социального управления: зарубежная практика

Тип работы:
Реферат
Предмет:
Экономические науки


Узнать стоимость новой

Детальная информация о работе

Выдержка из работы

М. В. Кузин, Г. А. Меньшикова
ОЦЕНИВАНИЕ В СИСТЕМЕ СОЦИАЛЬНОГО УПРАВЛЕНИЯ:
ЗАРУБЕЖНАЯ ПРАКТИКА
Важнейшим проявлением демократизации управления современным обществом можно считать внедрение оценочного мониторинга функционирования социальных систем (государств, регионов, предприятий и др.). Общество, особенно в передовых государствах, становится поистине позитивным. Вспомним термин О. Конта, предложившего именно с его помощью маркировать новую, становящуюся в XIX веке (во второй его половине) возможность осознанного управления социальными процессами на основе их изучения и оценивания. Параллельно с развитием оценочных процедур и технологий, выделяется новая область социологии — сравнительный анализ оценочного алгоритма и инструментария. Опишем этапы институционализации оценочного процесса, воспользовавшись наряду с другими работами статьей Хеллштерна «Generating Knowledge and Refining Experience: The Task of Evaluation» [1].
Проведение оценочных исследований, по мнению Хеллштерна, в современном ему обществе (60−80-е годы XX века) стало рутинным (привычным) и одновременно постоянно развивающимся познавательным процессом. Стратегическая траектория развития методологии этих исследований восходит от простых форм комплексного учета системы факторов производственного или социального характера к качественно более сложным исследованиям, проектирующим новый ход социальных процессов в стране. Происходит развитие исследовательского потенциала оценочных процедур от узконаправленных целевых оценочных и экспериментальных проектов сначала до теорий по социальному проектированию глобальных (национальных) проблем, а далее — до особого рода теорий и моделей, учитывающих специфику конкретных ситуаций и агентов действия. Речь идет о новом знании, позволяющем одновременно понимать как ход социального развития, так и процесс производства знания о нем (развитии) с целью использования научной рефлексии в управлении. Такое интегративное знание (формирование мета-оценок и мета-подходов) становится, по мнению западных исследователей, основой новой системной управленческой теории, способной объяснить происходящие социальные процессы и перемены.
Существует ряд классических зарубежных работ, посвященных анализу функций, методологии и методам социального оценивания, перевод которых облегчил бы внедрение подобной практики в российскую реальность [2−15].
Они позволяют рассматривать оценивание как действенную технологию социального контроля. Сейчас оценки стали не только частью аналитической работы по разработке программ, но и обязательным элементом управленческой практики. Оценка органично соединила науку и действительность, дав возможность повысить эффективность, ответственность и подотчетность звеньев управления как в государственных, так и общественных организациях.
Масштабы, повсеместная доступность, диверсификация оценочной деятельности усложнили классификацию структур и органов оценки, что, в свою очередь, обратило
© М. В. Кузин, Г. А. Меньшикова, 2011
внимание на необходимость описания их институционального становления. Охарактеризуем этот процесс, выделив следующие его компоненты: 1) расширение предметных полей и исследовательских задач- 2) развитие системы научных центров и формирование коммуникаций между ними- 3) качественное изменение методов оценивания, превращение их в массовое (повсеместное, системное) и самоорганизующееся знание.
Расширение предметных полей и исследовательских задач
Считается, что история тестирования государственной политики насчитывает приблизительно 100 лет, хотя трудно себе представить существование государства без первичной отчетности о сборе налогов, пошлин, а также направлениях их расходования. Понятно, что сведения использовались для внутреннего потребления, но они не могли не приводиться. Известно, что Аристотель пытался проанализировать эффективность статей греческой Конституции. XVI веком датируется требование английской знати поставить под контроль королевские расходы. Теоретические расчеты оптимальности налоговой системы разрабатывались в XVIII веке во Франции, где математическими методами была рассчитана корреляция размера налогов с объемом социальных функций, выполняемых государством (содержание армии и поддержание порядка, расходы на формирование систем здравоохранения и образования и т. д.).
Исследователи связывают внедрение оценочной практики в систему государственного управления с концом XIX века, когда на волне революционных выступлений правительства европейских государств вынуждены были инициировать социальные, в том числе образовательные реформы. Еще более отчетливым это новое проявление государственной деятельности становится в 1930 году, когда на фоне экономического кризиса был инициирован контроль расходования бюджетных средств, что привело к исследованиям, оценивающим разумность расходов бюджета и его отдельных программ. Следующая волна исследований связана с разработкой программ национальных модернизаций, вызванных окончанием Второй мировой войны: программы «Новое Дело» (New Deal) (США) и плана Л. Эрхарда (Германия).
Новый век ознаменовался появлением новых задач и возможностей аналитического оценивания — предвидения, анализа и своевременной корректировки деятельности правительств в связи с экономическим кризисом 2007−2010 годов. Подтверждением подобной практики в США является Акт Додда-Франка («О защите прав пользователей финансовыми услугами», сентябрь, 2010). Включенность в его структуру разнообразных, но многочисленных научных задач будет описана в статье ниже.
В развитии направлений оценивания государственной политики (программ), можно выделить три этапа.
1. Первые разработки (60-е годы) — подобное оценивание рассматривалось как способ обоснования социального прогнозирования при проведении реформ. Использование осознанных методов отбора политических реформ стало радикальным изменением процесса политического поведения. Исследования уже на этом этапе превратились в массовую управленческую технологию, на которую США потратили за десятилетие с 1965 по 1975 годы более 1 биллиона долларов.
2. Если исследования 60-х годов были направлены на увеличение рациональности и открытости, а также на совершенствование правительственных решений, то исследования 80-х — на оптимизацию финансовых расходов при одновременном
усилении правительственного участия в управлении страной. В эти годы конкуренция между законодательными и контролирующими органами потребовала обоснованности правительственных программ. Оценивание сравнительной эффективности программ, предложенных разными научными центрами, стало рассматриваться как механизм и способ управления. Оно становится инструментом контроля над расходами, что существенно изменяет способы разработки государственного политического решения.
3. Начало третьего тысячелетия охарактеризовалось актуализацией нового направления оценивания — социальной диагностики национальных проблем. Оценивание становится способом правительственной рефлексии на финансовый кризис 20 082 010 годов, а сами исследования приобретают комплексный, массовый и обязательный характер. В стране создается система научных центров, формируется новая социологическая специальность — социолог-аналитик. Оценочные исследования проводятся по государственным заказам (см. табл. 1).
Таким образом, можно выделить сложившиеся в практике оценивания тенденции. Первая из них — превращение информационной базы в обязательную процедуру государственного контроля. Вторая — сужение конкретных задач оценивания. Широкомасштабные исследования не подтвердили своей эффективности в качестве контрольной технологии, хотя, бесспорно, они остаются значимой технологией социального познания и диагностики.
В сборнике «Государственное управление» [16], составленном на основе перевода «International Encyclopedia of Public Politic and Administration», относительно классификации целей оценочных исследований указано следующее: «С помощью оценочного анализа определяется успешность программы, обеспечивается подотчетность и более эффективное размещение ресурсов. Его основная задача — оценить социальную полезность того или иного вида деятельности, причем анализу подлежит как процесс ее осуществления, так и конечный продукт». Авторы статьи сборника выделяют как минимум 9 направлений оценки:
— обоснование плановых решений-
— решение вопросов, связанных с уровнем верификации (достаточностью собранной информации и ее всесторонним использованием) —
— контроль поэтапного осуществления программ-
— анализ полезности и оценка продуктивности программ-
— процессуальный анализ/оценка программ-
— управленческий анализ или оценка ситуации-
— определение неучтенных последствий осуществления программ-
— сервисный анализ (оценка степени удовлетворения потребностей, которые должны удовлетворяться по мере внедрения программы) —
— сопоставление программ (политический анализ).
Развитие системы центров социальной аналитики
Рост объема оценочных исследований совпал с существенным увеличением государственного финансирования социальной деятельности, что стало мощным стимулом для перехода к организованной и профессионально специализированной системе оценочных процедур. Так, на начальном этапе (вплоть до 70-х годов) исследо-
вательские практики, по мнению Хеллштерна [1, р. 275], нельзя было рассматривать как однонаправленный и постоянно набирающий рост процесс. Развитие технологий проведения исследований осуществлялось на фоне непрекращающейся политической борьбы между ветвями власти, партиями и лидерами, что выражалось в конкурентной борьбе за финансирование исследований между создаваемыми научными центрами. Проявлением конкурентной борьбы стало обострение переходящего в обструкцию критического анализа, которому было подвергнуто все: используемые методы, авторитет ученых, эффективность денежных расходов. Для доказательства преимуществ того или иного научного центра (или группы ученых) созывались брифинги, привлекались СМИ. По мере роста системы центров, особенно после подключения к ним сети американских университетов, стало возможным говорить о насыщении страны научными центрами. Конкуренция между ними приблизилась к разумной, а распределение заказов стало осуществляться открыто. Таким образом, 70-е годы можно считать годами формирования институционально оформленной системы оценивания и становления новой научной специализации исследователя-аналитика.
В статье Хеллштерна названы центры, которые первыми начали осуществлять оценочные исследования: в ФРГ — Tavistock Institute и Институт политических учений, в Великобритании — Infratest and Prognoz, а также Abt Associates System Development Corporation, Mitre. The Rand Corporation, в США — SPI (Stanford Research International). В борьбе за финансы они развивались, противостояли друг другу, противопоставляя при этом исследовательские технологии и модели. Современным крупнейшим оценочным центром можно считать GAO (General Accounting Office). При этом подчеркнем, что именно законодательно закрепленная обязанность государственных органов любого уровня (по крайней мере, в США) проводить исследовательское сопровождение всех программных действий (документов), является главным отличием современности, а не рост общей численности и даже не исследовательский потенциал.
Помимо увеличения числа центров и численности их специалистов, свидетельствами институционализации оценивания можно признать рост объема публикаций, появление специализированных журналов, проведение конференций по указанной теме и т. д. Лидерами в этом процессе можно считать США, Германию, Великобританию и Швецию.
Изменились и методы проведения исследований. Наряду с разовыми темами, сложилась и закрепилась на практике система постоянного сбора информации по различным аспектам национальной деятельности. Выделились и стали действовать на постоянной основе центры сбора такой информации. К ним можно отнести American Evaluational Association, Joint Committee, Canadian Evaluation Society и др. Данные центры стали в обязательном порядке издавать итоговые (ежемесячные, квартальные или ежегодные) бюллетени и отчеты. В Германии правительством ежегодно издается 50 таких бюллетеней и справочников (по числу комитетов правительства), в Швеции — более 200, в Великобритании — 150. Еще раз подчеркнем, что в этих странах такие отчеты являются обязательными, законодательно закрепленными, публично доступными. Их издание финансируется из бюджета соответствующих органов управления. Общественные организации, научные коммерческие центры и другие структуры также обязаны заниматься оцениванием эффективности своих программ.
Наиболее значимыми журналами по данной тематике являются: «Evaluation Magazine», «Evaluation Practice», «Evaluation and Program Planning», «Evaluation Review», «Studies in Educational Evaluation», «American Journal of Evaluation», «Evaluation».
Качественное изменение методов оценивания и превращение их в массовое (повсеместное, системное) и самоорганизующееся знание
Первые методики оценивания брали в расчет минимум факторов и основывались на заимствовании методов традиционных наук — тестирования и экспериментов из социальной психологии и прикладных социологических исследований, а также целевого моделирования из экономики. По мере накопления опыта исследования становятся более ситуационными, включающими контекстные факторы. Замена долгосрочных правительственных программ более дешевыми и ограниченными во времени проектами потребовала новых методов оценки. Внедряется программный мониторинг и система быстрых (точечных) оценок.
Параллельно происходит отказ от жестких методов контроля над государственными программами. Оптимистическая версия возможности построения рационального государства путем внедрения своевременной диагностики социальных проблем, что предлагали Campbell, Bennet, Lamsdame, не подтвердилась на практике. Более доступным оказался практический анализ, основанный на индивидуальном идиосинкратическом знании, здравом смысле, признании роли традиционных ценностей. При этом подтвердила свою полезность практика сбора информации в рамках организации системы обратной связи, осуществляемой между обществом и населением. Хеллштерн выявляет следующие закономерности развития методов оценивания:
1. Чередование социального интереса и активности программных действий (программы создаются на пике социальной проблемы, однако по мере нарастания программных действий потребность в них, естественно, ослабевает).
2. Постоянная изменчивость социальных целей (как рефлексия на постоянные изменения реальности).
3. Расширение роли фактора неопределенности и усложнение поставленных задач.
4. Учет индивидуализации исследователя и исследуемого.
90-е годы можно охарактеризовать как период перехода от программ вспомоществования (социальной политики) к прогнозам (предвидению). Целью оценивания становится предвидение будущего, включая риски. Оно превращается в диалоговый инструмент, предназначенный для уменьшения риска социального поведения, а также для принятия более совершенных этических и общих социальных решений. Возникают новые теории оценивания, в которых оно рассматривается либо как интерактивный процесс осмысления происходящего, включая ценности и потребности, либо как эмпирические исследования, основанные на анализе обобщенных изменений происходящего. Речь идет об изменениях в задачах, пожеланиях, культурных ценностях, нормах и поведенческих установках, флуктирующих под воздействием колебаний реальностей и ее восприятия. Такая теория оценивания основана на изучении общественного мнения и социальных фактов. Она предполагает структурирование социальных целей,
позиций, задач, получаемых в ходе социального мониторинга потребностей, процессов, изменения ресурсов и т. д.
Функции, методы и техники оценивания меняются постоянно. Оно становится одновременно более теоретически обоснованным и практически ориентированным. Оценки соединяют воедино различные подходы и сюжеты, включая исследования прошлого или проведенные в прошлом. Современное прочтение вторичных исследований (мета-анализ), а также переосмысление постоянно меняющейся реальности потребовали кодификации и фиксации реальности при помощи мониторинга наблюдаемых событий. Разрыв в позициях ученых и практиков интенсифицировал дискуссию о стандартах оценивания, об учете этических особенностей и основных базовых принципах.
Параллельно с исследовательскими программами, выполняемыми по государственному заказу, меняется и технология оценивания частных программ. В течение последнего времени предложены по меньшей мере 12 разных моделей или подходов к процедуре:
— объективно-ориентированный или целенаправленный анализ, в котором дается оценка соответствия запланированных целей уже достигнутому-
— анализ степени социальности программы, ее ориентации на реальные потребности населения-
— проверка дееспособности программ на основании нормативов или критериев-
— систематизация данных, полученных в результате оценивания, определение причинно-следственных отношений между переменными величинами-
— анализ прибыли и затрат-
— аккредитация/лицензирование разработчиков-
— применение информационных систем, предоставляющих базу данных, прямых и косвенных-
— учет/подотчетность (предоставление информации налоговым органам и финансовым организациям) —
— оценка качества обслуживания клиента-
— сбор информации, необходимой для коррекции текущего управления-
— анализ качества работы конкретного руководителя-
— «точечный анализ», то есть анализ в соответствии с конкретными задачами.
Источниками информации для оценки могут быть исследования как социологического, так и экономического или статистического характера. К социологическим источникам можно отнести результаты анкетирования, опросов, тестов, собеседований, изучение трудовых и прочих характеристик. К экономическим — анализ данных, касающихся производства, макроэкономических показателей развития государства, предприятий и др. Статистическими источниками является широкий спектр баз данных, характеризующих уровень и качество жизни населения, а также многое другое. Источниками информации могут быть также законодатели, различные группы населения, отдельные лица, персонал программ, чиновники и аналитические отчеты, предоставляемые правительственными органами.
Опыт проведения оценочных процедур позволяет выделить трудности применения оценочного анализа. Говоря о сложностях оценки государственных программ, выделяют 3 категории: 1) проблемы политического характера (или объективные труд-
ности в адекватной оценке условий, целей и результатов исследования) — 2) проблемы полезности (этот вопрос возникает в случае конкретных «точечных» исследований при доказательстве необходимости их проведения) — 3) проблемы средств измерения.
Важнейшей современной проблемой оценивания является внедрение параметрической диагностики, метода, построенного на сравнении оцениваемого объекта либо с идеальной моделью, либо с лучшими из имеющихся. Его потенциал позволяет анализировать глубину отклоняющегося состояния и его влияние на результативность функционирования объекта, а также обосновывать мероприятия по его совершенствованию.
Пространство оценивания объекта (программы) в управлении принципиально бесконечно, соответственно, показателей его оценки может быть достаточно много, что делает необходимым решение задачи ограничения объема требуемых (номенклатурных) переменных — задачи параметризации, которая заключается в определении состава величин (параметров), выступающих в качестве наблюдаемых характеристик индикаторов оценивания, а также в сочетании качественных и количественных методов и показателей.
Параметризация при оценивании понимается как конечное представление совокупности переменных факторов какого-либо процесса, явления или объекта, а также их измерение общей системой мер. Параметризация позволяет не только упорядочить информацию, но и выделить необходимое и достаточное ее содержание, требуемое для решения вопроса о внесении изменения в состояние (режим работы) оцениваемого объекта.
Современные оценочные процедуры в практике управления формируют более обширные требования, предъявляемые к диагностическому исследованию:
— рассматривать не просто единичность объекта оценивания, а его целостность-
— цель оценочной процедуры — получение информации, необходимой и достаточной для решения вопроса об изменении в состоянии (режиме работы) оцениваемого объекта, соответственно, избыточная информация вредна, ее нужно именно столько и она должна быть именно такой, чтобы позволять решить конкретную практическую задачу-
— процедура оценивания (технология диагностического исследования) должна быть простой и удобной-
— время, затрачиваемое на получение информации, рассматривается как важнейший оценочный параметр, а оперативность ее получения — как важнейшее требование-
— необходимо в явной или латентной форме иметь представление о норме, стандарте или правилах «здорового организма» (об эталоне) —
— отсутствие элемента творчества (диагностическая процедура стала повторяющейся, рутинизированной деятельностью) —
— оценочная процедура не требует высокого уровня квалификации, фантазии и особого таланта, но является обязательным требованием как сама по себе, так и в рамках соблюдения правил и алгоритма оценивания.
Параметрическую диагностику можно определить как совокупность методов и средств, преобразующих и корректирующих сферу практической деятельности, которая с помощью множества наблюдаемых величин и характеристик позволяет ко-
личественно и качественно описать внутреннее состояние оцениваемого объекта на основе выявления отклонения величин (параметров) от заданной нормы «здорового организма».
В заключение статьи приведем пример использования оценочных процедур в практике государственного управления США, сделав постатейный анализ одного из относительно новых документов Конгресса — Акта Додда-Франка (сентябрь, 2010).
Акт ''Dodd-Frank Wall Street Reform and Consumer Protection Act'' («Реформы Додда-Франка или Акт о защите прав потребителя») был призван, как в нем зафиксировано, «обеспечить финансовую стабильность США путем внедрения принципов прозрачности и открытости в финансовую систему», покончить с практикой, называемой контролированием крупных финансовых предприятий («мы слишком крупны, чтобы упасть»), «защитить интересы американских налогоплательщиков, а также оградить пользователей банковскими услугами от злоупотреблений». Документ состоит из 15 частей, его объем — 2500 страниц.
Отметим принципиальное отличие американского законодательства — регулирование деятельности в обществе осуществляется не через систему законов (метода прямого, директивного и обязательного для соблюдения воздействия), а через акты, что представляет существенное отличие. Прежде всего, Акты более объемны по содержанию. Они определяют систему направлений и путей социальных новаций. В них включаются и нормы законов (указания прямого директивного воздействия), и планирование, и описание организационных перемен. При этом они реализуют принципиально иную базовую форму управленческой коммуникации — координацию (а не приказ, распоряжение). Акты, обязательно включая в свой состав процедуру изучения предмета реформ и мониторинг социальных процессов, предусматривают корректировку направлений и способов воздействия по мере выявления изменений в объекте или предмете воздействия.
Перечислим основное содержание (по разделам) Акта Додда-Франка (табл. 1), выделяя зафиксированные в разделах направления по изучению регулируемых процессов, а также названные преобразования в системе обучения (образования).
Содержательный анализ разделов Акта показывает его насыщенность исследовательскими задачами, равно как и активное использование обществом (государством) полученных результатов. Обращает на себя внимание и обилие исследовательских направлений, актуализация в них социологического направления анализа (составление «социального портрета агентов финансовых сделок», диагностика социальных проблем и др.). Очевидно превращение оценочных процедур в постоянный, всеобъемлющий мониторинг социальных тенденций и событий. Более того, параллельно с исследовательскими процедурами меняется система образования населения: все делается для того, чтобы жители страны были готовы к восприятию новой управленческой информации. Данный Акт показывает роль социологов в современном обществе, обозначает широкое поле для их профессионального потенциала.
463
Название разделов Направления дополнительного изучения социальных процессов Изменения в системе организации исследовательских процессов
1 2 3
1. Финансовая стабильность. 1. Разработка системы финансовой отчетности для внебанковских финансовых корпораций. 1. Формирование Центра финансовых исследований.
2. Полномочия и новый порядок проведения банкротств финансовых компаний. 1. Изучение системы отношений внутри финансовых корпораций. 2. Системное изучение процедуры банкротства. 3. Формирование социального портрета типичного кредитора. 4. Изучение поля международных отношений в ракурсе банкротства.
3. Обозначение полномочий органов надзора за денежным обращением. 1. Организация Федеральной корпорации по ведению учета сделок в области страхования и депозитарного учета. 2. Организация переподготовки кадров в соответствии с новыми требованиями (вытекающими из Акта в целом).
4. Регулирование деятельности фондов. 1. Организация мониторинга за деятельностью фондов. 2. Мониторинг финансовых рисков: их классификация и оценка. 3. Мониторинг льгот частным финансовым компаниям. 4. Превентивное изучение целей, мотивов руководителей корпораций. 5. Регистрация и учет деятельности индивидуальных финансовых консультантов. 6. Проведение изучения деятельности аккредитованных инвесторов. 7. Изучение размеров комиссионных при разовых сделках «купли-продажи».
464
1 2 3
5. Страхование. 1. Мониторинг страховых сделок. 2. Мониторинг премий руководителям. 3. Классификация ошибок при страховании. 4. Изучение платежеспособности перестраховщиков. 1. Организация Национального Управления по страхованию и контролю за процессами, в нем происходящими.
6. Требования к регулированию деятельности ассоциаций держателей акций банков и депозитарных институтов. 1. Изучение инвестиционной деятельности банков. 2. Расширение оценочных параметров и ужесточение требований к отчетам банков.
7. Требования к прозрачности и подотчетности (в США). 1. Составление обзоров системы регулирующих органов. 2. Контроль за своп-операциями, регистрация своп-дилеров. 3. Изучение деривативного продукта. 1. Расширение сети журналов, публикующих отчетность о финансовой деятельности.
8. Взносы, отчеты и ход контроля (применительно к деятельности контролирующих организаций). 1. Организация мониторинга взносов, отчетов и хода работ контролирующих организаций. 1. Публикация отчетов об итогах мониторинга.
9. Защита инвесторов и усовершенствование механизма регулирования обращения ценных бумаг. 1. Изучение структуры работников финансового рынка. 2. Изучение уровня финансовой компетентности инвесторов. 3. Изучение механизма финансовой привлекательности ценных бумаг. 4. Изучение условий предоставления информации о брокерах и дилерах рынка ценных бумаг. 5. Выявление и информирование о «неправильных игроках». 6. Проведение макроэкономического исследования о последствиях финансовых рынков. 7 Составление отчета о национальных финансовых ассоциациях. 1. Улучшение работы национальных агентств по финансовой статистике. 2. Информирование о рейтингах финансовых организаций и институтов. 3. Выделение двух уровней изучения финансового рынка: государственная и независимая экспертиза. 4. Введение дополнительного (обязательного) лицензирования дилеров на финансовом рынке. 5. Введение бюро финансовой адвокатуры и финансовых омбудсменов. 6. Поддержка общественных саморегулируемых организаций типа «обиженных вкладчиков». 7. Поощрение внутрифирменного обучения операциям с ценными бумагами. 8. Введение системы обучения работы с ценными бумагами на уровне местного самоуправления. 9. Создание управления по регулированию рынка муниципальных ценных бумаг.
465
10. Создание «Бюро защиты прав пользователей финансовыми услугами». 1. Оценка экономической эффективности работы бюро. 1. Подготовка финансовых омбудсменов.
11. Совершенствование федеральной резервной системы. 1. Изучение методов функционирования ФРС в области кредитования. 1. Публикация отчетных документов.
12. Облегчение доступа населению к основным финансовым институтам. 1. Публикация рейтингов институтов- 2. Составление отчетов для Конгресса США.
13. Акт «Верни назад» (возврат к прежней ипотечной политике).
14. Залоговые реформы и противодействие антисоциальным ссудным законам. 1. Изучение практики «высоких залогов». 1. Развитие системы информации населения о сути залоговых сделок. 2. Проведение публичных разоблачений несправедливых залоговых сделок. 3. Лицензирование участников залоговых сделок.
15. Понятие «запаса» (как нового направления американской идеологии и как формы национального сырья). 1. Изучения сырьевого запаса. 1. Введение новых программ в школах и вузах по разумному поведению в области экологии и сырьевой бережливости.
1. Hellstern G. M. Generating Knowledge and Refining Experience: The Task of Evaluation // F. X. Kaufmann. The Public sector: challenge for Coordination and Learning. 1991.
2. Alkin M. C. Debates on Evaluation. London: Sage, 1990.
3. Argyris C. Reasoning, Learning and Action. Individual and Organizational. San Francisco: Jossey-Bass, 1982.
4. Berk R. A. & amp- Rossi P. E. Thinking about Program Evaluation. Newbury Park, CA: Sage, 1990.
5. Chelimsky E. A. A Symposium on the Use of Evaluations by Federal Agencies. 1978.
6. Chelimsky E. A. Program Evaluation: Patterns and Directions. Washington: American Society for Public Administration. 1985.
7. Cronbach L. J. and Associates. Toward reform of program evaluation: Aims, methods, and institutional arrangements. San Francisco: Jossey-Bass, 1980.
8. Etzioni A. The Active Society. A Theory of Social and Political Processes. 1968.
9. Glass G. V., McGraw and Smith M. L. Meta-Analysis in Social Research. 1981.
10. Guba E. G. & amp- Lincoln Y. S. Fourth Generation Evaluation. 1989.
11. House E. R. Philosophy of Evaluation. 1983.
12. Hunter J. E. & amp- Schmidt F. L. Methods of meta-analysis: Correcting error and bias in research findings. 1990.
13. Patton M. Q. Qualitative Evaluation and Research Methods. Newbury Park, CA: Sage Publications, 1990.
14. Rist R. C. Program Evaluation and the Management of Government. Patterns and Prospects across Eight Nations. Transaction Publishers, USA, 1990.
15. Weiss C. H. & amp- Bucuvala M. J. Social Science Research and Decision — Making. New York: Columbia University Press, 1980.
16. Государственное управление: Словарь-справочник: по материалам «International Encyclopedia of Public Policy and Administration» / под ред. Л. Т. Волчковой и др. СПб.: Петрополис, 2001. 630 с.
Статья поступила в редакцию 26 июня 2011 г.

Показать Свернуть
Заполнить форму текущей работой