ПРОБЛЕМА СТАНОВЛЕНИЯ

СИСТЕМЫ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

Вадим Аванесов

testolog@mail.ru

Аннотация

Название и содержание данной статьи находятся в заметном противоречии с реальной российской практикой создания систем контроля знаний. В официальных документах по созданию таких систем педагогические измерения не упоминаются.

Между тем, тестирование – наукоёмкая сфера общественно-профессиональной деятельности. В ней без развития культуры и теоретического фундамента педагогических измерений все практические системы контроля знаний обречены быть затратными, некачественными, нежизнеспособными и вредными для дела образования. Этот вывод подтверждается неудачным опытом внедрения в России двух практических систем централизованного тестирования (ЦТ) и единого государственного экзамена (ЕГЭ). Другая важная причина непригодности ЦТ и ЕГЭ – бюрократическое управление этими системами, их необеспеченность научными проектами и научно-общественной поддержкой.

Идея перехода от ЦТ и ЕГЭ к системе педагогических измерений, развиваемая в данной статье, возникла как результат исследования вопросов методологии и теории педагогических измерений, научного анализа существующей образовательной политики и практики.

Ключевые слова: система, педагогические измерения, оценка, экзамены, тест, тестирование, ЕГЭ.

Введение

Цель настоящей статьи – поставить и раскрыть проблему становления научной системы объективных педагогических измерений. В России эта система оказалась практически не существующей. Это произошло из-за укоренившейся практики подмены такой системы элементарными словесными или цифровыми оценками, централизованным тестированием, некачественным и затратным единым государственным экзаменом. Для полноценного становления российской системы педагогических измерений необходимо рассмотреть перечень ключевых вопросов: выставление оценок, возможности тестового метода, опыт ЦТ и ЕГЭ. Этот опыт был построен на ошибочной идее возможности объективной и качественной оценки испытуемых двух различных контингентов – выпускников школ и абитуриентов вузов - единым самобытным (в смысле - не известным мировой науке) набором заданий, так называемыми контрольно-измерительными материалами (КИМами).

Автор этой статьи ранее отмечал, что массовая аттестация выпускников школ – это, в основном, вопрос проверки усвоения базового образовательного минимума, а вопрос приёма в вузы – это совсем другая проблема - профессионального отбора, требующего качественных тестов с высокой различающей способностью, на интересующих интервалах континуума подготовленности. А потому единого (универсального) качественного и объективного метода для использования в системах оценки выпускников школ и отбора абитуриентов вузов различной профессиональной направленности нет. И быть не может. Содержание теста для отбора в вузы зависят от требований профессии к способностям испытуемых, а мера трудности теста, как системы заданий возрастающей трудности - от квоты приёма. Эти простые истины чиновники  понимать не хотят.

А потому в централизованном тестировании и в ЕГЭ настойчиво проводилась в жизнь политически привлекательная, но педагогически и метрически ошибочная линия на создание единого метода аттестации выпускников школ и приёма абитуриентов во все вузы. В едином государственном экзамене в роли такого универсального метода стали использоваться самобытные, т.н. контрольно-измерительные материалы, качество которых оказалось ниже всякой критики.

«Кто виноват?» и «Что делать?» – вот вопросы, на которые пришлось искать ответы при написании  настоящей статьи.

Три системы оценки знаний

На сегодняшний день сложились три основные системы оценивания уровня подготовленности учащихся и студентов. Слово "оценивание" здесь употреблено как аналог английского понятия "evaluation". При опоры на это понятие полезно иметь в виду два аспекта употребления: первый - в смысле полученного результата, словесной или цифровой оценки, и второй аспект – в смысле процесса формирования получаемой оценки. В науке понятие "оценка" имеет тоже два основных смысла - как суждение о ценности (или значимости) и как приблизительная характеристика некоторой величины.

Первая система оценивания знаний - это традиционная словесная градация меры успешности в обучении, а затем и пришедшая ей на замену более удобная пятибалльная числовая шкала. Обе используются практически неограниченно во всех образовательных учреждениях России. Пятибалльная шкала применяется для проведения текущего и итогового контроля, имеет своим главным преимуществом простоту и привычность. Это объясняет ее широкую и длительную, по времени, распространенность. Но пятибалльная градация и шкала имеют и недостаток - субъективность, большую зависимость от того, кто оценивает и кого оценивают.

Вторая система, апробированная в России – это централизованное тестирование (ЦТ). Там итоговая оценка возникала как результат процесса тестирования. Она была внешне похожа на западную систему объективного независимого тестирования, но только внешне. Потому что качество тестов, технология их разработки и степень научного обоснования до западного уровня общественно-профессионального тестирования  явно не дотягивали.  

Централизованное тестирование начиналось в России как кооперативная коммерческая деятельность. Коммерческим было, соответственно, и понимание этой деятельности. Самое интересное - ЦТ поначалу не было ни централизованным, ни тестированием, а лишь одной из форм платной массовой проверки знаний при МПГУ. Постепенно стало развиваться тестирование, обычные вопросы начали заменяться высказываниями, улучшились тестовые формы, стали применяться и публиковаться статистические методы анализа результатов, проводиться  конференции по научным вопросам тестирования, хотя правильнее их было называть научными вопросами педагогических измерений. Автор этой статьи в меру сил способствовал развитию ЦТ, особенно в кризисный период. Но помехи со стороны чиновников Министерства образования делали работу в ЦТ практически невозможной. В стране не было тестового процесса.

Тестовый процесс представляет единство теории педагогических измерений с практикой разработки и применения тестов. Существенное место в этом единстве занимают тестовые задания, хотя в новых образовательных технологиях ключевую роль начинают занимать задания в тестовой форме. Тестовый процесс является частью процесса педагогических измерений[1]. Существенные характеристики тестового процесса – направленность на развитие личности и общества, на улучшение образовательной деятельности, на гуманизм и культуру.

С окончательным утверждением ЕГЭ в качестве единого метода оценки уровня подготовленности выпускников школ и абитуриентов, работа центра тестирования в качестве самостоятельного субъекта деятельности была фактически свёрнута. Главной причиной произошедшего считаются политика расширения сферы применения  ЕГЭ и выступление бывшего директора ЦТ на радио «Свобода» с критикой этого государственного экзамена[2]. В результате центр тестирования превратился в технологическую службу ЕГЭ.

Третья система массового оценивания - единый государственный экзамен. Подлинные авторство схемы ЕГЭ точно не установлено. По одной версии ввести ЕГЭ предложило Министерство образования РФ[3], по другой – идея ЕГЭ прорабатывалась в центре стратегических исследований, по третьей – в администрации Президента, и оттуда попала в Правительство РФ. Эта маленькая тайна будет, возможно, раскрыта по истечении большого времени.

В распоряжении Правительства РФ 10 июля 2001 года №910-р объявлялось, что ЕГЭ вводится с целью обеспечения объективности и унификации итоговой аттестации и вступительных испытаний системы профессионального образования[4]. Идея объективности выглядела привлекательно, но в связке с ошибочной идеей об унификации метода сразу же теряла в доверии. Потому что такая унификация противоречила научным положениям теории педагогических измерений.

Документально удалось установить, что истоки ЕГЭ просматриваются в планах ввести дифференцированную плату за высшее образование. Это предполагалось осуществить посредством введения т.н. ГИФО[5]. Планом действий Правительства РФ на бывшее Министерство образования была возложена обязанность организовать в 2001-2003 годах эксперимент по переходу на т.н. нормативно-подушевое финансирование учреждений высшего профессионального образования. Это предполагалось сделать с использованием государственных именных финансовых обязательств (ГИФО)[6], на основе результатов вводимого для этой цели единого государственного экзамена.

Вузы и местная власть сразу осознали связь ГИФО с ЕГЭ  – чем выше оценки испытуемых по ЕГЭ, тем больше денег они получали из бюджета на образовательные нужды по ГИФО. А потому оценки испытуемых по ЕГЭ стали искусственно завышаться. Это сравнительно легко позволяла делать третья, запредельно трудная  часть ЕГЭ. За полное или частичное выполнение этой части давались повышенные баллы, сама эта часть ЕГЭ оценивалась субъективно, и на местах. Однако в Министерстве финансов РФ быстро разобрались в этом дефекте ЕГЭ и отказались выделять неожиданно возникшие дополнительные суммы. В результате ГИФО рухнули. Это случилось, надо подчеркнуть из-за фактически установленного дефекта ЕГЭ, породившего повсеместную тенденцию чрезмерного завышения оценок. Таким образом, план правительства по ГИФО оказался проваленным по причине  некачественного ЕГЭ. Но сам ЕГЭ остался живым и невредимым.

Вместо гласного анализа причин провала «эсперимента»  по ЕГЭ-ГИФО правительство РФ пошло по противоположному пути. Все результаты были засекречены, а дорогостоящую «игру» в ЕГЭ решили продолжить, вероятно, в надежде довести это дело до ума, и затем с новой энергией взяться за незаконное внедрение ГИФО. 

Этот экзамен определённо не тест, и не тестирование, как это поначалу преподносилось педагогическому обществу[7]. Но это и не экзамен в обычном понимании этого слова. В ЕГЭ применяются т.н. контрольно-измерительные материалы неизвестного, скорее всего, плохого, а потому и засекреченного качества. В первой и второй части КИМов используются внешне тестоподобные задания эмпирически неподтверждённого качества, а в третьей части, как уже упоминалось,  содержатся задачи запредельной трудности, за поэтапное выполнение которых выставляются повышенные баллы.

По данным автора этой статьи, по многим территориям РФ эти баллы коррелируют отрицательно с баллами по первой и второй части. Интерпретировать этот факт можно по-всякому. Но очевидно, что при такой структуре метода оценивания складывать баллы первых двух частей с баллами третьей части КИМов не разумно. Сумма баллов испытуемых при таком сложении становится показателем худшим, чем средняя температура по больнице.

В ЕГЭ была поставлена политически привлекательная обеспечения равного доступа к качественному высшему образованию, но метрически ошибочная задача - создать один универсальный набор вопросов и задач (т.н. КИМ), пригодный для справедливого государственного отбора абитуриентов на все специальности, всех вузов, и, кроме того, для аттестации всех выпускников всех школ. Министерство образования и науки знает об этой ошибке, но её устранением заниматься не хочет или не может, поскольку это граничило бы с невыполнением политической линии и воли вышестоящего руководства. Политическая сторона привлекательности идеи ЕГЭ была особенно востребована в период усиления социального неравенства в России. Это сторона ЕГЭ объясняет упорство и методы деятельности Правительства РФ по силовому продавливанию многолетнего «эксперимента» по ЕГЭ.

Результат: практика проведения в России единого государственного экзамена и государственной аккредитации вузов дала начало росту нового витка коррупции в сфере образования. В итоге Россия оказалась отброшенной уже на 143 месте по уровню некоррупционности[8]. По данным ООН, в России ежегодная общая сумма взяток за поступление в ВУЗы составляет 520 миллионов долларов[9].

ОСОКО

Сейчас уже можно говорить ещё об одной, четвёртой системе оценивания, которая пока не внедрена, но уже обсуждается на различных совещаниях руководящего звена.  Совещание - это удобная аудитория для начала бюрократических реформ. Общероссийская система оценки качества образования (ОСОКО) мыслится её создателями как не имеющая аналогов в мире. Фактически система ОСОКО призвана установить не только полный контроль уровня подготовленности  всех учащихся и студентов, но и тотальный чиновно-административный контроль деятельности всех образовательных учреждений России, во всех краях, областях, и даже в автономных республиках, чего делать не следовало бы.  

Полезно напомнить, что Конституция США не позволяет Федеральным властям контролировать качество образования в отдельных штатах. Это прерогатива правительства штатов. Для многонационального государства такой порядок был бы особенно важным для обеспечения его политической стабильности. Однако в Российской Федерации проводится в жизнь политика противоположного толка. Что неизбежно чревато неприятными последствиями.  

«Предлагаемая нами схема такова – сообщает А.А.Фурсенко[10] относительно ОСОКО:

- для всех выпускников школ обязательна сдача ЕГЭ по установленным предметам, один из которых, безусловно, русский язык;

- экзамены по другим предметам могут сдаваться в форме ЕГЭ или традиционно;

- для поступления в вуз необходима сдача ЕГЭ по тем предметам, по которым установлены вступительные испытания в выбранный выпускником вуз. А.А.Фурсенко добавил, что в перспективе целесообразно, в рамках развития общероссийской системы оценки качества образования, вести также разработку и апробацию независимых и объективных процедур оценки образовательных достижений учащихся по завершении обучения на ступенях начального и основного общего образования (после 4-го и 9-го кл.)»[11].

Эти слова министра можно понимать так: сейчас основным методом опять будет ЕГЭ, а в перспективе целесообразно разрабатывать другие, независимые методы, но обязательно в рамках новой тотальной государственной системы ОСОКО. Тогда возникает вопрос: - какие методы и независимые от кого собирается ввести министерство образования и науки в перспективе? Ответа  нет.  

Любопытны упоминания об «объективных процедурах оценки». В русском языке понятие «процедура» ассоциируется с оформлением какого–либо дела, или с лечебным мероприятием[12]. Оценивание – это отображение уровня развития свойства личности числами. И это процесс, который бывает объективным только тогда, когда оценки испытуемых не зависят от набора заданий теста, а оценки параметров заданий не зависят от уровня подготовленности испытуемых[13].

Достижение такого рода идеала научной объективности возможно только в хорошо организованном тестовом процессе. Зная реальное отношение министерства к независимому тестированию, легко понять, что массовый процесс объективных педагогических измерений в Россию придёт не скоро.

Круговорот понятий

Культурное исследование проблем педагогических измерений немыслимо без создания системы научных понятий. Потому что любое измерение в общественных науках начинается с концептуализации, с поиска признаков, образующих то или иное понятие, попадающего в фокус измерения. На русском языке системы научных понятий педагогических измерений сейчас нет, хотя отдельные попытки её создания уже предпринимались, в том числе и автором этой статьи[14]. Здесь предстоит серьёзная расчистка понятийного поля, сильно засорённого плохими переводами английской лексики случайными лицами, «забегающими», время от времени, в эту специфическую область знаний.

Анализ использованных во всех трёх системах понятий показывает удивительный результат. Если в них отставить в сторону все поясняющие определения, в таких словосочетаниях, как «пятибалльная оценка», «централизованное тестирование», «единый государственный экзамен» и система оценки качества образования», то останутся ключевые слова: оценка, тестирование, экзамен и ещё раз оценка. Используемое два раза ключевое слово оценка, в начале и в конце, указывает на возникший своего рода понятийный круг.

Оппоненты могут возразить, что нельзя отрывать ключевые понятия от определяющих их слов. Давайте на минуту согласимся с ними, объединим понятия и определяющие слова, упорядочим и сопроводим их кратким комментарием. Может получиться примерно такой текст: в России на смену ранее существовавшей субъективной пятибалльной оценке пришло объективированное централизованное тестирование. Затем тестирование, как более прогрессивный метод педагогических измерений, министерские работники заменили баллами псевдонаучного единого государственного экзамена, неизвестного качества. Теперь на смену некачественным оценкам ЕГЭ может придти ещё более некачественная оценка в общероссийской системе оценки качества образования. Такой вот получается  круговорот понятий.

Пятибалльная шкала оценивания

В середине тридцатых годов XIX века была осознана неадекватность системы оценки знаний задачам, поставленным перед советской школой. В Постановлении Совета Народных Комиссаров и ЦК ВКП(б) от 3 сентября 1935 г. утверждалось, что установленная Наркомпроссами система оценки успеваемости не дает представления о фактических знаниях учащихся и ведет, на практике, к понижению уровня учебы. А потому учебному отделу ЦК ВКП(б) поручалось "разработать, обязательно для всех школ СССР, нормы оценки успеваемости учащихся, с тем, чтобы один и тот же уровень знаний одинаково оценивался во всех школах".

Ввиду неспособности учебного отдела ЦК партии решить эту методологическую задачу, поручение так и осталось невыполненным. Не решили её и все последующие поколения руководящих деятелей союзного, а позже и российского образования. На этом, собственно, партийные опыты по улучшению качества оценивания учащихся закончились. Если не считать введения цифровой пятибалльной оценки, или иначе, цифровых отметок, как числовых эквивалентов оценок качества подготовленности учащихся.

Цифровая пятибалльная оценка была введена в советскую школу в качестве начальной меры улучшения дел. Это было сделано Постановлением Совета Народных Комиссаров РСФСР от 10 января 1944 года. Постановление было принято, как там писалось, "в целях более четкой и точной оценки успеваемости" и замены "словесной системы" оценки успеваемости - отлично, хорошо, посредственно, плохо и очень плохо – соответствующей цифровой пятибалльной системой 5, 4, 3, 2 и 1. Интересна деталь – постановлением предписывалось ввести цифровую пятибалльную систему отметок немедленно, со следующего дня - 11 января 1944 г. - от момента публикации.

В других странах сложилась традиция отмечать единицей отличные знания, а пятеркой – очень плохие. Из этого видно, что одинаковым оценкам можно ставить в соответствие различные цифры-отметки. Интересны суждения об отметках известного педагога Ш. А. Амонашвили: "в отметках мало педагогики, ... в них больше власти. Отметки - это костыли хромой педагогики"[15].

Основной недостаток пятибалльной шкалы оценок касается ее слабой дифференцирующей способности. Она позволяет провести грубую классификацию студентов только на четыре группы - отличников и тех, кто учится хорошо, удовлетворительно и неудовлетворительно. Более тонкое различение, особенно нужное на приемных и выпускных экзаменах, в экспериментальной работе и для целей эффективного управления качеством обучения, пятибалльная шкала не даёт, и дать не может. Отсюда понятна актуальность вопроса совершенствования педагогических оценок на основе измерений.

Пятибалльная шкала оставляет мало простора для вариации оценок по их значениям. Последнее обстоятельство затрудняет внедрение статистических методов обоснования преимущества новых подходов в обучении и воспитании, препятствует качественной проверке учебников, учебных пособий, а также экспериментальной проверке эффективности организационных и воспитательных мероприятий.

Для выставления итоговых оценок по пятибалльной шкале применялась, и всё ещё продолжает применяться в России, экзаменационная форма проверки знаний. Проведение экзаменов имеет длительную историю, превышающую четыре тысячи лет[16]. Труды по истории экзаменов представлены у ряда авторов[17].

Экзамен – это традиционная и нетехнологичная форма педагогического контроля уровня подготовленности, в процессе которой делаются попытки оценить у испытуемого, в основном, знания, умения и навыки. Сейчас вместо этой триады пытаются оценить компетенции. Экзамен характеризуется высокими затратами времени, субъективизмом, нетехнологичностью. В массовых процессах экзамены стараются не применять по причине их экономической неэффективности. Экзамены обычно содержат вопросы и задачи. Там тестов не бывает. Тестирование и экзамен - это сильно различающиеся методы оценки подготовленности.  Это уже пора понять всем.

Экзамены применяются в России, в программах международного исследования PISA, на Тайване и в других стран Юго-Восточной Азии. Преимущества этого метода - возможность оценить речевые способности учащихся, провести углубленную проверку знаний по избранным темам, в небольших учебных группах. В условиях малых групп лучше обеспечивается связь между содержанием обучения и содержанием экзамена. Но для массового процесса измерения уровня подготовленности экзамены не годятся, ввиду их повышенной трудоёмкости, субъективности, нетехнологичности и дороговизны.

При использовании экзаменов для приёма в вуз они сами нередко становятся инструментом коррупции. Это вторая причина, по которой экзамены принципиально не применяются в странах, имеющих развитые системы образования.

Третьим недостатком экзамена является несравнимость оценок, полученных студентами разных институтов, по одной и той же дисциплине, и отсюда - принципиальная невозможность корректно установить - в каком вузе процесс обучения поставлен лучше? Ответ на этот вопрос можно дать только в случае использования стандартной тестовой программы с применением технических средств контроля. Поэтому с управленческой точки зрения полезность тестовых оценок заметно выше экзаменационных.

Можно вывести, что в наше время эффективное измерение подготовленности больших масс испытуемых посредством экзаменов экономически неэффективно. Этот вывод относится и к единому государственному экзамену, представляющему эклектическую смесь тестоподобных заданий и конкурсных, запредельно трудных задач. Для получения качественных педагогических измерений использовать ЕГЭ нельзя.

Тестирование

Самым распространённым в мире массовым методом технологичной оценки знаний и является тестирование. Оно применяется в США, странах Латинской Америки, Европы, Казахстане, Азии и в странах Юго-Восточной Азии. По сравнению с научно-обоснованными тестами, все другие методы оценки знаний оказываются менее эффективными, менее точными, более субъективными и более подверженными коррупции. Не случайно президенты Казахстана и Украины, по примеру большинства государств с развитой высшей школой, не разрешают в своих странах использование иных методов массового контроля знаний, кроме тестов.

Необходимо отметить, что не всякий тест лучше экзамена, а только тот, который разрабатывается и применяется на основе теории обучения и теории педагогических измерений. Тест лучше применять при массовой проверке знаний по той или иной учебной дисциплине у школьников, абитуриентов, на отдельных студенческих потоках, факультетах. С целью повышения эффективности таких масштабных проверок рекомендуется использование технических средств контроля и использование ЭВМ, что позволяет в короткий срок собрать информацию, обработать ее и выдать результаты.

Тестовый метод имеет и некоторые отрицательные последствия с точки зрения цели и содержания учебного процесса. Если целью является сдать учебный предмет, то учащиеся обычно учат только тот материал, который включён в итоговый тест. А это содержание примерно тридцати заданий, с параллельными вариантами. Тестирование имеет также социально-психологические издержки, особенно в случаях, если тестовая оценка становится решающей для формирования жизненной и профессиональной траектории развития молодёжи[18].

Централизованное тестирование

В последние двадцать лет для контроля знаний стали использоваться компьютеры, сканеры, программирование, автоматизация, образовательные и тестовые технологии. Всё это получило широкое распространение на Западе, и с неизбежностью должно было каким-то образом внедриться в России. Формой внедрения оказалось централизованное тестирование (ЦТ).

Централизованное тестирование определялось тогда как добровольный, платный процесс оценки уровня достижений выпускников школ[19]. По итогам такого тестирования испытуемым выдавался сертификат. В сертификате указывалось количество баллов, полученных испытуемым по каждому предмету. Результаты тестирования засчитывались многими школами в качестве выпускных экзаменов в школах и ВУЗами в качестве результатов вступительных испытаний. В некоторых вузах сертификаты Централизованного тестирования принимались во внимание при поступлении только на платную форму.

В приказах бывшего Министерства образования утверждалось, что создан Всероссийский Центр тестирования, имеющий свои региональные представительства и выдающий, за плату, государственные сертификаты поступающим в вузы. Слово «государственный» из приказов затем исчезло, а «негосударственный» так и не появилось, что создавало впечатление неопределенности фактического статуса центра тестирования.

Попытка определения ЦТ как образовательной услуги порождала цепочку вопросов. Первый из них - юридический статус ЦТ. На конференции 1999 года автор этой статьи отметил спорный статус ЦТ: оно продолжало оставаться ни государственным, ни частным[20]. Буквально на следующий день после выступления центр тестирования был объявлен, прямо на конференции, государственным учреждением, в соответствии с только что подписанным приказом. Вместе с тем, приказами Минобразования государственное ЦТ продолжало выдавать 10% своих «государственных» сертификатов частной фирме "Телетестинг". На вопросы - почему 10%, и на какой юридической, лицензионной, методической, договорной или финансово-компенсационной основе это делалось - ответов не было.

Важный вопрос – качество тестов. Оно не соответствовало требованиям, предъявляемым к тесту как системе заданий равномерно возрастающей трудности, позволяющей оценить структуру и качественно измерить уровень подготовленности испытуемых. Настоящий тест эффективно применим в массовых процессах, ввиду кратковременности и экономической эффективности. Хорошо, если время педагогического тестирования не превышает сорок минут. Проверять знания детей в течение четырёх часов единым государственным экзаменом и называть всё это ещё и тестом может только непонимающий человек.

Если рассматривать ЦТ как деятельность государственного органа по отбору абитуриентов в вузы, то данное истолкование входит в противоречие с Конвенцией по борьбе с дискриминацией в области образования (Париж, 14 декабря 1960 г.). В соответствии с этой Конвенцией Россия обязана не воздвигать барьеры перед своими гражданами на пути получения образования, не закрывать никому доступ к образованию любой ступени или типа; не ограничивать образование какого-либо лица…

Низкое качество тестов – главная нерешённая проблема в работе центров тестирования в России и других странах бывшего СССР. Основные причины производства и применения некачественных тестов – монополизация тестовой деятельности группой лиц под эгидой министерств, финансовая непрозрачность, закрытость от общественного контроля, засекречивание информации о качестве применяемых тестов, отсутствие мотивов и возможности приглашения учёных работать в центрах тестирования. Между тем, в любом центре тестирования засекреченными могут быть только вновь готовящиеся тесты и коды ответов к ним.  В Казахстане уже принят закон, возлагающий ответственность за разглашение кодов ответов.

В период работы автор этой статьи в центре тестирования, чиновники российского министерства образования требовали дать им все готовящиеся тесты под предлогом рецензирования. Возражения о недопустимости анонимного рецензирования и подмены, таким образом, полноценной экспертизы независимыми экспертами, в самом центре тестирования, чиновники бывшего министерства образования воспринимать не желали.

Не случайно в большинстве центров тестирования стран СНГ в условиях бюрократического управления практическим тестированием учёным-педагогам места не оказалось. В службе ETS в США и в Европе это не так. Там есть ученые, но это исключение, подтверждающее общее удручающее состояние практического тестирования в странах СНГ.

Хорошо подготовленный и этично применяемый тест исключает возможности возникновения коррупции. Этими, а также двумя другими критериями - объективности и справедливости - объясняется широкое применение тестов в развитых странах, имеющих, одновременно, самые низкие уровни коррупции.

ЕГЭ & КИМы

Система ЦТ продержалась до 2007 года. После чего её заменила система единого государственного экзамена. В теории педагогических измерений утверждается: качество измерения тем выше, чем лучше уровень подготовленности испытуемого соответствует уровню трудности заданий. Объективность педагогических измерений возникает как следствие интеграции методов обоснования надежности и валидности тестовых результатов. Поскольку в ЕГЭ нет ни тестов, ни других методов педагогических измерений, то объективность там должна была появиться, вероятно, из воздуха или из благих пожеланий работников бывшего министерства образования.

Своеобразную «научную» основу для утверждения в России ЕГЭ дала Н.Г. Ковалева своей критикой тестов. В статье “Не впереди планеты всей” было написано: “…не следует забывать, что от “чистого тестирования”, т.е. тестов, в которые включены только задания с выбором ответа, отказываются все страны мира. И очень жаль, что Республиканский Центр тестирования и другие используют только традиционную форму контроля, навязывая стране старые методики. Причем в свои тесты они включают, как правило, задания на проверку знаний фактологического характера или расчетные задачи»[21].

Выходило, что созданные ею КИМы ЕГЭ – это новые методики, которые двинут страну и мир вперёд. Что из этого получилось, мы уже знаем. Был придуман экзамен, в котором первая и вторую часть представляли задания с устаревшей тестовой формой. К этому добавили конкурсные задачи запредельного уровня трудности для третьей части. Получился многоцелевой, невиданный в мире, гибрид трёх форм – тестовой, вопросной и задачной. КИМы можно понимать как метафорическое название самобытного метода, придуманного в бывшем Министерстве образования для проведения ЕГЭ. Мировой Банк выделил большие деньги, а потому в этом Министерстве начали искать способ «творческого» их освоения.

Поначалу странный гибрид дал повод руководителям бывшего Министерства образования утверждать об оригинальности избранного ими пути. После жестокой критики слова такого рода затихли, а информация о качестве гибридных материалов оказалось засекреченной. Она и теперь является теперь главной тайной Министерства образования и науки. Однако по имеющимся фрагментарным данным, качество «материалов» ниже всякой критики. И в этом вопросе эксперты единодушны. Правительство РФ много лет терпеливо тратило народные деньги в надежде на чудесное превращение КИМов в научно-обоснованный метод. Но чуда не будет.

Возможно, что именно этим объясняется многолетнее отсутствие внятных научных публикаций о качестве КИМов. В появляющихся "отчётах" пишется о количестве опрошенных, выставленных пятибалльных оценках, о количестве двоечников по каждому предмету и т.п. Но качественного научного анализа заданий (их параллельных вариантов, если таковые есть), а также КИМов  в целом в опубликованных отчётах нет.

И самая главная тайна - это недопустимо высокая  погрешность измерения, общая и дифференцированная. Потому что главный метрический недостаток КИМов – это попытка оценить уровень подготовленности ординарных выпускников школ, и одновременно, уровень подготовленности абитуриентов престижных вузов одним и тем же набором вопросов и задач. Теоретически ясно, что точность измерения одним и тем же КИМом уровня подготовленности столь различных контингентов может быть только низкой.

С принятием новой версии закона «Об Образовании» этот недостаток закреплён теперь законодательно. Там сейчас написано: «Единый государственный экзамен представляет собой форму объективной оценки качества подготовки лиц, освоивших образовательные программы среднего (полного) общего образования, с использованием заданий стандартизированной формы (контрольных измерительных материалов), выполнение которых позволяет установить уровень освоения ими федерального компонента государственного образовательного стандарта среднего (полного) общего образования[22]».

Но объективность метода порождается не ошибочным законом, а объективными свойствами метода. Объективность метода КИМов-ЕГЭ может быть удостоверена только вследствие открытого анализа матриц реальных результатов, достижения уже упомянутой независимости параметров испытуемых от параметров заданий, опоры на научные критерии надёжности и валидности результатов. А как раз этого в ЕГЭ как не было, так и нет!

А потому упомянутый фрагмент Закона РФ об «объективности» метода ЕГЭ представляет собой казус, который на века войдёт в мировую юридическую науку как несомненное свидетельство избыточного вторжения государства в научно-методическую деятельность по оцениванию личности.

С выбором ЕГЭ прежнее российское правительство допустило в 2000 году стратегическую управленческую ошибку, но критику в свой адрес слушать тогда не захотело. Теперь эта ошибка закономерно дополнена другой ошибкой. В п.27 постановления Правительства РФ №71 от 14 февраля 2008г. написано, что приём в государственные и муниципальные вузы по программам бакалавриата и подготовки специалистов будет теперь осуществляться на конкурсной основе по результатам единого государственного экзамена (ЕГЭ).

Одно из следствий этого постановления - отказ в приёме в вуз тех лиц, кто закончил школу в прошлые годы и не имеет сертификат ЕГЭ. Таковых может набраться по стране порядка трёх сотен тысяч человек. Фактически эти граждане теперь принуждаются сдавать ЕГЭ, к которому надо готовиться заново. А это не справедливо. Другие возможные следствия постановления Правительства № 71 - это вероятность возникновения судебных расследований низкого качества баллов ЕГЭ, по которым государство принимает решения относительно судеб каждой личности.

С переходом школы на новые государственные образовательные стандарты сложилась ещё одна несправедливая ситуация. Детей по всей стране обучают теперь на двух разных уровнях – базовом и профильном, а проверяют итоговые знания одним и тем же ЕГЭ. Такой подход к организации образования не обеспечивает справедливость и равные права на доступ к качественному высшему образованию. Ясно, что на разный уровень обучения не может распространяться ошибочное требование сдавать всем единый госэкзамен.

Ещё хуже обстоит дело с теми, кто в силу недостаточной обученности не собирается поступать в вуз вообще. Их, однако, теперь заставляют проходить тот же единый госэкзамен, в обязательном порядке, как заставляют тех, кто собирается в вузы. А это несправедливо, некачественно и неэкономично.

И уже совсем плохо обстоит дело с больными детьми, которые ходят кое-как на учёбу, но не в состоянии выдержать, например, четырёхчасовое испытание единым госэкзаменом. Медкомиссии их не освобождают от ЕГЭ. А это тоже несправедливо.

Не случайно проведение ЕГЭ сопровождается ежегодными расследованиями массовых завышений результатов и множества ухищрений, допускаемых испытуемыми, членами комиссий и организаторами проведения ЕГЭ. Результаты ЕГЭ фабрикуются в массовом порядке и систематически, особенно на некоторых территориях[23]. Ещё одно неприятно следствие данного постановления - это возможная последующая отмена аттестатов зрелости, что находится в непримиримом противоречии с российскими традициями образования. 

Автор этой статьи уже называл ряд причин, почему ЕГЭ опасен для страны, а потому сделал предположение о том, что в таком асоциальном и ненаучном виде единый государственный экзамен вряд ли доживёт до 2009 года[24]. Полезно их повторить:

- разгул коррупции вокруг ЕГЭ;

- превращение ЕГЭ в средство обогащения чиновников и бизнесменов за счёт бюджета, абитуриентов и их родителей;

- безразмерная погрешность оценок ЕГЭ.

- отмена аттестатов зрелости.

- редукция учебной работы по всем учебным дисциплинам только к проверяемому содержанию ЕГЭ. Далее можно говорить о потери учащимися способности писать, читать, развивать речь и мышление в случае, если ЕГЭ станет, как предусмотрено законом, основным методом итоговой аттестации.

Недопустимая метрическая погрешность ЕГЭ исключает принятие каких-либо осмысленных управленческих решений на основе ЕГЭ. И по сей день министерство образования и науки не решается обнародовать рейтинг областей, краёв и территорий по качеству образования, на основе имеющихся данных по каждой учебной дисциплине, проверяемой посредством  ЕГЭ.

Более семи лет автор этой статьи писал о некачественности и нелегитимности ЕГЭ[25]. К вопросу о нелегитимности, наконец, прислушались, но по-прежнему не хотят слушать о негодном качестве КИМов. В итоге Госдума узаконила этот экзамен как ключевой метод реформирования образования. Но теперь двоечники  и их  родители могут пытаться опротестовать в судах свои баллы, потому что погрешность оценивания в ЕГЭ невообразимо высокая из-за его ошибочной конструкции.  Они имеют шансы на выигрыш, особенно в инстанциях самого высокого уровня. Вследствие принятого закона граждане и государство попадают в опасный для страны капкан некачественных результатов. Эту поправку к Закону об образовании целесообразно отменить как можно скорее.

Не случайно ЕГЭ отвергается большинством населения страны. Согласно опросу Всероссийского центра изучения общественного мнения в 2007 году популярность ЕГЭ среди россиян резко снизилась. Если в июне 2006 г. 31% респондентов предпочли бы, чтобы их дети или внуки сдавали выпускные экзамены в виде ЕГЭ, то в июне 2007 г. - только 22%. Уменьшилась доля тех, кто видит в ЕГЭ те или иные положительные стороны[26].

Первым среди высших руководителей страны ошибочность ЕГЭ признал Председатель Совета Федерации С.М.Миронов[27]. Не случайным оказался и первый успех только недавно созданной им партии. Использование лозунгов против насильственного внедрения ЕГЭ и прочих некачественных реформ становится политическим ресурсом и КПРФ.

К концу второго Президентского срока правления недостатки ЕГЭ стал признавать теперь и В.В.Путин. Вот цитата: «Что касается ЕГЭ – заявил В.В.Путин недавно на большой пресс-конференции в Кремле, - то здесь есть минусы, мы об этом уже несколько лет говорим, но есть и плюсы, которые заключаются в борьбе с той же самой коррупцией. И количество молодых людей, которые поступают в лучшие вузы страны за счет сдачи ЕГЭ, кратно увеличилось»[28]. При этом он добавил, что понимает озабоченности руководителей ведущих вузов страны, которые говорят о том, что этим вузам должно быть предоставлено право индивидуального выбора среди абитуриентов. На мой взгляд, решение этого вопроса может быть найдено, и мы находимся в диалоге с преподавательским корпусом и будем дальше совершенствовать эту систему - заверил В.В. Путин[29].

Судя по тексту выступления, В.В.Путин ещё верит, что ЕГЭ обеспечивает равный доступ граждан к качественному образованию и помогает борьбе с коррупцией. Но разве случайно, что именно за годы проведения ЕГЭ Россия стала превращаться в страну запредельного социального неравенства и ускоренного роста коррупции? На фоне общего роста коррупции и социального неравенства в стране ЕГЭ не в состоянии обеспечить равенство во взятой отдельно сфере образования. Помимо экономического неравенства граждан, одна из причин - негодное качество ЕГЭ.

Очевидно, что здесь проявляют себя системные проблемы соотношения власти и образовательной деятельности в стране, а потому новому составу Правительства РФ придётся искать и соответствующие системные методы их решения. Уже сейчас ЕГЭ превратился в форму насилия государства над детьми, особенно больными, и их родителями. Пусть кто-нибудь объяснит – ради чего это делается?

На должности Председателя Правительства РФ В.В.Путину придётся, по-видимому, заниматься и ЕГЭ. Для правильного решения этой болевой общественной проблемы можно посоветовать, прежде всего, провести независимую экспертизу всего комплекса проблем, затрагиваемых ЕГЭ, а также провести экспертизу качества полученных результатов. И только потом принимать решение.

ЦТ было лучше ЕГЭ[30]

ЦТ можно определить как форму деятельности государственного органа по эффективной и технологической оценке подготовленности выпускников школ и абитуриентов вузов. В других странах тестированием занимается не государство, а независимые общественно-профессиональные корпорации типа ETS[31].

Несколько лет технологию ЦТ пытались приспособить к нетехнологичному ЕГЭ. Но сравните: для тестов обязательны публикация меры надежности и валидности результатов, научно-теоретическая обоснованность, требования логики и тестовой формы[32], публикация отчетов о подлинных данных, открытый научный анализ каждого задания и его параллельных вариантов, детальные отчеты о доходах и расходах, выполнение кодекса тестологов[33]. В ЕГЭ ничего из перечисленного нет. Да и можно ли сравнить, по научному потенциалу, известные теории педагогических измерений с псевдонаучным  ЕГЭведением?

ЦТ лучше ЕГЭ также в финансовом и в правовом отношениях. ЦТ прибыльно, ЕГЭ затратное. ЦТ добровольно, ЕГЭ принудительно.  ЕГЭ нарушает автономию вузов, установленную Законом. «Государству следует всегда помнить, – писал В.Гумбольдт, - что оно не может и не должно подменять университеты в их деятельности; каждый раз вмешиваясь, оно создаёт препятствия».  

Утверждают, что ЕГЭ улучшит образование в школе. Но вот мнение разработчика первого поколения государственных образовательных стандартов В.Фирсова: никаких проблем школы ЕГЭ не решит[34]. Утверждают также, что ЕГЭ улучшит высшее образование. На самом деле, все наоборот: введение ЕГЭ в его нынешнем системно-конфликтном варианте разорвёт устоявшиеся комплексы «школы-вузы», подорвет и без того ухудшающееся качество образования.

Считается также, что ЕГЭ переборет коррупцию. И это в условиях многолетней блокировки Закона о борьбе с коррупцией? Много говорят и о противниках ЕГЭ. Это главным образом, дети и их родители. Это миллионы граждан, и разве допустимо рассматривать их как противников ошибочной схемы. Всё обстоит наоборот. Главный противник ЕГЭ - это он сам, с присущей ему совокупностью признаков:

1) фактическая нелегитимность и коммерциализации образования посредством связки  ЕГЭ-ГИФО;

2) отсутствие гипотез и системы критериев успешности (не успешности);

3) принудительная тотальность, стремление оценить одним «КИМом» всех выпускников и абитуриентов различных вузов и специальностей;

4) нетехнологичность; субъективность на всех этапах оценивания;

5) системная конфронтация с традициями российского образования;  

6) фактическая засекреченность (недоступность) реальных результатов, что сделано вопреки Закону.

Не случайно ЕГЭ отвергается большинством населения страны. Согласно опросу Всероссийского центра изучения общественного мнения в 2007 году популярность ЕГЭ среди россиян резко снизилась. Если в июне 2006 г. 31% респондентов предпочли бы, чтобы их дети или внуки сдавали выпускные экзамены в виде ЕГЭ, то в июне 2007 г. - только 22%. Уменьшилась доля тех, кто видит в ЕГЭ те или иные положительные стороны.

Переход от ЦТ к ЕГЭ – это отступление из прошлого века в позапрошлый век.

Тесты или ЕГЭ?

В России в качества средства достижения обеих целей был выбран метод, предложенный бывшим министерством образования - единый государственный экзамен (ЕГЭ). Выбор обеспечивался целенаправленной подменой понятия тест понятием «экзамен».  В этом можно убедиться, прочитав только один фрагмент текста, поясняющего -  почему в России вместо тестов надо использовать «механизмы» экзамена.

Цитата: «Особое значение при создании национальной системы экзаменов имеет разработка требований к обеспечению качества при организации и проведении экзаменов, разработке контрольных измерительных материалов, на этапе обработки и шкалирования результатов и их использования, а также создание механизмов обеспечения качества системы. В США идет активная разработка механизмов обеспечения качества экзаменов. С этой целью разрабатываются и внедряются стандарты по различным аспектам тестирования. Наиболее признанными считаются «Стандарты для педагогического и психологического тестирования» (Standards for Educational and Psychological Testing), принятые совместно тремя организациями: Американской Ассоциацией исследователей в области образования (American Educational Research Association), Американской Ассоциацией Психологов (American Psychological Association) и Национальным комитетом по Измерениям в Образовании (National Council on Measurement in Education), а также «Стандарты качества и справедливости ETS», разработанные специалистами Службы образовательного тестирования США (ETS)[35].

Получается так: в США – тестирование, но оно является «механизмом экзамена». В результате такой словесной эквилибристики и абракадабры вместо качественного тестирования в России уже восьмой год проводится некачественный и дорогостоящий единый государственный экзамен. Сколько теперь может ещё продолжаться этот «экзамен-механизм» - зависит теперь только от решений новой власти.

Президент Казахстана Н.Назарбаев поставил очень привлекательную задачу вхождения его страны в число 50-ти самых развитых стран мира. Многое сделано для выполнения этой задачи исторической значимости, но тормозят отстающие образовательная система и здравоохранение. В стране создано и функционирует Единое Национальное Тестирование (ЕНТ), способное выдать итоговые результаты в день проведения тестирования, причём по 3 - 5 коротким тестам сразу. Все зарубежные консультанты, в числе которых на протяжении многих лет и неоднократно выступал и автор этих строк, советовали там применять исключительно тестовый метод. В результате Н.Назарбаев утвердил тесты как метод массовой оценки знаний.

Успеху ЕНТ способствуют, в частности, приобретение высокоскоростных оптосканов, разработанных в ETS - тестовой службе США. У казахстанских коллег, как и в других странах СНГ, нуждается в существенном улучшении качество тестов, а база тестовых заданий вообще требует принципиального обновления, если не полной замены. Это необходимо сделать из-за появления организованных групп профессиональных репетиторов, внимательно отслеживающих содержание тестовых заданий  каждый год[36], а потому  научившихся хорошо прогнозировать содержание очередного теста.

И на Украине был сделан стратегический выбор в пользу создания Национальной независимой (внешней) системы тестирования. И это был правильный выбор. Президент Украины В.Ющенко целью становления Национальной системы тестирования ставит борьбу с коррупцией. По его словам, на сегодня по уровню коррупции сфера образования уступает лишь милиции и таможне, и стоит на уровне налоговой службы и судов. А потому предстоит обеспечить проведение в 2008 году всеобъемлющего внешнего независимого тестирования. «Это одна из ключевых программ в 2008 году, – подчеркнул он. Мы должны обеспечить стопроцентное тестирование во всех учебных заведениях». Украина сейчас на пути к этой цели…[37].

Важно подчеркнуть, что на Украине появилось то, чего нет в России - исключительно благоприятные политические условия для становления именно системы тестирования. Наблюдаемые там попытки подмены тестирования различными экзаменами оцениваются общественностью и правительством как противоречащие ясно высказанной политической воле Президента Украины.

Статус тестирования в различных странах

В США, Казахстане и Украине, а также во многих других странах принят статус Национальной системы тестирования. В западном истолковании понятие «Национальное», означает, что тестирование является общественным. Оно создаётся из потребностей развития общества, и развивается под контролем общественных организаций.

В определении статуса Национального тестирования важно понять соотношение роли государства и общества. Первое и главное место принадлежит обществу. В хорошо управляемом государстве не следует заниматься тотальным тестированием каждого ребёнка или студента. Тем более, это не следует делать принудительно. В документах Министерства образования и науки любят использовать словосочетание государственно-общественное управление, где государственное управление мыслится главным, а общественное управление – второстепенным или декоративным.

Выше уже упоминалось, что в США центральное правительство не имеет права проводить тестирование в том или ином штате. И это правильно, потому что удерживает государственные органы от соблазна расширения властных полномочий и от коррупции. Но государство там стоит на страже в случае нарушения прав гражданина в виде необъективно выставленной оценки, полученной на основе некачественного метода.

Вот почему в настоящем Национальном тестировании есть и вторая важная составляющая. Это профессионализм тех, кого общество привлекает к проведению Национального тестирования. Именно профессионализм обеспечил существенный успех общественно ориентированной, негосударственной службы тестирования в США. Полное название этой успешно управляемой службы - Educational Testing Service (ETS). В США наряду с системой тестирования есть и Национальный Совет по измерениям в сфере образования – National Council on Measurement in Education.

В Белоруссии, Украине и других странах СНГ неоднократно проявлялась тяга к внедрению аналога российского ЕГЭ, но в последнее время там стали лучше понимать ошибочность замены полноценного и добровольного тестирования единым принудительным государственным экзаменом. Некоторые руководители там и по сей день полагают, что экзамен и тест - это одно и то же, и что форма оценивания не принципиальна. То же имеет место и в России.

На самом деле, пришло время уяснить, что экзамен – это традиционная форма контроля знаний, а тест – это метод проведения качественного и эффективного педагогического измерения. В сложившихся условиях подменять тесты экзаменами теперь уже больше нельзя. Именно на это автору данной статьи пришлось обращать внимание участников недавней международной конференции в Харькове[38].

Система педагогических измерений

Педагогические измерения – научная теория, сформировавшаяся на стыке педагогики, психологии, статистики, математики, логики и философии. Это наука о разработке тестов, других методов и показателей эффективности образовательной деятельности вообще. Педагогические измерения можно также определить как процесс отображения числами уровней проявления интересующего латентного качества личности.

Предмет педагогических измерений – не только разработка тестов, но и шкалирование тестовых результатов испытуемых (measures of achievement), проведение рейтинга и мониторинга (в части разработки показателей текущих и итоговых учебных достижений). И, кроме того, - построение системы качественных показателей образовательной деятельности[39].

Большое значение в педагогических измерениях имеют также и методы определения качества заданий, шкалирования заданий по уровню трудности и различающей способности - то, что на английском языке называется Item Calibration. Измерением учебных достижений (person measures) и шкалированием заданий (item calibration) на интервальной шкале практическое тестирование почти не занимается, поскольку это научная работа, требующая целенаправленной метрической и программно-вычислительной подготовки.

Становлению системы педагогических измерений фактически препятствуют идеи проведения единого государственного экзамена. Без чётких разграничений понятий - экзамены, тестирование и педагогические измерения - различие систем может показаться неясным.

В наше время существенный признак педагогических измерений – это педагогически обоснованный отбор содержания заданий теста, точный выбор форм заданий, подходящих для того или иного содержания, система основных педагогических понятий этой теории[40], получение данных об испытуемых и заданиях на интервальной шкале. Это достигается использованием соответствующих алгоритмов трансформации исходных результатов практического тестирования посредством компьютерных программ типа RUMM 2020, Winsteps и др. В этом смысле- тестирование – начало педагогических измерений, а ЕГЭ – движение в беспросветный тупик.

Многолетнее отставание педагогических измерений от потребностей практики тестирования и заметное отсутствие учёных в штате большинства центров тестирования на пространстве СНГ превращает практику тестирования в зону постоянного риска получения ненадёжных и невалидных результатов. Этот вывод легко подтверждается экспертизой работы любого центра тестирования. Вывести тестирование из зоны перманентного риска получения ошибочных оценок личности может только стабильная опора на науку – теорию педагогических измерений. Но для этого нужны научные подразделения в центрах тестирования, которых практически нет.

Проблему осложняет положение самой теории педагогических измерений. Все известные в этой теории методы обоснования качества тестовых результатов неизменно оказывались статистическими и математическими. О том, что мы имеем дело именно со статистическими теориями психологических и педагогических измерений, было чётко сказано в классической работе[41]  конца шестидесятых годов прошлого века. Так сложилось исторически, таким был идеал научности тестовых результатов. Однако попытки построения собственно педагогической теории педагогических измерений, других идеалов научности не прекращались ни в прошлом, ни в наше время. Известны попытки создания педагогической теории педагогических измерений в США[42].

В России проблемой создания педагогической теории педагогических измерений занимался автор данного доклада. Идея необходимости перехода от тестирования к системе педагогических измерений возникла как результат сравнительного исследования вопросов методологии педагогических измерений и тестирования[43], научного анализа практики централизованного тестирования[44], введения российского Единого государственного экзамена (ЕГЭ)[45] и личного опыта взаимодействия с практиками–работниками центров тестирования. Последние чаще стремятся выполнять указания сверху, нежели рекомендации учёных. К тому же многие остепенённые практики считают себя учёными не в меньшей степени, чем те, кто работают в науке. Такого рода менталитет характерен и для небольшого числа чиновников многих министерств.

В качестве педагогической основы теории педагогических измерений автором этой статьи предлагаются:

- концепция пяти этапов тестового педагогического процесса[46] и система основных понятий педагогических измерений [47];

- формулировки целей педагогических измерений[48];

результаты исследования содержания[49], форм[50]  и принципов композиции тестовых заданий[51];

- математические модели[52]  и аксиоматика теории педагогических измерений[53].

Система педагогических измерений включает в себя всю научную составляющую разработки и применения тестов для получения качественных тестовых результатов и последующего шкалирования, проведение рейтинга, мониторинга и качественных показателей образовательной деятельности. Основной предмет педагогической теории измерений – разработка качественных тестов для измерения уровня и структуры подготовленности учащихся и студентов. Такие тесты используются почти во всех современных образовательных технологиях.

Для того, чтобы педагогические измерения рассматривались как основа формирования объективной системы оценивания образовательной сферы наиболее эффективные средства противодействия коррупции. Но они сами должны отвечать некоторым требованиям:

Во-первых, они не должны быть государственными. В РФ и в государствах Средней Азии тестирование и ЕГЭ de facto является государственным. Это достаточное условие для того, чтобы контроль знаний постоянно подвергался риску искажений. Во-вторых, измерения не должны быть средством коммерциализация образования. В условиях интенсивного расслоения населения это ведёт к фактическому ограничению доступа к качественному образованию, и далее - к усилению невежества молодежи, к конфронтации и политической нестабильности – и всё это в стране, имеющей большую армию, ядерное оружие и ракеты. В-третьих, педагогические измерения могут быть объективными только тогда, когда правильно определен их научный предмет.

В России, Казахстане и в Узбекистане - это уровень учебно-дисциплинарных знаний, в США и Израиле – способности к овладению программами высшего образования. В Киргизстане совершается переход к оценке способностей  выпускников школ посредством адаптированного американского варианта SAT-2[54]. Но школа остается всё ещё ориентированной на знания. Возникает вопрос - будут ли результаты тестирования честными для тех школьников, родители которых не в состоянии нанять репетитора для нового теста?

Выводы

1. Для стабильного и качественного развития независимой российской общественно-профессиональной системы педагогических измерений надо осуществить перевод всех имеющихся в стране центров тестирования в статус независимых центров системы педагогических измерений. Это создаст психологические и организационные предпосылки для усиления научного  потенциала центров, заметного повышения качества педагогических измерений. Это также позволит заменить менее качественное тестирование более качественными педагогическими измерениями.

2. ЕГЭ надо скорее закрыть, и навсегда. Вместо ЕГЭ в стране надо организовать настоящее добровольное независимое педагогическое тестирование уровня подготовленности школьников и абитуриентов. Для этого понадобится сеть новых центров тестирования, опирающихся на научные основы педагогических измерений. Чем больше упорства проявит власть в деле дальнейшего утверждения ЕГЭ, тем больший вред она нанесёт образованию страны.

3. Для становления национальной системы педагогических измерений требуется взаимодействие граждан, педагогической общественности, научных и технических специалистов. Государство должно помогать такому взаимодействию.

4. Нужно принять юридические акты, обеспечивающие ответственность за разглашение правильных ответов к заданиям и индивидуальных результатов без согласия граждан, прозрачность организации тестирования, открытость и доступность, для исследователей и независимых экспертов матриц тестовых результатов (без указания фамилий), по всем учебным дисциплинам и регионам, за все годы. Обязательна также публикация отчетов по разработке тестов по итогам финансовой деятельности центров педагогических измерений.

5. Вместо задуманного перехода от ЦТ к ЕГЭ, и далее к ОСОКО, лучше приступить к созданию в России независимой системы педагогических измерений.