ОПРЕДЕЛЕНИЕ ИСХОДНЫХ ПОНЯТИЙ

ТЕОРИИ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

 Аванесов В.С.

 testolog@mail.ru

Обновлённая редакция 2008г.

Аннотация                

  В статье  приведена система исходных определений педагогической теории измерений.  Некоторые определения, опубликованные ранее, в этой работе уточнены.

 

Для основательного введения читателя в мир педагогических измерений необходимо познакомиться с исходными понятиями. Их пока шесть: «форма», «содержание», «композиция», «тестовый процесс» «педагогическое задание», «испытуемые». Выбор может показаться субъективным, но это не так, потому что все основные и производные понятия, рассматриваемые далее в теории педагогических измерений, либо вытекают из этих шести, либо связаны с ними. А потому с них и начинается система понятий.

Как верно заметил А.А.Зиновьев, мыслители прошлого, создававшие теоретические системы, подвергались насмешке напрасно. Они чувствовали, что научный подход может быть практически реализован именно в форме всеобъемлющих теоретических систем. Иное дело - реализация верной идеи. Она зависит от многих факторов[1].

 

1. ФОРМА

Со времён Аристотеля форма понимается как идеальный принцип расположения или организации элементов. Другое истолкование выдвинул И. Кант, согласно которому форма определяется как принцип упорядочения[2]. Эти две идеи - организации и упорядочения, плюс идея существования содержания в каких-либо формах, легли в основу следующего определения: форма – это способ организации, упорядочения и существования содержания. Соединившись с содержанием, форма придает заданию конкретный облик, или иначе, содержание принимает определенную форму. Важную роль формы неоднократно подчеркивал Гегель в своих лекциях по эстетике: по его словам, форма есть «внутреннее определение содержания. А потому произведение искусства, которому недостает надлежащей формы, не есть истинное произведение искусства»[3].

По аналогии с этим, форма, соединившись с содержанием, придает заданию его конкретный облик, или иначе, содержание принимает определенную форму. Форма есть та внутренняя - по Аристотелю - сила, которая движет развитием вещи. Понятие «форма» интерпретируется близко к смыслу греческого слова “морфе” - прекрасный вид, красивая внешность, идея, суть, смысл, качество. Формообразование составляет сущность результатов, например, в архитектуре[4], где форма организует функцию; соответственно, там появилась потребность в исследованиях, предметом которых является именно форма.

В педагогических измерениях, не менее чем в культуре и искусстве, обнаружились пробелы в изучении формы. Недостаточное внимание к форме оправдывается обычно подчеркиванием важности содержания теста. Но уже давно было замечено, что содержание не бесформенно; оно хорошо понимаемо только тогда, когда для него подобрана адекватная форма выражения. В отличие от упрощенных философских текстов, проповедующих пассивную роль формы по сравнению с активным содержанием, в данной работе подчеркивается важная организующая функция формы, тесная взаимосвязь формы и содержания задания.

Форму педагогического задания можно определить как такое расположение элементов, которое наилучшим образом позволяет выполнить предназначенную функцию контроля или обучения.

Форма может рассматриваться как инвариант. Тем самым подтверждается тезис о сравнительном постоянстве формы, остающейся устойчивой при изменении содержания. Например, в тестах по разным учебным дисциплинам может использоваться одна и та же форма заданий. Овладение формой является необходимым, но недостаточным условием создания полноценных тестов. Форма придает заданиям лишь структурную целостность и определенность, внешнюю организованность.

Форма заданий считается правильной, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов у подготовленных испытуемых.

Все известные тестовые задания представляются испытуемым в четырёх формах.

Если даются готовые ответы на выбор - обычно один правильный и остальные неправильные - то такие задания лучше называть заданиями с выбором одного правильного ответа[5]. Этим заданиям обязательно предшествует инструкция для испытуемых: «Нажимайте на клавишу с номером правильного ответа!».

Логической основой первого варианта является закон исключенного третьего, впервые сформулированный Аристотелем. Выбор правильного ответа порождает истинное суждение, а выбор неправильного - ложное суждение. Третьего не дано. Из этого закона следует методическое правило: в каждом задании с выбором одного правильного ответа последний должен быть, что придает однозначность замыслу самого задания и не допускает противоречивых мыслей у испытуемых. Следование закону исключенного третьего налагает запрет на применение таких ответов, как “правильного ответа нет”, “все ответы правильные” или “все ответы неправильные”, которые в практике все еще встречаются. В настоящей работе этот запрет соблюдается.

Второй вариант заданий этой же, первой формы, используется для проверки сопоставительных знаний - с выбором одного, наиболее правильного ответа, из числа ответов, правильных в разной степени.

Третий, по счёту, но не по значимости вариант – это задания с выбором нескольких правильных ответов.

Эти три варианта образуют первую форму. Задания первой формы можно разделить на такие виды, как задания с двумя, тремя, четырьмя, пятью и с большим числом ответов.

Во второй форме задание сформулировано так, что готового ответа нет; каждому испытуемому во время тестирования ответ приходится вписывать самому, в отведенном для этого месте. Такие задания называют заданиями открытой формы. После дополнения задания определенным ответом получается истинное или ложное высказывание.

Задания, где элементам одного множества требуется поставить в соответствие элементы другого множества, называются заданиями на установление соответствия. Это третья форма. И, наконец, в тех случаях, когда требуется установить правильную последовательность вычислений, действий, шагов, операций, терминов в определениях понятий, используются задания на установление правильной последовательности. Это четвертая форма заданий.

Каждая из перечисленных форм позволяет проверить специфические виды знаний, а также соответствующие им контрольные материалы. Выбор форм зависит от цели тестирования и содержания теста, от технических возможностей и уровня подготовленности преподавателей в области теории и методики тестового контроля знаний.

В российском образовании используются задания преимущественно в нетестовой форме. Большинство из них - это вопросы, задачи и упражнения, которые в тестовой культуре не используются. Нередко вопросы и задачи называются тестами. Но ответы на них иногда бывают столь многословными, что для выявления истинности требуются большие затраты интеллектуальной энергии. В то время как технологичная методика тестирования предполагает четкую и быструю дифференцируемость правильного ответа от неправильного. В этом смысле традиционные вопросы и ответы не технологичны; их не рекомендуется включать в тест. То же относится и к задачам, имеющим громоздкие формулировки.

 

2. СОДЕРЖАНИЕ

Содержание тестовых заданий и теста тесным образом связано с содержанием образовательного процесса, и зависит от последнего.  В тестовых формах нет, и не может быть, содержания, которого не было бы в учебных курсах.

Содержание высшего профессионального образования - специально отобранная и признанная обществом (государством) система элементов объективного опыта человечества, усвоение которой необходимо для успешной профессиональной деятельности индивида в избранной им сфере и в общем процессе жизнедеятельности, повышения качества жизни. Содержание образования задается учебным планом и соответствующими ему программами учебных дисциплин, оно отражается в учебниках учебных пособиях и в других средствах обучения[6].

Содержание школьного образования - система знаний и опыта человечества, усвоение которых необходимо для успешной социализации личности в социальной структуре общества.

Содержание заданий в тестовой форме определяется как отображение содержания элементов учебной дисциплины во множестве заданий.

Содержание теста – оптимально редуцированное отображение содержания образования в системе тестовых заданий.

Такое отображение осуществляется в результате педагогического анализа содержания учебной программы, выделения в ней всех тем, понятий, положений, принципов и, где надо, формул, а затем – поэлементной редукции всего перечисленного в содержание заданий в тестовой форме. Редуцирование осуществляется посредством логического анализа знаний и представления таковых в тестовой форме. При этом форма выступает как способ связи, упорядочения элементов содержания.

Содержание заданий в тестовой форме может охватывать полное множество предлагаемых знаний, что особенно важно при организации самостоятельной работы в текущем учебном процессе. Решая задания, студенты (школьники) получают возможность последовательно и без спешки, в удобное для них время, проверять уровень своей подготовленности, по всем темам и разделам курсов, содержание которых было включено в учебную программу. Эта программа обеспечивается сотней, а лучше, тысячей заданий в тестовой форме, создавая, тем самым главную составляющую часть учебно-методического комплекса. Например, студенты медицинских вузов должны знать названия всех костей и мышц, изучаемых в курсе анатомии, а также обширный лексикон физиологии, названия тысяч болезней и лекарств. Поэтому и число заданий в тестовой форме для самостоятельной работы должно быть порядка несколько тысяч. Содержание заданий в тестовой форме определяют преподаватели учебной дисциплины.

Содержание тестовых заданий одного теста включает в себя примерно тридцать укрупнённых ключевых единиц знаний, представленных в системе  заданий и их вариантов. Это должны быть такие задания, правильные ответы на которые свидетельствовали о действительной подготовленности испытуемых по всему изученному курсу. Хотя в предельном варианте задача такого рода принципиально недостижима, тем не менее, тестовые задания представляют содержание курса в виде тщательно редуцированной вероятностной системы проверяемых знаний.

Содержание заданий формулируется как можно точнее, короче и яснее.

Точность содержания обеспечивается использованием терминов, элементов искусственного языка, формул, исключением метафор и неадекватной лексики.

Краткость достигается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Для достижения краткости в каждом задании лучше спросить о чем-нибудь одном. Хорошо, когда задание содержит не более одного придаточного предложения, а лучше, чтобы его не было вовсе.

Ясность содержания достигается тогда, когда все испытуемые правильно понимают подлинный смысл задания. С этой целью из заданий полностью исключаются повторы слов, малопонятные, редко употребляемые, а также не изучавшиеся в курсе символы и иностранные слова, затрудняющие восприятие сути задания. В заданиях, например, по физике, полезно использовать рисунки интересующего процесса. Рисунки повышают понимаемость задания, позволяют избежать многословия, способствую образному представлению, что помогает также и быстроте восприятия, а это существенно при применении тестовых форм.

Анализ содержания курсов обычно относится к компетенции преподавателей, в то время как анализ содержания заданий - один из ключевых вопросов теории педагогических измерений. Общие принципы разработки содержания тестовых заданий рассматриваются в теории педагогических измерений, в то время как содержание учебных дисциплин относится больше к той науке, знание которой проверяется.

 

3.  КОМПОЗИЦИЯ

Само слово "композиция" означает произведение, структуру, состав, а также соединение и взаимное расположение частей целого. Применительно к нашему предмету, целым является тест, частью целого – тестовое задание. Композиция может рассматриваться не только как форма деятельности, но и как результат, получаемый в правильно организованном тестовом процессе.

В науке и искусстве композицией называют состав и расположение частей целого, удовлетворяющих следующим условиям:

 - ни одна часть целого не может быть изъята или заменена без ущерба для целого;

- части не могут меняться местами без ущерба для целого;

- ни один новый элемент не может быть присоединен к целому без ущерба для целого[7].

В композиции самое главное – умелое соединение формы и содержания.

В учебном процессе основная цель композиции - создание новых заданий в тестовой форме, помогающих студентам (школьникам) проверить свою подготовленность, а кроме того, обучаться и развиваться, в процессе выполнения самостоятельной учебной работы посредством использования новых образовательных технологий.

Успех в композиции, как и в создании произведений искусства, зависит не только от оригинальности идеи и сюжета, но и от мастерского владения формой. Успешная композиция может обладать свойствами эстетичности, эффективности, устойчивости и полезности.

В западной литературе вместо «композиции» используется словосочетание «test construction». При этом естественно поставить вопрос - из чего «конструируют» тесты? Ответ следует – из заданий. А задания тоже конструируются? На этот вопрос ответа нет. Технический термин «конструирование» - не самый подходящий для педагогически ориентированной науки.

В теории и методике педагогических измерений можно выделить три вида композиции:

1. Композиция заданий в тестовой форме определяется как педагогическая деятельность, объединяющая возможности тестовой формы и содержание учебных дисциплин в учебные и контрольные задания, такие, которые отвечают требованиям современных образовательных технологий. Успех в этом деле обеспечивают оригинальность мышления, знания, воля, мастерство исполнения, терпение, способность преодолевать возникающие трудности. Плюс внимание к так называемым мелочам, без которых талантливое произведение не создать. Как говорил Микельанжело Буанаротти, от мелочей зависит совершенство, а совершенство – это уже не мелочь!

Цель композиции - создание таких заданий, которые можно использовать в автоматизированных системах контроля и самоконтроля знаний, а также для организации самостоятельной работы обучающихся. Главный предмет композиции заданий - творческое соединение их формы и содержания.

Задание в тестовой форме представляет собой единицу контрольного материала, сформулированную в повествовательной форме предложения с неизвестным. Подстановка правильного ответа вместо неизвестного компонента превращает задание в утверждение, или, на языке логики, в истинное высказывание. Подстановка неправильного ответа ведёт к образованию ложного высказывания, что свидетельствует о незнании студентом данного учебного материала. Задание в тестовой форме отвечает не только общим требованиям педагогической целесообразности, корректности содержания, но и обладает ещё дополнительным свойством технологичности, приобретаемым за счет специфической тестовой формы.

Задание в тестовой форме характеризуется как педагогическое средство, отвечающее требованиям:

- краткость;

- технологичность;

- сформулированная цель;

- логическая форма высказывания;

- определенность места для ответов;

- одинаковость правил оценки ответов;

- правильность расположения элементов задания;

- одинаковость инструкции для всех испытуемых;

- адекватность инструкции форме и содержанию задания.

С помощью перечисленных характеристик-требований - а это одновременно и признаки качества заданий - появляется практическая возможность отличить задания в тестовой форме от остальных т.н. «контрольно-измерительных материалов». Что это представляют эти материалы, как они определяются  - науке это не известно. Задание в тестовой форме и все другие понятия теории педагогических измерений, напротив, либо чётко определены, либо охарактеризованы. Характеристика признаётся как приём, сходный с определением; что позволяет перечислить существенные признаки интересующего предмета[8].

Задания в тестовой форме оказались не только частью расширяющегося тестового процесса, но и частью более широкого образовательного процесса в целом. Они же стали и самыми востребованными и эффективными в практике применения новых образовательных технологий. Задания в тестовой форме меняют учебный процесс революционным образом в случае их применения для организации самостоятельной работы. Именно с помощью заданий в тестовой форме можно создать современные обучающие средства, опирающиеся на философию конструктивизма[9] и на задачный подход к организации учебного процесса[10].

Конструктивизм - это педагогическая философия, ключевая идея которой вытекает из учения классика педагогической науки А.Дистервега: - знания нельзя передать обучаемому в готовом виде. Можно лишь только создать педагогические и психологические условия для успешного самоконструирования и самовозрастания знаний учащихся. Сам классик писал так: «Развитие и образование ни одному человеку не могут быть даны или сообщены. Всякий, кто желает к ним приобщиться, должен достигнуть этого собственной деятельностью, собственными силами, собственным напряжением. Извне он может получить только возбуждение»[11]. Конструктивизм отражает достаточно простую истину: на протяжении всей жизни каждый из нас конструирует свое собственное понимание окружающего мира[12]. Нет никакой трагедии в том, что наше понимание не совпадает с пониманием других. Напротив, это норма. Если встречается понимание и искренний интерес, то это похоже на педагогическую удачу или на счастливый случай.

Для роста знаний нужны тысячи заданий и упражнений, желательно таких, которые бы соответствовали требованиям образовательных технологий. Как писал один из сторонников задачного подхода к обучению Г.С.Костюк, понять новый учебный объект -  значит решить какую-то, пусть маленькую, познавательную задачу[13].

Задания в тестовой форме как раз и являются теми самыми познавательными элементами, от правильного применения которых зависит будущее образования. Вначале в одной, отдельно взятой стране, которая раньше других среагирует на высокий обучающий потенциал заданий в тестовой форме, и тем самым обеспечит себе отрыв от других. А затем и в тех странах, которые не захотят исчезнуть с карты мира. Такова поистине фундаментальная роль заданий в тестовой форме[14].

Без большого числа заданий, предъявляемых обучающимся посредством компьютерной программы, трудно надеяться на успешную организацию современного учебного процесса. Задания в тестовой форме выполняют не только функцию самоконтроля, но также образования и самообразования. В отличие от тестов и тестовых заданий, создаваемых, главным образом, для контроля. И эта самая сильная сторона заданий в тестовой форме, недооцениваемая в практике. К сожалению, в методической литературе не уделяется внимание обучающему потенциалу заданий в тестовой форме, да и само это понятие использовалось только в работе автора[15] и его последователей. Одна из причин – отсутствие в лексиконе тех, кто пишет по тестовой проблематике, самого понятия «задание в тестовой форме». Почти все пишут о тестах, которых, можно сказать, нет.

Ввиду важности заданий в тестовой форме, каждая из перечисленных характеристик этого понятия заслуживает хотя бы краткого пояснения.

Краткость заданий в тестовой форме обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные для учащихся символы, иностранные слова, затрудняющие восприятие смысла. Для достижения краткости задания лучше спрашивать о чем-нибудь одном. Как отмечал известный лингвист А.М.Пешковский, точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений[16]. Впрочем, это суждение не бесспорно. Краткость является следствием преимуществ логической формы высказывания. Для достижения краткости задания лучше спрашивать о чем-нибудь одном.

Часто встречающиеся случаи удлинения заданий требованиями что-то найти, решить, а затем еще и объяснить, отрицательно сказываются на качестве задания и теста в целом. Хотя с педагогической точки зрения легко понять желательность формулирования такого рода заданий. И если учащийся что-то решает, потом что-то кому-то объясняет, то возникает сопряжение объективного метода с субъективным, плюс к этому - затруднения с оценками при решении вопроса - какой выставить балл. В противоположность этому, одно из важных требований теста – иметь заранее разработанные правила выставления баллов без участия педагога.

Технологичность заданий определяется как вариант композиции, которая позволяет вести процесс тестирования с помощью технических средств, и делать это точно, быстро, экономично и объективно. Задания становятся технологичными, если их содержание правильно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования.

Главные препятствия для достижения технологичности тестового задания - это обилие слов, потребность в устных разъяснениях, расплывчатость и неопределенность формы, плохая формулировка содержания, отсутствие необходимой техники и программ. Использование автоматизированного обучения и контроля на основе достижений новой педагогики, педагогических измерений, психологии, кибернетики и компьютерной техники, взятых в разумном соотношении, образует основу именно того, что сейчас называют педагогической технологией.

В этой технологии самым узким местом оказалось неумение делать задания, без чего нельзя сейчас ни объективно проверить знания, ни создать современную автоматизированную контрольно-обучающую программу, ни наладить такую форму организации учебного процесса, как дистантное обучение. В идеальном случае учебная программа, каждый ее модуль сопровождаются заданиями в тестовой форме. Однако путь к достижению этого идеала лежит через трудности создания качественных тестовых заданий. Технологичность заданий обеспечивается правильностью формы заданий и корректностью содержания заданий. С точки зрения содержания, тестовое задание оценивается по конкретности и абстрактности, глубине, обобщенности, полноте содержания.

Технологическое преимущество заданий тестовой формы проявляется в их соответствии требованиям автоматизации рутинных компонентов обучения и контроля знаний. Если в каждом задании автоматически ставить, в зависимости от ответа, 1 или 0, то легко видеть преимущества, вытекающие из применения такой оценки, основанной на двузначной логике. Это позволяет быстро регистрировать ответы и объективно их оценивать по заранее разработанным правилам, применяемым ко всем, без исключений. Задания в тестовой форме вводятся в компьютер, компактно проецируются на экран монитора, хорошо различаются по форме и смыслу.

Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования. Именно использование автоматизированного обучения и контроля на основе достижений новой педагогики, педагогических измерений, психологии, кибернетики и компьютерной техники, взятое в разумном соотношении, образует основу того, что сейчас называют педагогической технологией.

Сформулированная цель. Каждое задание создано для определенной цели, а потому, можно сказать иначе, имеет свою миссию и свои характеристики. Например, задания могут создаваться для слабых или сильных учащихся, для интеллектуально одаренных или менее способных, для самостоятельной работы и компьютерной самопроверки уровня подготовленности, для аттестации или профессионального отбора. В зависимости от цели, некоторые характеристики заданий могут меняться, в особенности по трудности содержания.

Педагогические задания выполняют как обучающие, так и контролирующие функции. Обучающие задания учащиеся применяют для активизации собственного учения, усвоения учебного материала и саморазвития. Если задания для обучения представлены в тестовой форме, то это свидетельствует об их обучающем потенциале. Контролирующие задания применяются, напротив, педагогом или проверяющими органами, после окончания учебного года, или другого определенного цикла (четверти, семестра), с целью диагностики уровня и структуры подготовленности. Большая часть заданий может использоваться для обучения и для контроля. Часть заданий используется для самообучения, самоконтроля, сопровождаются указаниями к решению, а также точными и полными ответами.

Логическая форма высказывания - это средство упорядочения и эффективной организации содержания задания. Высказывание является универсальным средством четкого выражения мысли человеком, способным проявить знания по изучаемой учебной дисциплине. Эта форма во многих случаях заменяет вопросы. Учебные вопросы многословны и порождают ответы, полные и неполные, правильные и неправильные, разные по форме, содержанию и по структуре, вследствие чего оценка таких ответов требует обязательного участия преподавателя и сопровождается некоторой долей субъективизма.

Логическое преимущество задания в тестовой форме заключается в возможности естественного превращения утверждения, после ответа студента, в форму истинного или ложного высказывания. Переход к утвердительной форме заданий и к высказываниям позволяет создавать задания по-новому, опираясь при этом на ряд методических принципов, рассматриваемых далее.

Определённость места для ответов является одним из внешних и сущностных признаков задания в тестовой форме. В заданиях с выбором ответов - это код (цифры или буквы) требуемого ответа, из числа прилагаемых к каждому заданию. В заданиях открытой формы ответ пишется вместо прочерка, следуемого за текстом задания. В заданиях на установлении соответствия ответы или пишутся в специально отведенной для этого строке ниже текста каждого задания, или фиксируется с помощью так называемой "мыши" при компьютерном тестировании. И, наконец, в заданиях на установлении правильной последовательности испытуемый ставит ранги в специально отведенном для этого месте.

Одинаковость правил оценки ответов в рамках принятой формы является важным средством организации процесса педагогических измерений. Ни одному испытуемому не дается никаких преимуществ перед другим, все отвечают на задания из одного фасета, всем дается одинаковое время.

Фасетом называется форма записи нескольких однородных вариантов одного и того же задания, любой формы. Идея фасета ассоциируется с известной практикой создания вариантов одинаковых, по трудности, заданий для проведения контрольных работ. Фасет позволяет создавать, в одном задании, сразу несколько вариантов, что помогает полностью исключить такую распространенную форму искажения результатов, как списывание, и даёт возможность объективно сопоставить тестовые баллы испытуемых. При этом выдерживается существенное условие - все элементы из фасета должны принадлежать одной и той же укрупненной дидактической единице знаний. Иначе говоря, быть однородными. Фасет записывается в фигурных скобках. Эта запись делается автором задания, она предназначена не испытуемому, а тестирующему.

Правила оценки определяются заранее и абсолютно одинаково применяются ко всем испытуемым. Понятно, что все это делается для уменьшения ошибок измерения, вызванных нарушениями стандартных условий тестирования. В смысле стандартизации условия тестирования напоминают требования к проведению эксперимента. Именно об этом писал один из первых создателей тестового метода[17].

Правильная форма заданий - это средство упорядочения и эффективной организации содержания теста. Задание сформулировано правильно, если не возникают логические, психологические и иные препятствия для понимания смысла и для правильного выполнения задания. Для правильного формулирования заданий необходимы анализ содержания учебной дисциплины, классификация учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц, представление этих единиц через элементы композиции заданий.

Адекватность инструкции форме и содержанию задания означает взаимное соответствие этих компонентов задания. Условие адекватности позволяет довести до сознания испытуемых все требования, заложенные в содержании задания. Несоответствие формы содержанию, и, наоборот, содержания форме, вызывает ошибку понимания смысла задания. Соответственно, это приводит к ошибочным ответам там, где таковым не место. С точки зрения содержания, задание оценивается по конкретности и абстрактности, обобщенности, полноте и глубине знаний.

Семантическое преимущество заданий в тестовой форме заключается в лучшем понимании их смысла и значения. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения, излагаемого в простой структуре предложения в повествовательной форме улавливается всегда лучше, чем смысл вопроса. Для верного понимания смысла вопроса очень важен контекст. В тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Задание в тестовой форме представляет собой единицу контрольного материала, сформулированную в повествовательной форме предложения с неизвестным. Подстановка правильного ответа вместо неизвестного компонента превращает задание в утверждение, или, на языке логики, в истинное высказывание. Подстановка неправильного ответа ведёт к образованию ложного высказывания, что свидетельствует о незнании студентом данного учебного материала. Задание в тестовой форме отвечает не только общим требованиям педагогической целесообразности, корректности содержания, но и обладает ещё дополнительным свойством технологичности, приобретаемым за счет специфической тестовой формы.

При благоприятных условиях композиция заданий в тестовой форме может соединиться с другим процессом – педагогических измерений, где лучшие задания, после проверки по статистическим и математическим критериям, получают возможность превратиться в тестовые задания. Композиция тестовых заданий – самая интересная и наукоёмкая часть педагогических измерений. Поскольку понятие «композиция тестовых заданий» не может быть введено раньше понятия «тестовое задание», в заключение давайте посмотрим на ключевой процесс педагогических измерений. Это последнее основное определение первой главы. Все остальные определения даются в соответствующих главах и в тезаурусе.

Хорошо сделанное задание в тестовой форме - это всегда лучшее, на текущий момент, содержание и наилучшая форма; и то, и другое - результат, появляющийся вследствие осознания важности их взаимосвязи. «Там...где создание формы, - писал Гегель, - является существенным интересом и настоящей задачей, вместе с успехами изображения незаметно и неявно движется вперед также и содержание, как и вообще мы до сих пор видели, что форма и содержание идут в своем совершенствовании рука об руку»[18].

Композиция тестовых заданий добавляет к композиции заданий в тестовой форме обязательность математико-статистического обоснования качества заданий для оценки возможности включения их в тест.

3. Композиция теста добавляет к композиции тестовых заданий требования общности предмета измерения, возрастающей трудности заданий, их системности, адекватности каждого задания избранной модели измерения и предполагаемой интерпретации тестовых результатов. Композиция теста определяется как форма деятельности по созданию системы заданий возрастающей трудности, образующих тест, как шкалу для проведения педагогических измерений.

Тест при этом рассматривается как система тестовых заданий возрастающей трудности. Это ещё не полное определение, а только одно из исходных и кратких. Ситуация с определением теста напоминает проблему определения личности. Как заметил R.B.Cattell в своей классической книге по исследованию личности[19], если бы можно было дать читателю полное и правильное определение изучаемого предмета с самого начала, то зачем тогда нужно писать книгу?

 

4. ТЕСТОВЫЙ ПРОЦЕСС

Подлинный тестовый процесс начинается с композиции заданий в тестовой форме, что позволяет обновить учебный процесс, поставить последний на технологическую основу, усилив в нём возможности для активизации самостоятельной работы. И лишь затем начинается селекция тестовых заданий и композиция тестов. Композиция заданий в тестовой форме является начальным этапом создания качественных методов измерения. Любые попытки создания тестов без этапа композиции заданий в тестовой форме обречены, как показывает опыт, на неудачу.

При благоприятных условиях процесс композиции заданий в тестовой форме, изначально ориентированный на задачи обучения, может затем соединиться с процессом педагогических измерений, где лучшие задания, после проверки по статистическим и математическим критериям, получают возможность превратиться в тестовые задания. Композиция тестовых заданий – самая интересная и важная часть педагогических измерений. Без качественной композиции заданий тестов и педагогических измерений не бывает.

Тестовый процесс включает в себя основные идеи, теории, методы и практику тестирования. Хотелось бы подчеркнуть, что тестирование – это практика, которая может опираться на теорию, а может существовать и сама по себе, создавая лишь видимость научной практики. Как это сейчас и происходит. Практика пытается создать «свою» науку, свою собственную терминосистему или «стандарт терминов тестирования». Тестирование там определяется как «система мероприятий». Однако к «мероприятиям» подлинная наука имеет весьма косвенное отношение. Наукой является не тестирование, а педагогические измерения.

Тестовый процесс объединяет испытуемых, создателей тестов, управленцев, администраторов и технических специалистов, организующих сбор, обработку и хранение данных, разработку и применение тестов, а также включает учёных, исследующих вопросы теории и методики педагогических измерений. Главными результатами правильно организованного тестового процесса являются качественное народное образование, наличие в стране достаточного числа хороших тестов и объективных результатов улучшение образовательной деятельности по регионам и в стране в целом, множество добротных научных трудов и оригинальных методов исследования личности. Отсутствие или острая нехватка перечисленных результатов является весомым указанием на наличие в этой сфере проблемной ситуации.

Подлинный тестовый процесс позволяет обновить учебный процесс, поставить последний на технологическую основу, усилив в нём возможности для активизации самостоятельной работы. Ведущим субъектом развития учащихся и студентов являются педагоги, профессорско-преподавательский состав образовательных учреждений, главными средствами – педагогические задания и педагогические тексты, ведущие формы – лекционные и прочие занятия. В наши дни к этому добавились образовательные электронные издания (ОЭИ), которые помогают организовать самый важный процесс в системе образовательной деятельности – самообразование школьников и студентов.

Тестовый процесс является и частью второго процесса - педагогических измерений[20]. Существенные характеристики тестового процесса – направленность на развитие личности и общества, на улучшение образовательной деятельности, на гуманизм и культурность. Признаки функционирования тестового процесса - научность, эффективность, объективность и качество получаемых тестовых результатов. В современной практике эти признаки мало заметны.

Отмеченные характеристики тестового процесса надо научиться отделять от признаков псевдотестового процесса.

Псевдотестовый процесс только внешне похож на тестовый процесс. Ситуация похожа на положение дел с культурой, где проявляют себя также субкультура, псевдокультура и контркультура. Не отвлекаясь в детали этого интересного вопроса, хотелось бы отметить, что субкультурные и псевдотестовые формы фактически подменяют тестовый процесс, а нередко и противостоят ему. Самым показательным итогом псевдотестового процесса стал так называемый «единый государственный экзамен (ЕГЭ)»[21], с его «контрольно-измерительными материалами («КИМами»). «КИМы», не известные в западной науке, претендуют на статус государственных методов селекции и выбраковки молодёжи, что недопустимо для страны, пытающейся избрать путь демократии и цивилизованности.

Существенные характеристики псевдотестового процесса – фактическое отсутствие настоящих тестов, попытки использования тестовой лексики в ЕГЭ-фразеологии, недопустимо высокая погрешность измерений. Главные источники расширяющегося псевдотестового процесса – коммерциализация образования, ошибки образовательной политики, стремление государственных органов управления образованием самим контролировать качество своей же работы в подведомственных им образовательных учреждениях.

Псевдотестовый процесс требует проведения собственных конференций, печатных трудов, образовательных программ, собственной лексики и подготовки кадров ЕГЭведов. И всё это тоже уже есть. Есть и бесконечное множество оппонентов, мнением которых нередко игнорируют. Между тем, в подлинной тестовой культуре игнорирование мнение оппонентов – явление недопустимое и невозможное. Конструктивный выход из этой асоциальной и тупиковой ситуации - развитие педагогических измерений и общественно-профессиональных органов контроля качества образовательной деятельности, полное и решительное устранение государства из сферы тестирования.

Вместо ЕГЭ и государственной аттестации правильнее  организовать открытую и независимую Национальную общественно-профессиональную систему оценки качества подготовленности выпускников образовательных учреждений.

 

5. ПЕДАГОГИЧЕСКОЕ ЗАДАНИЕ

Педагогическое задание – это средство интеллектуального развития, образования и обучения. Результат интеллектуального развития можно определить как способность понимать, рассуждать, логически аргументировать, находить закономерности в явлениях, изменения в наблюдаемых объектах, критически оценивать мышление и деятельность. Образование понимается как целенаправленный процесс воспитания и обучения в интересах личности, общества и государства[22]. Образование можно определить также как процесс и результат познания себя и окружающего мира. Обучение представляет собой процесс овладения учащимися знаниями, умениями и навыками в процессе совместной деятельности с педагогами, родителями, окружением.

Педагогическое задание активизирует процесс собственной познавательной деятельности учащихся, повышает качество знаний учащихся и студентов, а также повышает эффективность педагогического труда.

Педагогические задания формулируются как в тестовой, так и в нетестовой форме. Большинство учебных заданий существует в нетестовой форме: в основном это вопросы, задачи и упражнения. В российском образовании используются преимущественно задания в нетестовой форме. В зарубежном образовании доля заданий в тестовой форме существенно выше, что объясняется используемыми там теориями, методиками и технологиями.

Задания полезно разделить на обучающие и на контролирующие. Большая часть заданий может использоваться и для обучения, и для контроля. Самая лучшая часть заданий обычно используется для самообучения, самоконтроля, сопровождается указаниями к решению, а также точными и полными ответами.

 

6. ИСПЫТУЕМЫЕ

В тестовом процессе испытуемые – это граждане, выразившие добровольное желание объективно определить уровень  своей подготовленности и на этой основе решать вопросы своего социального и профессионального самоопределения.  Задача испытуемых – постараться ответить правильно на как можно большее число тестовых заданий. Чем больше правильных ответов, тем выше исходный тестовый балл испытуемого. Последний получается эмпирически, сложением всех баллов, полученных за правильное выполнение каждого задания теста. Помимо этого, теория педагогических измерений предполагает необходимость оценить возможный истинный тестовый балл испытуемого, полученный в данном тестовом процессе, а также модельно-теоретический балл подготовленности испытуемого на латентной переменной.

Из определения испытуемых вытекает, что измерение уровня и структуры подготовленности должно быть объективным. Испытуемые имеют право на объективное измерение уровня их подготовленности. Объективность возникает как следствие интеграции методов обоснования надежности и валидности тестовых результатов. Испытуемые имеют право и на своевременное получение объективной информации о собственных результатах и о качестве проведенных измерений. Объективность обеспечивается такими моделями измерения, которые позволяют оценить уровень подготовленности испытуемого независимо от выборки заданий, доставшейся испытуемому в виде теста. Для достижения объективности результатов, всем испытуемым требуются одинаковые инструкции, условия, правила интерпретации и оценивания результатов, параллельные задания. Предполагаются недопустимость списывания и других форм нарушения. Все эти и другие требования этического характера относятся к словосочетанию “Test Fairness”[23]

При измерении подготовленности испытуемых полезно придерживаться системы принципов:

а) справедливости. Все испытуемые выполняют задания сходного содержания, из одних и тех же укрупненных дидактических единиц. Всем даются задания одинаковой трудности, в одинаковое время, с одинаковой оценкой. Никому не позволяется списывать.

б) гласности. Это означает открытость процесса измерения, возможность контроля со стороны общественных и профессиональных организаций, без какой-либо чиновной аккредитации удобных наблюдателей. Содержание и процесс соответствуют объявленной цели тестирования.

в) научности. Тесты разрабатывают лица, имеющие квалификацию по педагогическим измерениям. Содержание тестов контролируется и обсуждается независимыми общественными ассоциациями педагогов по учебным дисциплинам. Принцип научности предполагает соблюдение требования правильности формы заданий и адекватности их содержания миссии теста.

г) связи тестирования с учебным процессом. Этим утверждается необходимость использования тестовых форм в учебном процессе. Этого сейчас не хватает.

д) систематичности. Относится к организации учебного процесса на основе применения заданий в тестовой форме. Что позволяет испытуемому улучшить учебную работу по результатам самопроверки - самой гуманной формы контроля. Самопроверке планомерно подвергаются знания каждого учебного модуля, раздела, каждой темы. Тем самым формируется рефлексия относительно полученных знаний.

е) всесторонности. Этим принципом подчеркивается необходимость расширения круга вопросов, включаемого в содержание теста и заданий в тестовой форме. Проверяется всё, что формирует компетентность.

Из данного определения испытуемых также вытекает, что измерение уровня и структуры подготовленности должно быть добровольным.  Если это условие не выполняется, то испытуемые превращаются в подопытных лиц. Разница между испытуемыми и подопытными лицами заключается в признаке добровольности участия в тестовом процессе.

В этой связи уместно обратить внимание на ЕГЭ. Он называется экспериментом, который определяется как «научно поставленный опыт»[24]. В ч. 2, ст. 21 Конституции РФ написано: «…Никто не может быть без добровольного согласия подвергнут медицинским, научным или иным опытам». В ЕГЭ нет ничего похожего на научный эксперимент: Правительство РФ и Минобрнауки не являются научными учреждениями, они никем не уполномочены проводить эксперименты на детях, у них никогда не было, и нет по сей день, никакой научной программы своего "эксперимента", нет критериев его эффективности, не было и нет научгных гипотез, без которых эксперименты вообще не проводятся. И это знает каждый аспирант. Нет и самого главного - за несколько лет экспериметирования за счёт налогоплательщиков Правительство не опубликовало никаких правдивых научных результатов своего "эксперимента". Отчеты представляются только Правительству РФ на основании собственного же постановления №119, 2001г. Всё, что можно было засекретить, продолжает оставаться засекреченым до сих пор, хотя подобная практика наказуема по российским законам. Иногда говорят, что это не научный, а социальный эксперимент. Но тогда ситуация ещё хуже: помимо всех перечисленных научных признаков необходимо разрешение Госдумы и согласие градан стать подопытными, чего опять таки нет. В свете приведенных аргументов Действия Правительства РФ можно однозначно толковать как нелегитимные социально-образовательные и коммерческие (имея ввиду т.н. ГИФО) опыты над детьми и над кошельками их родителей. Но в законе о Правительстве РФ нет ничего похожего, что позволяло бы ему заниматься подобными «экспериментами-опытами» на детях.

Ни одно демократически ориентированное государство не вправе воздвигать барьеры перед своими гражданами. Это запрещает Конвенция ЮНЕСКО по борьбе с дискриминацией в области образования (Париж, 14 декабря 1960 г.). Россия ратифицировала ее и тем самым взяла на себя обязательства обеспечить равный для всех доступ к образованию. Как показывает мировой опыт, реальное и эффективное выполнение подобных обязательств возможно только при создании независимых общественно-профессиональных органов оценки качества образования и уровня подготовленности испытуемых. Для этого во всём мире используется качественное тестирование.

В России же произошла подмена: вместо этого был внедрён ЕГЭ. Уже приняты поправки к Закону об образовании, в соответствии с которымы ЕГЭ после 2008года должен выйти из стадии «госэксперимента» и станет обязательным для каждого. По сути, единый государственный экзамен превратится  в обязательную государственную экзекуцию каждого, кто учится в школе. Ссылки на другие страны лукавы: там нет ЕГЭ, а есть Национальные системы общественно-профессионального оценивания уровня и структуры подготовленности абитуриентов. Есть, кроме того, и Национальные системы аттестации и сертификации тех, кто хочет получить документ, подтверждающий компетенцию добровольного заявителя. Государства в этих потенциально коррупционных сферах в развитых странах нет.