3.3. ИССЛЕДОВАНИЕ ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ.

В создании тестов, как и в создании произведений искусства, успех зависит не только от оригинальности идеи, замысла и сюжета, но и от мастерского владения формой. Вот почему профессионально сделанный тест - это всегда лучшее, на текущий момент, содержание заданий и наилучшая их форма; и то, и другое - результат, появляющийся вследствие осознания важности их взаимосвязи. "Там...где создание формы, - писал Гегель, - является существенным интересом и настоящей задачей, вместе с успехами изображения незаметно и неявно движется вперед также и содержание, как и вообще мы до сих пор видели, что форма и содержание идут в своем совершенствовании рука об руку" (70; 17).

 В отличие от упрощенных философских текстов, проповедующих пассивную роль формы по сравнению с содержанием, в данной работе подчеркивается важная роль того и другого. Меняющееся от дисциплины к дисциплине содержание теста позволяет абстрагировать форму теста в качестве самостоятельного предмета теоретического исследования и рассматривать ее как не кое подобие инварианта, независимого, до некоторой степени, от конкретного содержания. Форму, таким образом, можно рассматривать как нечто сравнительно постоянное, остающееся устойчивым при изменении содержания (261; 601).

Казалось бы, важная роль формы давно должна была бы привлечь к себе внимание исследователей. Но этого, однако, не случилось. В результате возникла ситуация, подобная той, которая описана Гегелем в связи с исследованием им форм искусств. "Символическое искусство, - писал он - набрасывается на тысячи форм, не будучи в состоянии найти подлинно адекватную" (71; 17).

Задача поиска подлинно адекватной формы стоит и при создании теста. Существующее сейчас невнимание к вопросам формы оправдывается обычно подчеркиванием важности содержания теста. Но уже давно было замечено, что содержание не бесформенно; оно хорошо понимаемо только тогда, когда для него подобрана адекватная форма выражения.

В тестовой литературе нет единства не только в отношении числа форм тестовых заданий, но и в отношении их названий. Кроме того, понятия форма, вид, тип теста (задания) почти повсеместно употребляются как равнозначные. Еще сложнее обстоит дело с определением специфических свойств и требований, позволяющих отличить одну форму от другой. Гораздо лучше исследована форма традиционных вопросов и ответов: разработаны логические правила их формулирования, условия истинности и ложности, возможности компьютерного диалога в зависимости от формы вопроса. В зарубежной педагогической литературе ( 213, 233, 258, 259, 260, 264, 281, 314 и др.) рассматривают три основные формы заданий:

 1.True/False Items, которые здесь определяются несколько иначе, чем простой перевод слов, а именно - как задания с двумя ответами.

 2.Multiple Choice Items, определяемые как задания с множеством готовых ответов, из которых обычно один бывает правильным. В дальнейшем для таких заданий будет использовано более короткое определение -задания с множеством ответов.

3) Matching Items - это задания, в которых от студента требуется установить соответствие элементов одного множества элементам другого множества. Для краткости назовем их заданиями на соответствие.

В настоящей работе поставлена цель рассмотреть форму тестов и тестовых заданий как относительно самостоятельный вопрос, уходящий своими корнями в научный аппарат диалектической и формальной логики. Сама форма рассматривается как инвариант, позволяющий выразить в ней содержание любой учебной дисциплины. Возможности и плодотворность такого подхода показываются на приводимых далее примерах, в которых одна и та же форма заданий используется преподавателями самых различных вузовских дисциплин - естественно-научных, технических и гуманитарных.

В плодотворности такого анализа форм убеждает и накопленный автором опыт одновременного обучения формам тестовых заданий преподавателей различных дисциплин. Предметом изучения при этом является не содержание заданий, а форма. Хорошее владение формой заданий предполагает необходимость обращения к некоторым философским и педагогическим вопросам, и конечно, предполагает хорошее знание содержания учебной дисциплины.

Соединившись вместе с содержанием, форма придает заданию его конкретный облик. Иначе говоря, то или иное содержание обращается в определенную форму. Форма есть та внутренняя - по Аристотелю - сила, которая движет развитием вещи (70; 138). Важную роль формы неоднократно подчеркивал и Гегель: она, по его словам, не есть что-то "внешнее для содержания, а внутреннее определение содержания. А потому произведение искусства, которому недостает надлежащей формы, не есть истинное произведение искусства" (71; 225). Если тест и тестовое задание рассматривать не только как результат научного исследования, но и как произведение педагогического искусства, то отмеченные аналогии могут быть вполне уместными.

Следуя логике К.Поппера (164), весь процесс тестового контроля можно попытаться представить через взаимодействие трех основных миров.

Первый - это мир знаний. Упорядочение этого мира для целей тестирования связано с неизбежной редукцией: по вертикали - от научных знаний к учебным, по горизонтали - расчленение знаний по отдельным дисциплинам. Педагогическая деятельность по определению массива дисциплинарных знаний, необходимых для успешной подготовки специалистов, называется отбором содержания образования. Редуцирование мира знаний к миру учебных знаний является исходным пунктом построения модели подготовки специалиста. Из множества форм существования и сохранения знаний мы здесь ограничимся рассмотрением только одной - это учебные знания студентов.

Таким образом, второй интересующий нас мир - это мир студентов, в котором предстоит сосредоточить внимание только на тех, кто является - или должны являться - носителями интересующих нас дисциплинарных знаний, примерно в том объеме, в котором проводится тестирование. Задача редукции мира студентов к интересующему здесь ограниченному множеству, не является дидактической. Это научно-организационная задача, связанная с достоверностью знания о знаниях.

И наконец, третий мир - это мир заданий, используемых для обучения и контроля знаний. Сюда же можно отнести задания, еще не сформулированные, но потенциально возможные, генерируемые посредством заданного алгоритма.

Если выделение первого и второго миров не вызывает особых возражений, то в отношении третьего мира существуют мнения о нецелесообразности абстрагирования заданий от учебного процесса в целом. Однако ввиду особой важности роли заданий в современном учебном процессе такая абстракция нужна; третий мир и является такой абстракцией. Кроме того, философской и в педагогической литературе оказывается уже есть попытки строить учебный процесс сквозь призму этого мира. В соответствии с этим, вся деятельность учащихся описывается и проектируется как система процессов решения разнообразных задач (47; 3). По мнению Г.А. Балла результативность обучения в конечном счете определяется и тем, какие именно задачи, в какой последовательности и какими способами решают учащиеся (там же).

Здесь мы встречаемся, по сути, с развитием ранее высказанной В.М.Глушковым и другими авторами мысли о правомерности т.н. "проблемологии" - специальной научной дисциплины, исследующей задачи (задания), средства, способы и процессы их решения (47; 3). В связи с быстрым становлением общей науки о системах (системологии), Г.А. Балл считает целесообразным развивать общую теорию задач как ветвь системологии, рассматривая задачи как особый вид систем (там же; 5).

Задачный метод обучения присущ не только математике как считал философ Г.Э.Ильенков, но и остальным наукам. "Очевидно, - писал он, - процесс усвоения надо организовывать так, как организует его жизнь - лучший учитель. А именно, тренировать не столько память, сколько способность решать задачи, требующие самостоятельного суждения" (Цит. 47;

4). И хотя сторонники задачного подхода склонны с его помощью описывать и проектировать "всю" деятельность, вряд ли они сами считают этот подход универсальным, отменяющим другие. Этим подходом просто подчеркивается важная роль заданий в учебном процессе.

 Начиная с Аристотеля, форма понимается как идеальный принцип расположения элементов. Другое истолкование выдвинул И. Кант, согласно которому форма есть принцип упорядочения (199; 595). Эти две идеи - организации и упорядочения, плюс идея существования содержания в каких-либо формах легли в основу нашего определения формы тестовых заданий: это способ организации, упорядочения и существования содержания теста.

В методической литературе описано несколько форм, названия которых исходят из логических, психологических, дидактических, лингвистических критериев, нередко взаимоисключающих, что приводит к несогласованности понятийного аппарата.

Вследствие чего одна и та же форма у разных авторов имеет разные названия. Одна из задач данной работы - упорядочить названия форм, дать классификацию этих форм и принципов формулирования тестовых заданий. Все это не исследовано в достаточной степени, а вопрос о принципах формулирования тестовых заданий, насколько известно, вообще не ставился. Между тем, опыт практической работы по обучению профессорско-преподавательского состава вузов показал большую эффективность изучения форм в случаях, когда слушатели до составления заданий овладевают этими общими принципами.

Форма теста целиком зависит от формы входящих в него заданий. Если тест состоит из заданий одной формы, то его можно назвать моноформным; если из двух и более форм - полиформным. Для каждой формы можно определить несколько видов тестовых заданий. Легче всего это сделать для заданий закрытой формы. Здесь можно выделить задания с двумя, тремя, четырьмя, пятью и большим числом ответов. Для заданий этой же формы можно определить и несколько принципов формулирования.

Принципы формулирования тестовых заданий. Все известные в теории и практике формы тестовых заданий с некоторой долей условности можно разделить на четыре основные группы. Если к заданиям даются, на выбор, готовые ответы - обычно один правильный и остальные неправильные, то такие задания можно называть закрытыми. В отечественной литературе их нередко называют заданиями с выборочными ответами. Если же задание сформулировано так, что ответ приходится искать и затем этот ответ надо будет вписать в определенном для этого месте, то такие задания лучше называть открытыми; они открыты для любого ответа. Правильный ответ превращает задание в истинное высказывание, неправильный - в ложное.

Третью форму образуют задания, в которых элементам одного множества требуется поставить в соответствие элементы другого множества: их естественно назвать заданиями на соответствие. И наконец, четвертую форму образуют задания, в которых нужно установить правильную последовательность действий, операций, вычислений - в общем, любой фрагмент хорошо алгоритмизуемой профессиональной деятельности. Такие задания логично называть заданиями на установление правильной последовательности.

Некоторые формы можно разделить на виды. В первой, закрытой форме тестовых заданий обнаруживаются такие виды тестовых заданий, как задания с двумя, тремя, четырьмя, пятью и с большим числом ответов. На множестве заданий этих видов можно определить следующие принципы формулирования тестовых заданий. Для удобства восприятия названия принципов даются вместе с примерами. Примеры тестовых заданий разработаны слушателями Учебного Центра, учившимися у автора.

Первый принцип формулирования тестовых заданий с выбором одного правильного ответа можно назвать принципом противоположности. Лучше всего он проявляется в заданиях с двумя ответами.

1. С УВЕЛИЧЕНИИЕМ ЗАРЯДА ЯДРА АКТИВНОСТЬ ЩЕЛОЧНЫХ МЕТАЛЛОВ

1) возрастает

2) убывает

2. ПЕРЕМЕСТИТЕЛЬНОМУ ЗАКОНУ ИМПЛИКАЦИЯ

1) подчиняется

2) не подчиняется

3) ПОЛОЖИТЕЛЬНЫЕ ЗНАЧЕНИЯ ИЗГИБАЮЩЕГО МОМЕНТА НА ЭПЮРЕ

 ОТКЛАДЫВАЮТСЯ

1) вверх

2) вниз

4. ПРИ РАВЕНСТВЕ ОПРЕДЕЛИТЕЛЯ {единице} ОБРАТНАЯ МАТРИЦА                                                                      {нулю}

1) существует

2) не существует

В фигурных скобках здесь взяты два варианта задания. По аналогии с так называемой фасетной методологией создания теорий (242), задания с переменными элементами назовем фасетными.

Второй принцип вытекает из возможностей сочетания правильных и неправильных элементов в ответах. Его логично назвать принципом сочетания. Примеры:

5. РУДНЫЕ ТЕЛА МЕДНО-МОЛИБДЕНОВЫХ МЕСТОРОЖДЕНИЙ ПРЕДСТАВЛЕНЫ

1) штоками и линзами

2) штокверками и жилами

6. СЛУЖЕБНЫМИ ЧАСТЯМИ РЕЧИ ЯВЛЯЮТСЯ

1) предлоги, местоимения, частицы

2) местоимения, частицы, союзы

3) предлоги, союзы, частицы

7. ЗАРЯД ЯДРА АТОМА СОСТОИТ ИЗ

1) электронов и нейтронов

2) нейтронов и протонов

3) протонов и электронов

В процессе формирования заданий на основе принципа сочетания полезно руководствоваться правилом цепочки, в соответствии с которым последний элемент в первом ответе становится первым элементом во втором, последний элемент во втором становится первым в третьем, и т.д. что хорошо видно на приведенных здесь примерах.

Третий принцип вытекает из логической необходимости подбора элементов, рядоположенных в классификационном отношении. Например:

 8. КОНЯ АЛЕКСАНДРА МАКЕДОНСКОГО ЗВАЛИ

1) Буцефал

2) Росинант

3) Ганимед

9. В БИТВЕ ПРИ КАЛКЕ ПОГИБ

1) Илья Муромец

2) Добрыня Никитич

3) Алеша Попович

10. ОСНОВНЫМ ЭЛЕМЕНТОМ ХОХЛОМСКОЙ РОСПИСИ ЯВЛЯЕТСЯ

1) бутон                3) кудрина

2) розан                4. купавка

11. ДЛЯ ПОЛУЧЕНИЯ ПОЛИАМИДНЫХ ВОЛОКОН ИСПОЛЬЗУЮТ

1) целлюлозу

2) полиакрилонитрил

3) фиброин

4) поликапроамид

5) вискозу

Принцип, положенный в основу формулирования подобных заданий можно назвать классификационным.

Четвертый принцип формулирования тестовых заданий закрытой формы основан на идее градуирования ответов. Например:

 12. ДАЙКИ ДИАБАЗОВ НА КОЛЧЕДАННЫХ МЕСТОРОЖДЕНИЯХ ЯВЛЯЮТСЯ

1) дорудными

2) интрарудными

3) пострудными

13)ГАЗОУСТОЙЧИВОСТЬ {ПИХТЫ}

1) очень высокая

2) высокая

3) средняя

4) низкая

5) очень низкая

 В последнем задании вместо слова "пихта" можно подставить название любого интересующего дерева, что дает еще один пример фасетного задания, позволяющего с помощью такого рода вариантного подхода оценить знания, к примеру, газоустойчивости всех тех деревьев, которые требуется знать по учебной программе.

Пятый принцип основан на идее добавления элементов в каждом последующем ответе, или иначе, кумуляции. Например:

14. КОМПОНЕНТЫ НАПРЯЖЕННОГО СОСТОЯНИЯ В ТОЧКЕ ТЕЛА -

 ЭТО НАПРЯЖЕНИЯ

1) нормальные

2) нормальные и касательные

15. В МЕСТЕ ЗАДЕЛКИ БАЛКИ ДЕЙСТВУЕТ

1) сила реакции

2) сила реакции и реактивный момент

3) сила реакции, реактивный момент и сила тяжести

Шестой принцип формулирования заданий закрытой формы - это принцип удвоенной альтернативы. Примеры:

16. У МАТРИЧНОГО ПРИНТЕРА, ПО СРАВНЕНИЮ СО СТРУЙНЫМ

1) выше быстродействие и выше качество печати

2) выше быстродействие, но ниже качество печати

3) ниже быстродействие, но выше качество печати

4) ниже быстродействие и ниже качество печати

17.ПРИ ВЫВЕДЕНИИ САМОЛЕТА ИЗ {ШТОПОРА} ПИЛОТ БЕРЕТ ШТУРВАЛ

1) влево, на себя

2) влево от себя

3) вправо, на себя

4) вправо от себя

Фигурные скобки, стоящие вокруг слова " штопор" дают возможность добавить сюда варинты задания с правосторонним и левосторонним штопором, при которых действия пилота различаются.

 Автору удалось сформулировать пока только эти принципы. Вероятно, что ряд принципов или правил можно сформулировать и для заданий других форм.

 Для разработки заданий открытой формы в иностранной литературе рекомендуется придерживаться таких правил (258, 316, и др. ):

 - добавляемое слово ставится в конце;

 - добавляемое слово должно быть единственным;

 - все предложения рекомендуется делать, по возможности, короткими;

 - инструкция состоит из одного слова "Дополнить".

 Примеры:

18. ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ ________(Фалес)

19. СОБСТВЕННОЕ ВРАЩЕНИЕ ЭЛЕКТРОНА ОБУСЛОВЛЕНО_________ (спином)

Есть правила и для заданий на соответствие. Например, в задании по комедии А.С. Грибоедова "Горе от ума "(116; 23).

Установить соответствие

20. РЕПЛИКИ                                                         ПЕРСОНАЖИ

1) Счастливые часов не наблюдают                             А.Фамусов

2) Ох! басни - смерть моя!                                       Б.Молчалин

3) Ей сна нет от французских книг                                     В. Чацкий

а мне от русских больно спится                                    Г. Софья

4. Дома новы, а предрассудки стары                      Д.Хлестова

 5. И впрямь с ума сойдешь от этих                               Е.Загорецкий

 от одних от пансионов, школ,                                     Ж. Скалозуб

 лицеев...                                                                       З.Репетилов

 ОТВЕТЫ: 1Г, 2Е, 3А, 4В, 5Д.

Число элементов справа примерно в два раза больше числа элементов слева, каждому элементу левого множества ставится в соответствие один, и только один элемент из множества справа. Эти и другие правила изложены в работах (316 и др.) а также в наших работах (3, 23, 28, 30, 32).

И, наконец, четвертая форма тестовых заданий позволяет проверить знание правильной последовательности в самых разнообразных видах учебной и производственной деятельности.

Установить правильную последовательность:

21. ГОМОЛОГИЧЕСКИЙ РЯД АЛКЕНОВ

 - пропен

- пентен

 - бутен

- этен

 - гексен

 - гептен

 - октен

Основные элементы этого задания - инструкция для учащихся, название задания и его состав, прямоугольники с тире, куда испытуемые ставят числа в виде рангов, и наконец, оценка; если ранги расставлены правильно, то учащийся получает один балл, в случае хотя бы одной ошибки - ноль. Другие примеры: "УСТАНОВИТЬ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ:

22. ЗАПОЛНЕНИЕ ОРБИТАЛЕЙ ЭЛЕКТРОНАМИ

 - 4s

- 3p

 - 4f

 - 3d

 - 5p

В этом задании испытуемый получит один балл в случае, если ранги будут проставлены в последовательности: 2,1,5,4,3).

Особая полезность задания на установление правильной последовательности ощущается при проверки знаний определений. Неумение давать правильные определения является, вероятно, самым существенным недостатком, влияющим на снижение качества подготовленности. Введение заданий на установление правильной последовательности позволит иметь методическое средство, нацеленное на устранение этого недостатка. Например:

23.ТЕРМОХИМИЯ

- наука

 - превращение

 - раздел

 - изучающая

 - химическая

 - взаимное

 - тепловая

 - энергия

Эти задания можно применять не только в контролирующих, но и в контрольно-обучающих автоматизированных системах.

В заключение рассмотрим примеры так называемых псевдотестовых заданий. Эти задания внешне похожи на тестовые. Однако их отличие от тестовых состоит в том, что ответы на них статистически зависимы, то есть, вероятность правильного ответа на задание зависит от того, правильно или нет было выполнено предыдущее задание. Примером псевдотестовых заданий являются так называемые текстовые задания.

 In Britain there are a number of different kinds of institutions of higher education. First of all there are the universities . The oldest of them are Oxford and Cambridge . Their history goes back to the 12-13th centuries. But there is a large number of other universities, many of which have opened since the war .The latest of these is the Open University, a unique institution which is open to all; (255; 7). Переработано: Англ. яз. М.: ВШ, 1990.-527с).

Еще один пример псевдотестовых заданий - тематические задания по теме И н ф и н и т и в:

1. ИНФИНИТИВ СООТНОСИТСЯ С

1) существительным

 2) глаголом

 3) местоимением

2. ЯВЛЯЕТСЯ ФОРМОЙ

1) личной

2) неличной

3. В РУССКОМ ЯЗЫКЕ СООТВЕТСТВУЮЩАЯ ФОРМА

1) имеется

2) не имеется

4. ПОСЛЕ МОДАЛЬНЫХ ГЛАГОЛОВ CAN, MAY, MUST ЧАСТИЦА TO ПЕРЕД ИНФИНИТИВОМ

1) употребляется

2) не употребляется

5. ИНФИНИТИВ В ФУНКЦИИ СКАЗУЕМОГО УПОТРЕБЛЯТЬСЯ

1) может

2) не может

6. TO BE SPOKEN - ЭТО ИНФИНИТИВ

1) пассивный

2) перфектный

3) длительный

4) перфектно-длительный

Выделенные здесь четыре формы тестовых и псевдотестовых заданий не охватывают, конечно, все многообразие имеющихся форм контроля знаний. Это только основные, самые подходящие для автоматизированного контроля знаний. Большинство других форм - устный опрос, экзамен и т.п. рассчитаны на непосредственное использование труда преподавателей, а это довольно неэффективно и утомительно. Ни один преподаватель не имеет физической возможности опросить каждого ученика по всем требуемым вопросам и элементам знаний. Такую возможность имеет только ЭВМ, и потому самая эффективная система всеобъемлющего контроля - это автоматизированный контроль, если он проводится правильно. Но для создания и функционирования такой системы нужно решить ряд вопросов, которые можно отнести к методологии тестового педагогического контроля.

Методологические основы этого контроля рассматриваются в следующей главе.

3.4 ВЫВОДЫ ПО ТРЕТЬЕЙ ГЛАВЕ

1. Главный вопрос теории тестов - это определение теста. Данное здесь определение позволяет преодолеть упрощенное истолкование теста как игры, совокупности задач, вопросов, примеров и упражнений. Педагогический тест - это система фасетных заданий определенного содержания, возрастающей трудности, специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений.

2. Показано, что тест отличается от множества других методов проверки знания двумя, в первую очередь, системными свойствами - составом и структурой, а также качеством и эффективностью получаемой информации. Состав теста существенно зависит от цели и времени тестирования, содержания и формы заданий. Тест только тогда можно считать научно обоснованным, когда все задания сформулированы в соответствии с установленными требованиями. Включение в определение теста определяющих - специфических и существенных - признаков позволяет отнести это определение к числу эффективных, что способствует безошибочной демаркации тестов от псевдотестов.

3. Содержание теста здесь определено как отображение содержания учебной дисциплины в системе заданий. Отображение проводится посредством выделения основных единиц учебного материала и формирования из них так называемых укрупненных дидактических единиц. Эти единицы используются далее в форме материала для обучения и материала для контроля. В тест включаются задания возрастающей трудности. Задания различного содержания, имеющие одинаковую меру трудности могут использоваться для создания параллельных тестов.

4.Основные требования к содержанию теста - это требования предметной и формальной чистоты, логической правильности формулирования тестовых заданий, уровень трудности, степень значимости учебного и контрольного материала в структуре знаний. Сформулированы принципы отбора содержания тестовых заданий: научная достоверность, соответствие современному уровню знаний, репрезентативность, возрастающая трудность, вариативность и системность содержания, комплексность и сбалансированность, взаимосвязь содержания и формы.

5. Выделены четыре основные формы тестовых заданий, названные заданиями с выбором одного правильного ответа закрытой и открытой формы, на соответствие и установление правильной последовательности. К псевдотестовым заданиям отнесены так называемые цепные задания, тематические и текстовые. Основанием проведенной классификации форм заданий являются педагогические, логические, технологические и математико-статистические критерии.

6. В числе сформулированных здесь принципов разработки тестовых заданий закрытой формы - принципы альтернативы, противоположности, сочетания, кумуляции, градуированности, классификации, удвоенной альтернативы. Эти принципы позволяют преподавателям создавать задания, необходимые и достаточные для выявления уровня и структуры знаний.