ПРИМЕНЕНИЕ ТЕСТОВЫХ ФОРМ В e-Learning

Вадим Аванесов

testolog@mail.ru

Постановка проблемы

Цель статьи – рассмотреть возможности существенного улучшения качества образования на основе соединения технологии e-Learning и широкого применения заданий в тестовой форме.

e-Learning переводится обычно как электронное обучение. Второй перевод - дистанционное образование. Но оба эти толкования ограничены и не точны. Что объясняет причину сохранения оригинального английского названия в заголовке и в тексте данной статьи. Первый перевод отражает техническую сторону обеспечения образовательного процесса, другой - форму технологически оснащенного, в общем, заочного образования. На самом деле, понятие e-Learning объединяет оба эти смысла и распространяется, кроме заочного, на очное образование, а также включает идею необходимости специальной разработки педагогического содержания (контента) для такого обучения.

Многие авторы пишут о применении тестов в дистанционном образовании, но это верно лишь в той части, которая касается итогового контроля знаний. В текущем контроле и в самообразовании применяются не тесты, а задания, которые автор этой статьи называет заданиями в тестовой форме. Различаются эти понятия не только по названию, но и по существу. С помощью тестов проверяется уровень итоговой подготовленности, посредством же применения заданий в тестовой форме этот уровень создаётся. Не случайно на Западе применение различных тестовых форм в образовательном процессе рассматривается как ведущая проблема педагогической науки и практики XXI века^[1]. В России и Украине такая проблема, насколько известно, пока не ставилась и не обсуждалась.

Ключ к решению этой проблемы дают теория педагогических измерений и методика формулирования заданий в тестовой форме, а также теория написания педагогических текстов. Но если первая упомянутая теория и методика получила развитие в трудах автора этой статьи^[2], то теория написания учебных текстов всё ещё находится в зачаточном состоянии. Отчасти это происходит потому, что написание хороших учебных текстов является не только научной деятельностью, но и искусством. И это, скорее всего, верно. Например, можно научиться складывать стихи, но возникнет ли из этого поэзия? 80 процентов негодных школьных учебников, выпущенных в России в последние годы, вполне убеждает в некоторой правильности данного тезиса^[3].

Определение e-Learning

К достоинствам e-Learning относятся возможности обучать как в очной, так и в заочной форме, индивидуализировать, адаптировать образовательные программы и учебные материалы, заменять, где целесообразно, малопроизводительный живой труд педагогов овеществлёнными формами труда, в виде компьютерных программ и пособий, а также обучать нескольких групп учащихся или студентов сразу. Такие возможности позволяют тысячекратно, и более раз, увеличить производительность труда педагогов, если поставить e-Learning на качественную научно-педагогическую, технологическую и экономическую основу.

Использование e-Learning позволяет рассматривать обучающегося как центральную фигуру образовательного процесса, что ведет к изменению стиля взаимоотношений. При этом учитель перестает быть основным источником информации; он занимает позицию человека, организующего самостоятельную деятельность учащихся, и управляющего ею. Его основная роль состоит теперь в постановке целей обучения, организации педагогических условий, необходимых для успешного решения образовательных задач. Таким образом, ученик учится, а учитель создает условия для учения. Авторитарная по своей сути классическая образовательная технология принуждения трансформируется в личностно-ориентированную педагогику развития^[4].

Уровни рассмотрения e-Learning

Как и всякую масштабную деятельность, e-Learning полезно рассматривать на четырёх взаимосвязанных уровнях – практики, методики, теории и методологии.

На уровне практики e-Learning можно рассматривать как глобальную проблему создания программно-методических и учебно-технических комплексов, позволяющих учащимся и студентам всего мира самостоятельно усваивать множество учебных курсов. По каждой изучаемой дисциплине курс объединяет в себе свойства нового учебника, заданий в тестовой форме для выполнения самостоятельной работы, справочника, системы текущего и итогового контроля усвоения учебного материала. В курсах можно моделировать интересующие процессы и объекты, создавать систему контекстных подсказок и ссылок, проводить необходимые вычисления.

На уровне методики e-Learning требуются соответствующие разработки по информатике, технике и программированию, педагогике и педагогическим измерениям, по психологии и эстетике. Учебные пособия для e-Learning исходят из необходимости заметного сокращения и логического структурирования текста, разбиения текста на небольшие абзацы. Кроме того, важны требования наглядности учебных материалов, использования гипертекстовых ссылок, организации удобного перехода от страницы к странице, в прямом и обратном направлениях, а также необходимости организации своевременной и эффективной помощи учащимся при учебных затруднениях.

Теория e-Learning интенсивно развивается, но пока ещё не сложилась в сколько-нибудь законченном виде. В неё могут войти, в качестве основы, педагогическая теория, в сильно обновлённом варианте специальной педагогики, вместе с элементами информатики, программирования и педагогической теории измерений.

На уровне разработки методологии e-Learning предстоит усилить внимание к таким внеинформационным факторам, как четкие формулировки целей и задач учебной деятельности. Предстоит повысить измеримость получаемых результатов, разработать системы показателей эффективности и качества используемой технологии. В условиях дальнейшей информатизации учебного процесса эти вопросы выйдут, по значимости, на первый план.

Задания в тестовой форме

Педагогические задания в тестовой форме определяются автором данной статьи как технологичное средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению качества знаний, а также повышению эффективности педагогического труда. Эти удивительно полезные свойства оказались, к сожалению, мало востребованы нынешней педагогикой. В зарубежном образовании доля использования заданий в тестовой форме в практике обучения существенно выше, что объясняется образовательной политикой, педагогическими теориями, методиками, большими масштабами использования техники и образовательных технологий.

В качестве основы для разработки заданий в тестовой форме автор этой статьи уже много лет предлагает использовать не вопросы, а высказывания. Преимущества этой основы вытекают из отличия высказываний от вопросов: истинность или ложность высказывания легко определяется по логическим правилам, в то время как вопросы сами по себе ни истинны, ни ложны. Предлагаемая основа открывает возможности эффективной компьютеризации контроля знаний. Компьютер безошибочно воспринимает правила определения истинности или ложности высказываний, равно как и решающие правила определения таких высказываний.

Задания в тестовой форме ранее определялось перечислением ряда их существенных свойств (признаков)[5]. К заданиям в тестовой форме предъявляется такой набор требований:

- краткость;

- технологичность

- правильность формы;

- корректность содержания

- логическая форма высказывания;

- одинаковость правил оценки ответов;

- наличие определенного места для ответов;

- правильность расположения элементов задания;

- одинаковость инструкции для всех испытуемых;

- адекватность инструкции форме и содержанию задания^[6].

Новыми в приведённом определении являются требования корректности содержания и требование технологичности заданий. Первое из них является условием предметной правильности сформулированного содержания заданий. Достижение этого условия зависит от компетентности разработчика заданий и от экспертов, проверяющих содержательную правильность суждений, положенных в основу задания.

Технологическое преимущество заданий тестовой формы проявляется в их соответствии требованиям автоматизации рутинных компонентов обучения и контроля знаний. Еще А.С. Макаренко указывал на необходимость переноса технологии в педагогику, подчеркивая, что наше педагогическое производство никогда не строилось по технологической логике, а основывалось лишь на логике моральной проповеди. Помимо технологичности, задания в тестовой форме выгодно отличается свойствами эффективности, краткости, лучшей понимаемости смысла заданий, создания условий для возможности быстрого ответа учащихся и определения меры трудности каждого задания.

Семантическое преимущество заданий заключается в лучшем понимании их смысла и значения. Это связано, во-первых, с тщательным подбором словесного состава заданий в тестовой форме: смысл короткого высказывания в утвердительной форме улавливается лучше, чем смысл громоздких вопросов.

Научно-методическая ориентация педагогов-технологов на широкое использование обучающего потенциала заданий в тестовой форме в системе e-Learning даёт начало новой образовательной технологии. В этой технологии задания начинают выполнять функцию не только самоконтроля, но и организации образовательной и самообразовательной деятельности, делая это самым технологичным и эффективным образом. С точки зрения разрабатываемой автором теории педагогических измерений^[7], главным средством обучения в e-learning могут и должны стать не тесты, а задания в тестовой форме.

Посмотрим примеры заданий в тестовой форме по математике, подготовленные для применения в учебном процессе. Вообще зЗадания с двумя ответами применяются не столько для контроля (что связано с высокой вероятностью угадывания правильного ответа), сколько для самоконтроля и повышения интереса к изучению учебной дисциплины.

1. ЕСЛИ A U B = {A}, ТО ЭТО ОЗНАЧАЕТ, ЧТО

1)    A включено в B

2)    B включено в A

 

2. ЕСЛИ A / B = Ø , ТО ЭТО ОЗНАЧАЕТ, ЧТО

3)    A включено в B

4)    B включено в A

Примеры заданий с выбором нескольких правильных ответов, которые обычно много лучше заданий с выбором одного правильного ответа.

3. ЧИСЛО ПОДМНОЖЕСТВ МНОЖЕСТВА А={a, b, c} РАВНО

1) 3 6) 8

2) 4 7) 9

3) 5 8) 10

4) 6 9) 11

5) 7 10) 12

Ещё большую ценность в учебном процессе e-Learning могут приобрести совокупности тематических заданий. Например:

4. ПРОИЗВОДНАЯ ФУНКЦИИ y = x² - 2

1)2х 3) 2х-2 5) 2x-1

2)-2 4) х/2 6) x³-2x

ПРОМЕЖУТКИ ВОЗРАСТАНИЯ ПРОИЗВОДНОЙ

1) (-∞;0) 3) (-∞;+∞)

2) (0;+ ∞) 4) (2; + ∞)

ПРОМЕЖУТКИ УБЫВАНИЯ ПРОИЗВОДНОЙ

1) (-∞;0) 3) (0;+ ∞)

2) ( -∞;+∞) 4) (-∞;2)

Тестовые задания и тест

Не все задания в тестовой форме могут стать тестовыми заданиями: это очень различающиеся понятия.

Тестовое задание – составная единица теста, отвечающая содержательно-педагогическим требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: известной трудности, достаточной вариации тестовых баллов испытуемых по заданию, положительной корреляцией ответов по заданию с исходными тестовыми баллами испытуемых. Такая корреляция указывает на способность заданий различать хорошо подготовленных учащихся от плохо подготовленных.

Для того, чтобы задание можно было включить в тест, его проверяют по множеству и других формальных математико-статистических требований. Это обычно выполняется с помощью статистических пакетов RUMM-2020 и WINSTEPS, которые созданы специально для углубленного анализа формальных свойств тестовых заданий, а также для проведения дуального (conjoint) шкалирования уровней трудности заданий и уровней подготовленности испытуемых. Именно этот смысл, а не «калибровка», следует из английского словосочетания test calibration. Свойства тестовых заданий были рассмотрены в недавних статьях и работах автора^[8].

Задания имеют шанс стать тестовыми только после эмпирической проверки их статистических свойств, на типичных группах испытуемых.

В чём отличие теста от тестовых заданий? Обновлённое и слегка сокращённое определение педагогического теста – это система заданий равномерно возрастающей трудности, позволяющая оценить структуру и качественно измерить уровень подготовленности испытуемых. Тесты применяются для объективизации итогового контроля результатов обучения.

При культурном тестировании каждое задание теста должно обязательно иметь параллельные задания. Параллельными называются задания, имеющие сходное содержание из одной и той общей дидактической единицы, примерно совпадающие меры трудности и вариации результатов испытуемых.

Недавно было объявлено, что впервые у каждого выпускника 2008г. будет индивидуальный экзаменационный пакет, и что именно таким образом Рособрнадзор отвечает на обвинения в свой адрес по поводу незащищенности т.н. контрольно-измерительных материалов. Поскольку никакой информации о параллельности заданий не поступало, то смысл объявленного новшества можно понимать примерно так: за годы «эксперимента» в Рособрнадзоре научились создавать сотни тысяч (если не миллион) вариантов параллельных заданий к т.н.КИМам.

Но это шаг в ошибочном направлении. Чем больше вариантов, тем больше они будут отличаться один от другого. Погоня за уникальностью экзаменационного пакета обернётся обнулением и без того низкой надёжности результатов ЕГЭ. Авторы очень известной на Западе книги Fundamentals of Item Response Theory^[9] пишут, что очень трудно, или даже невозможно, создать параллельные варианты теста, для проверки надёжности тестовых результатов. Тем более, создать столько вариантов. Все варианты к каждому заданию, по каждому предмету, должны иметь общее содержание и обеспечивать хотя бы примерное равенство средних арифметических показателей и показателей вариации по каждому заданию. Только тогда обеспечивается справедливость и объективность выставляемых оценок^[10].

Случилось так, что обнародовать реальную статистику о мере трудности и вариации вариантов каждого экзаменационного пакета может только руководитель Рособрнадзора, и больше никто. Ситуация с незаконным засекречиванием общественно и личностно значимой информации продолжается все восемь лет «эксперимента, и нет признаков, что она изменится. Но пора понять, что без научно обоснованных и эмпирически проверенных параллельных вариантов заданий подобные тиражи «госэкзамена» реально нарушают права каждого выпускника на справедливую оценку.

Авторов упомянутой зарубежной книги понять можно. Между тем, создание параллельных заданий заметно облегчается, если создатели заданий владеют методикой создания фасетных заданий в рамках педагогической теории измерений. А значит, и критика классической теории могла бы быть более благожелательной, тем более, что в той же книге сказано, что эта теория хорошо послужила.

Остаётся напомнить, что фасет – это форма записи возможных параллельных вариантов задания, что является обязательным требованием при разработке теста, имеющего на каждое задание набор параллельных заданий. Все элементы одного фасета априорно считаются одинаково трудными по содержанию, что требует последующего эмпирического подтверждения. Каждому испытуемому компьютерная программа подбирает один вариант из фасета.

Фасетные задания открывают новые возможности широко использовать классическую теорию и имеющийся там статистический аппарат.

 

Новые тестовые формы

В современно организованном процессе e-Learning задания в тестовой форме должны применяться в комбинации с краткими учебными текстами, в больших количествах. Например, при изучении анатомии - это проверка знания названий всех костей и мышц, в фармакологии - названий всех лекарств, применяемых в лечении всех изучаемых болезней. В химии с помощью компьютера и заданий в тестовой форме проверяется знание всех изучаемых элементов и соединений и т.д.

В общем, применение заданий в тестовой форме объясняется возможностью организовать тотальный контроль усвоения всех необходимых знаний, в лучшем смысле этих слов. Ни один другой метод такой удивительной возможности не предоставляет. И это одна из самых привлекательных сторон системы e-Learning, если она используется в сочетании с применением заданий в тестовой форме.

В наши дни задания в тестовой форме начинают применяться не только для начального этапа разработки тестовых заданий и тестов, но и для организации эффективной самостоятельной работы. Тем самым, возникает новая ситуация, меняющая обычные представления о тестовых формах как о средстве, применяемых исключительно для контроля уровня подготовленности.

Обычно используются задания с выбором одного правильного ответа. Такие задания широко применяются во всех российских и зарубежных центрах тестирования. При выборе из пяти ответов правильные ответы могут быть угаданы примерно в пятой части от общего числа заданий. В итоге испытуемые получают баллы, которые они не заслуживают. Это одна из самых распространенных форм искажения тестовых результатов за счет устарелой и несовершенной формы заданий. Вместо заданий с выбором одного правильного ответа надо переходить, где есть педагогический смысл, к заданиям с выбором нескольких правильных ответов, из большего числа ответов, предлагаемых на выбор.

Посмотрим на некоторые примеры:

1. В СТИЛЕ БАРОККО ПОСТРОЕНЫ

1) Смольный собор 5) Здания Сената и Синода

2) Зимний дворец 6) Мраморный дворец

3) Казанский собор 7) Александринский театр

4) Кунсткамера 8) Книжная палата

 

2. БУКВА «О» ПИШЕТСЯ В CЛОВАХ

1) упл…тнить сроки

2) обн…жить пороки

3) р…птать на судьбу

4) прил…скать собаку

5) отк…заться от услуг

6) опр…вдать поступок

7) угр…жать расправой

8) в…пиющий произвол

9) раск…лить сковороду

10) усл…жнить обстановку

Полностью ответы на задания с выбором нескольких правильных ответов практически не угадываемы. При, например, четырёх правильных ответах из двенадцати вероятность угадать именно четыре требуемых ответа меньше одной тысячной. Помимо практической невозможности угадывания правильных ответов, повышения трудности и технологичности, задания с выбором нескольких правильных ответов позволяют проверить знания полнее, глубже и точнее. За ответы на подобные задания испытуемые могут получить от нуля до двух, а иногда и три балла, что повышает вариацию исходных тестовых баллов и, как следствие, повышает точность педагогического измерения знаний студентов.

Для создания параллельных вариантов теста полезно применять так называемые фасеты. Фасет – это форма записи возможных параллельных вариантов задания, что является обязательным требованием при разработке теста, имеющего на каждое задание набор параллельных заданий. Все элементы одного фасета априорно считаются одинаково трудными по содержанию, что требует последующего эмпирического подтверждения. Здесь они представлены в фигурных скобках. Это пример записи задания, предназначенной для преподавателя и программиста. Каждому испытуемому компьютерная программа подбирает один вариант из фасета:

3. СКАЗАЛ(А)

1) Гамлет 6) Лаэрт

2) Офелия 7) Актёр

3) Полоний 8) Горацио

4) Клавдий 9) Гертруда

5) Фортинбрас 10) Розенкранц

Испытуемые не знают, какой элемент из фасета (в фигурных скобках) им выдаст машина. Это обстоятельство делает фасетные задания с выбором из большого числа ответов достаточно трудными.

Помимо заданий с выбором нескольких правильных ответов в самостоятельной работе студентов желательно использовать так называемые сдвоенные задания.

4. ВОССТАНИЕ ПОД РУКОВОДСТВОМ Т.КОСТЮШКО НАЧАЛОСЬ

1)23 марта 1791г. 4) 7 мая 1794 г.

2)3 мая 1791г. 5) 6 июня 1794 г.

3)7 июня 1791г. 6) 24 марта 1794 г.

В ГОРОДЕ 1) Краков

2) Варшава

3) Вильно

4) Лодзь

5) Люблин 

5. МЕТОД ГЛУБОКОГО ФТОРИРОВАНИЯ ПРЕДЛОЖЕН

1) П. Дауге 3) А. Лимбергом

2) П. Леусом 4) А. Кнаппвостом

 

ЭТОТ МЕТОД ПРИМЕНЯЕТСЯ ПРИ ЛЕЧЕНИИ

1) кариеса 3) гиперестезии 5) периодонтита

2) пульпита 4) эрозии эмали 6) клиновидного дефект

 

6. ЧТО ВЫ ЧИТАЕТЕ…? – СПРОСИЛ (А)

1) Офелия 5) Лаэрт

2) Полоний 6) Горацио

3) Клавдий 7) Гертруда

4) Гамлет 8) Фортинбрас

 

«СЛОВА, СЛОВА, СЛОВА» - последовал ответ

1) Офелии 5) Лаэрта

2) Полония 6) Гамлета

3) Клавдия 7) Гертруды

4) Горацио 8) Фортинбраса

За правильный ответ в каждом из сдвоенных заданий испытуемый получает по одному баллу. Таким образом, оценки за такие задания могут варьировать от двух до нуля.

В e-Learning очень полезны задания к учебным текстам. Например, студентам даются заметно сокращённые учебные тексты. Затем из них удаляют ключевые слова, и ставят на их место прочерк. Те, кто внимательно изучил текст, смогут восполнить пропущенные слова. Остальным придётся читать текст и изучать его заново – до тех пор, пока материал не будет усвоен. Пример текста:

ОЛИВЕР ХЕВИСАЙД^[8]

Оливер Хевисайд был выдающимся ученым. Он жил в период с 1850 по 1920 годы. Современниками он не был признан. Его можно назвать создателем формулы, известной сейчас как формула Эйнштейна_. Операцию интегрирования О.Хевисайд сделал сводимой к делению на комплексное число. Он подсчитал меру излучения движущегося электрона, предсказал наличие в верхних слоях атмосферы ионизированного слоя, отражающего радиоволны».

Из этого фрагмента делаются задания в тестовой форме.

ОЛИВЕР ХЕВИСАЙД

1. ОЛИВЕР ХЕВИСАЙД БЫЛ _______ УЧЕНЫМ.

2. ОН ЖИЛ В ПЕРИОД С 1850 ПО ______₍₂₎ ГОДЫ.

3. СОВРЕМЕННИКАМИ ОН БЫЛ₎

1) признан

2) не признан.

 

4. ЕГО МОЖНО НАЗВАТЬ СОЗДАТЕЛЕМ ФОРМУЛЫ, ИЗВЕСТНОЙ СЕЙЧАС КАК ФОРМУЛА (4)

1)    Бора

2)    Манделя

3)    Резерфорда

4)    Эйнштейна

5)    Мёссбауэра

5. ОПЕРАЦИЮ ИНТЕГРИРОВАНИЯ О.ХЕВИСАЙД СДЕЛАЛ СВОДИМОЙ К ДЕЛЕНИЮ НА _________. ЧИСЛО.

6. ОН ПОДСЧИТАЛ МЕРУ ИЗЛУЧЕНИЯ ДВИЖУЩЕГОСЯ _________₍₆₎

7. ОН ПРЕДСКАЗАЛ НАЛИЧИЕ В ВЕРХНИХ СЛОЯХ АТМОСФЕРЫ ИОНИЗИРОВАННОГО СЛОЯ, ОТРАЖАЮЩЕГО ___________₍₇₎….

За каждое правильно восстановленное слово студент получает один балл. В каждом тексте требуется восполнение всех (100%) ключевых слов. И только после этого студент приступает к изучению других текстов.

 

Требования к тестовой технологии обучения в e-Learning

XXI век предъявляет три главных требования к тестовой технологии обучения: это адаптивность, качество и эффективность.

Адаптивность технологий предполагает приоритет личности учащихся и необходимость создания таких технологий, которые способны реагировать на индивидуальные различия испытуемых. Создаются новые учебные тексты возрастающего уровня трудности и подбирается мера трудности заданий, в зависимости от успешности ответов на предыдущие задания. Качество технологии связано преимущественно с устойчивой и высокоскоростной работой технических и программных средств обучения, а также с качеством отдельных заданий в тестовой форме, с надежностью и валидностью тестовых результатов^[11]. Эффективность технологий предполагает уменьшение отношения затраты /результаты.

Основные направления развития тестовых технологий в e-Learning:

-разработка большого числа заданий в тестовой форме для массированного их применения, особенно в той части, которая проводится как самостоятельная работа.

- эмпирическая апробация тех заданий, которые планируется использовать для создания теста;

- обучение преподавательского состава вузов, средних специальных учебных заведений и учителей школ по вопросам методики тестового контроля знаний;

- организация научных публикаций по данной проблеме;

- техническое и научное оснащение тестового процесса.

Вывод. Применение заданий в тестовой форме, в сочетании с образовательными технологиями e-Learning позволит обеспечить высокий уровень усвоения учебного материала, последовательность и прочность его изучения, кардинальное улучшение учебного процесса за счёт активизации обучающей, контролируюшей, организующей, диагностирующей, воспитательной и мотивирующей функции таких заданий.