Текст доклада докт. пед. наук, проф. Вадима Аванесова на 3-ей Международной научно-практической конференции "Современные информационные технологии и ИТ-Образование". М.: Факультет вычислительной математики и кибернетики МГУ им. М.В.Ломоносова. 6-9 декабря 2008г.
Постановка проблемы
Цель доклада - рассмотреть возможности существенного улучшения качества образования на основе соединения технологии e-Learning и широкого применения заданий в тестовой форме.
e-Learning переводится обычно как электронное обучение. Второй перевод - дистанционное образование. Но оба эти перевода ограничены и не точны. Что объясняет причину сохранения оригинального английского названия в заголовке и в тексте данного доклада. Первый перевод отражает техническую сторону обеспечения образовательного процесса, другой - форму технологически оснащенного, в общем, заочного образования. На самом деле, понятие e-Learning объединяет оба эти смысла и распространяется, кроме заочного, на очное образование, а также включает идею необходимости специальной разработки педагогического содержания (контента) для такого обучения.
Многие авторы пишут о применении тестов в дистанционном образовании, но это верно лишь в той части, которая касается итогового контроля знаний. В текущем контроле и в самообразовании применяются не тесты, а задания, которые автор этой статьи называет заданиями в тестовой форме. Различаются эти понятия не только по названию, но и по существу. С помощью тестов проверяется уровень итоговой подготовленности, посредством же применения заданий в тестовой форме этот уровень создаётся. Не случайно на Западе применение различных тестовых форм в образовательном процессе рассматривается как ведущая проблема педагогической науки и практики XXI века (1). В России такая проблема, насколько известно, пока не ставилась и не обсуждалась.
Ключ к решению этой проблемы дают теория педагогических измерений и методика формулирования заданий в тестовой форме, а также теория написания педагогических текстов. Но если первая упомянутая теория и методика получила развитие в трудах автора этой статьи , то теория написания учебных текстов всё ещё находится в зачаточном состоянии. Отчасти это происходит потому, что написание хороших учебных текстов является не только научной деятельностью, но и искусством. И это, скорее всего, верно. Например, можно научиться складывать стихи, но возникнет ли из этого поэзия? 80 процентов негодных школьных учебников, выпущенных в России в последние годы, вполне убеждает в некоторой правильности данного тезиса .
Определение e-Learning
К достоинствам e-Learning относятся возможности обучать как в очной, так и в заочной форме, индивидуализировать, адаптировать образовательные программы и учебные материалы, заменять, где целесообразно, малопроизводительный живой труд педагогов овеществлёнными формами труда, в виде компьютерных программ и пособий, а также обучать нескольких групп учащихся или студентов сразу. Такие возможности позволяют тысячекратно, и более раз, увеличить производительность труда педагогов, если поставить e-Learning на качественную научно-педагогическую, технологическую и экономическую основу.
Использование e-Learning позволяет рассматривать обучающегося как центральную фигуру образовательного процесса, что ведет к изменению стиля взаимоотношений. При этом учитель перестает быть основным источником информации; он занимает позицию человека, организующего самостоятельную деятельность учащихся, и управляющего ею. Его основная роль состоит теперь в постановке целей обучения, организации педагогических условий, необходимых для успешного решения образовательных задач. Таким образом, ученик учится, а учитель создает условия для учения. Авторитарная по своей сути классическая образовательная схема принуждения трансформируется в личностно-ориентированную педагогику развития .
Уровни рассмотрения e-Learning
Как и всякую масштабную деятельность, e-Learning полезно рассматривать на четырёх взаимосвязанных уровнях - практики, методики, теории и методологии.
На уровне практики e-Learning можно рассматривать как глобальную проблему создания программно-методических и учебно-технических комплексов, позволяющих учащимся и студентам всего мира самостоятельно усваивать множество учебных курсов. По каждой изучаемой дисциплине курс объединяет в себе свойства нового учебника, заданий в тестовой форме для выполнения самостоятельной работы, справочника, системы текущего и итогового контроля усвоения учебного материала. В курсах можно моделировать интересующие процессы и объекты, создавать систему контекстных подсказок и ссылок, проводить необходимые вычисления.
На уровне методики e-Learning требуются соответствующие разработки по информатике, технике и программированию, педагогике и педагогическим измерениям, по психологии и эстетике. Учебные пособия для e-Learning исходят из необходимости заметного сокращения и логического структурирования текста, разбиения текста на небольшие абзацы. Кроме того, важны требования наглядности учебных материалов, использования гипертекстовых ссылок, организации удобного перехода от страницы к странице, в прямом и обратном направлениях, а также необходимости организации своевременной и эффективной помощи учащимся при учебных затруднениях.
Теория e-Learning интенсивно развивается, но пока ещё не сложилась в сколько-нибудь законченном виде. В неё могут войти, в качестве основы, педагогическая теория и в сильно обновлённом варианте педагогика, вместе с элементами информатики, программирования и педагогической теории измерений.
На уровне разработки методологии e-Learning предстоит усилить внимание к таким внеинформационным факторам, как четкие формулировки целей и задач учебной деятельности. Предстоит повысить измеримость получаемых результатов, разработать системы показателей эффективности и качества используемой технологии. В условиях дальнейшей информатизации учебного процесса эти вопросы выйдут, по значимости, на первый план.
Задания в тестовой форме
Педагогические задания в тестовой форме определяются автором данной статьи как технологичное средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению качества знаний, а также повышению эффективности педагогического труда . Эти удивительно полезные свойства оказались, к сожалению, мало востребованы нынешней педагогикой. В зарубежном образовании доля использования заданий в тестовой форме в практике обучения существенно выше, что объясняется образовательной политикой, педагогическими теориями, методиками, большими масштабами использования техники и образовательных технологий.
В качестве основы для разработки заданий в тестовой форме автор этой статьи уже много лет предлагает использовать не вопросы, а высказывания. Преимущества этой основы вытекают из отличия высказываний от вопросов: истинность или ложность высказывания легко определяется по логическим правилам, в то время как вопросы сами по себе ни истинны, ни ложны. Предлагаемая основа открывает возможности эффективной компьютеризации контроля знаний. Компьютер безошибочно воспринимает правила определения истинности или ложности высказываний, равно как и решающие правила определения таких высказываний.
Задания в тестовой форме ранее определялось перечислением ряда их существенных свойств (признаков) . К заданиям в тестовой форме предъявляется такой набор требований (3):
- краткость;
- технологичность
- правильность формы;
- корректность содержания
- логическая форма высказывания;
- одинаковость правил оценки ответов;
- наличие определенного места для ответов;
- правильность расположения элементов задания;
- одинаковость инструкции для всех испытуемых;
- адекватность инструкции форме и содержанию задания .
Новыми в приведённом определении являются требования корректности содержания и требование технологичности заданий. Первое из них является условием предметной правильности сформулированного содержания заданий. Достижение этого условия зависит от компетентности разработчика заданий и от экспертов, проверяющих содержательную правильность суждений, положенных в основу задания.
Технологическое преимущество заданий тестовой формы проявляется в их соответствии требованиям автоматизации рутинных компонентов обучения и контроля знаний. Еще А.С. Макаренко указывал на необходимость переноса технологии в педагогику, подчеркивая, что наше педагогическое производство никогда не строилось по технологической логике, а основывалось лишь на логике моральной проповеди. Помимо технологичности, задания в тестовой форме выгодно отличается свойствами эффективности, краткости, лучшей понимаемости смысла заданий, создания условий для возможности быстрого ответа учащихся и определения меры трудности каждого задания.
Семантическое преимущество заданий заключается в лучшем понимании их смысла и значения. Это связано, во-первых, с тщательным подбором словесного состава заданий в тестовой форме: смысл короткого высказывания в утвердительной форме улавливается лучше, чем смысл громоздких вопросов.
Научно-методическая ориентация педагогов-технологов на широкое использование обучающего потенциала заданий в тестовой форме в системе e-Learning даёт начало новой образовательной технологии. В этой технологии задания начинают выполнять функцию не только самоконтроля, но и организации образовательной и самообразовательной деятельности, делая это самым технологичным и эффективным образом. С точки зрения разрабатываемой автором теории педагогических измерений, главным средством обучения в e - learning могут и должны стать не тесты, а задания в тестовой форме.
Тестовые задания и тест
Не все задания в тестовой форме могут стать тестовыми заданиями.
Тестовое задание - составная единица теста, отвечающая содержательно-педагогическим требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: известной трудности, достаточной вариации тестовых баллов испытуемых по заданию, положительной корреляцией ответов по заданию с исходными тестовыми баллами испытуемых. Такая корреляция указывает на способность заданий различать хорошо подготовленных учащихся от плохо подготовленных.
Для того, чтобы задание можно было включить в тест, его проверяют по множеству и других формальных математико-статистических требований. Это обычно выполняется с помощью статистических пакетов RUMM -2020 и WINSTEPS, которые созданы специально для углубленного анализа формальных свойств тестовых заданий, а также для проведения дуального (conjoint) шкалирования уровней трудности заданий и уровней подготовленности испытуемых. Именно этот смысл, а не "калибровка", следует из английского словосочетания test calibration . Свойства тестовых заданий были рассмотрены в недавних статьях и работах автора.
Задания имеют шанс стать тестовыми только после эмпирической проверки их статистических свойств, на типичных группах испытуемых.
В чём отличие теста от тестовых заданий? Обновлённое и слегка сокращённое определение педагогического теста - это система вариативных заданий равномерно возрастающей трудности, позволяющая оценить структуру и качественно измерить уровень подготовленности испытуемых. Тесты применяются для объективизации итогового контроля результатов обучения.
При культурном тестировании каждое задание теста должно обязательно иметь параллельные задания. Параллельными называются задания, имеющие сходное содержание из одной и той общей дидактической единицы, примерно совпадающие меры трудности и вариации результатов испытуемых.
Недавно было объявлено, что впервые у каждого выпускника 2008г. будет индивидуальный экзаменационный пакет, и что именно таким образом Рособрнадзор отвечает на обвинения в свой адрес по поводу незащищенности т.н. контрольно-измерительных материалов от искажений. Поскольку никакой информации о параллельности заданий не поступало, то смысл объявленного новшества можно понимать примерно так: за годы "эксперимента" в Рособрнадзоре научились создавать тысячи вариантов параллельных заданий к т.н.КИМам.
Но это шаг в ошибочном направлении. Чем больше вариантов, тем больше они будут отличаться один от другого. Погоня за уникальностью экзаменационного пакета обернётся повышением и без того высокой погрешности результатов ЕГЭ. Авторы очень известной на Западе книги Fundamentals of Item Response Theory(4) пишут, что очень трудно, или даже невозможно, создать параллельные варианты теста для проверки надёжности тестовых результатов. Тем более, создать столько вариантов. Все варианты к каждому заданию, по каждому предмету, должны иметь общее содержание и обеспечивать хотя бы примерное равенство средних арифметических показателей и показателей вариации по каждому заданию. Только тогда обеспечивается справедливость и объективность выставляемых оценок. К сожалению, там к научной критике относятся неправильно. И эта вредная практика длится уже много лет. Она ведёт образование страны в тупик.
Случилось так, что обнародовать реальную статистику о мере трудности и вариации каждого экзаменационного пакета может только Рособрнадзор, и больше никто. Ситуация с незаконным засекречиванием общественно и личностно значимой информации продолжается все семь лет "эксперимента", и нет признаков, что она изменится. Но пора понять, что без научно обоснованных и эмпирически проверенных параллельных вариантов заданий подобные тиражи "госэкзамена" реально нарушают права каждого выпускника на справедливую оценку.
Авторов упомянутой зарубежной книги понять можно. Между тем, создание параллельных заданий заметно облегчается, если создатели заданий владеют методикой создания фасетных заданий в рамках педагогической теории измерений. А значит, и критика классической теории могла бы быть более благожелательной, тем более, что в той же книге сказано, что эта теория хорошо послужила.
Остаётся напомнить, что фасет - это форма записи возможных параллельных вариантов задания, что является обязательным требованием при разработке теста, имеющего на каждое задание набор параллельных заданий. Все элементы одного фасета априорно считаются одинаково трудными по содержанию, что требует последующего эмпирического подтверждения. Каждому испытуемому компьютерная программа подбирает один вариант из фасета.
Фасетные задания открывают, наряду с другими теориями, новые возможности использовать классическую теорию и имеющийся там статистический аппарат.
Новые тестовые формы
В современно организованном процессе e-Learning задания в тестовой форме должны применяться в комбинации с краткими учебными текстами, в больших количествах. Например, при изучении анатомии - это проверка знания названий всех костей и мышц, в фармакологии - названий всех лекарств, применяемых в лечении всех изучаемых болезней. В химии с помощью компьютера и заданий в тестовой форме проверяется знание всех изучаемых элементов и соединений и т.д.
В общем, применение заданий в тестовой форме объясняется возможностью организовать тотальный контроль усвоения всех необходимых знаний, в лучшем смысле этих слов. Ни один другой метод такой удивительной возможности не предоставляет. И это одна из самых привлекательных сторон системы e-Learning, если она используется в сочетании с применением заданий в тестовой форме.
В наши дни задания в тестовой форме начинают применяться не только для начального этапа разработки тестовых заданий и тестов, но и для организации эффективной самостоятельной работы. Тем самым, возникает новая ситуация, меняющая обычные представления о тестовых формах как о средстве, применяемых исключительно для контроля уровня подготовленности.
Обычно используются задания с выбором одного правильного ответа. Такие задания широко применяются во всех российских и зарубежных центрах тестирования. При выборе из пяти ответов правильные ответы могут быть угаданы примерно в пятой части от общего числа заданий. В итоге испытуемые получают баллы, которые они не заслуживают. Это одна из самых распространенных форм искажения тестовых результатов за счет устарелой и несовершенной формы заданий. Вместо заданий с выбором одного правильного ответа надо переходить, где есть педагогический смысл, к заданиям с выбором нескольких правильных ответов, из большего числа ответов, предлагаемых на выбор.
В e-Learning очень полезны задания к учебным текстам. Например, студентам даются заметно сокращённые учебные тексты. Затем из них удаляют ключевые слова, и ставят на их место прочерк. Те, кто внимательно изучил текст, смогут восполнить пропущенные слова. Остальным придётся читать текст и изучать его заново - до тех пор, пока материал не будет усвоен.
Требования к тестовой технологии обучения в e-Learning
XXI век предъявляет три главных требования к тестовой технологии обучения: это адаптивность, качество и эффективность.
Адаптивность технологий предполагает приоритет личности учащихся и необходимость создания таких технологий, которые способны реагировать на индивидуальные различия испытуемых. Создаются новые учебные тексты возрастающего уровня трудности и подбирается мера трудности заданий, в зависимости от успешности ответов на предыдущие задания.
Качество технологии связано преимущественно с устойчивой и высокоскоростной работой технических и программных средств обучения, а также с качеством отдельных заданий в тестовой форме, с надежностью и валидностью тестовых результатов.
Эффективность технологий предполагает уменьшение отношения затраты /результаты.
Основные направления развития тестовых технологий в e-Learning:
-разработка большого числа заданий в тестовой форме для массированного их применения, особенно в той части, которая проводится как самостоятельная работа.
- эмпирическая апробация тех заданий, которые планируется использовать для создания теста;
- обучение преподавательского состава вузов, средних специальных учебных заведений и учителей школ по вопросам методики тестового контроля знаний;
- организация научных публикаций по данной проблеме;
- техническое и научное оснащение тестового процесса.
Вывод. Применение заданий в тестовой форме, в сочетании с образовательными технологиями e-Learning позволит обеспечить высокий уровень усвоения учебного материала, последовательность и прочность его изучения, кардинальное улучшение учебного процесса за счёт активизации обучающей, контролируюшей, организующей, диагностирующей, воспитательной и мотивирующей функции таких заданий.
1. Frederiksen, N., Mislevy R.J., Bejar I. J. (Eds). Test theory for a new generations of tests.
2. Аванесов В.С. Композиция тестовых заданий. М.: Центр тестирования, 2002. - 237с.
3. Аванесов В.С. Форма тестовых заданий.
4. Ronald K. Hambleton, H. Swaminathan, H. Jane Rogers. Fundamentals of Item Response Theory. p.6., Sage publ.
19.12.2008,