Первым этапом является определение цели и задач разработки теста. Примеры ошибочных решений.
Вторым этапом является разработка заданий в тестовой форме. Как в искусстве, овладение формой является необходимым, но недостаточным условием для разработки качественного теста.
На втором этапе требуется подготовка в области преподаваемого предмета, знание тестовых форм, владение логикой и умение трансформировать фрагменты содержания учебной дисциплины в содержание заданий.
На третьем этапе разрабатываются тестовые задания.
В отличие от распространенной в России и на Западе вопросно-ответной формы заданий, в качестве новой основы используется логика высказываний. Преимущества этой основы вытекают из отличия высказываний от вопросов: истинность или ложность высказывания легко определяется по логическим правилам, в то время как вопросы сами по себе ни истинны, ни ложны. Предлагаемая основа открывает возможности эффективной компьютеризации контроля знаний.
Для успешной деятельности на третьем этапе от разработчиков потребуется, дополнительно, некоторая подготовка в области применения статистических методов, обработки и интерпретации данных.
На четвёртом этапе отбираются задания и создают тесты, повышают качество и эффективность теста. Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой.
Путь к достижению этого идеала лежит через трудности создания качественных тестов. Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов - их эффективность, проистекающая из теоретической и эмпирической обоснованности.
От разработчика тестов требуется некоторая математико-статистическая подготовка, знание основных тестовых теорий и методов многомерного статистического анализа, опыт правильной интерпретации тестовых результатов. Кроме того, потребуется умение тактично обсуждать с авторами явные и скрытые дефекты их заданий в тестовой форме, психологическая готовность к совместному поиску аргументов и…бесконечное терпение.
На пятом этапе применяется одна из моделей математической теории педагогического измерения так называемой латентной переменной. На этом этапе уточняется содержание интересующей переменной, определяется шкала измерения, применяется компьютерная программа для определения и уточнения значений так называемых логитов трудности тестовых заданий и логитов уровня подготовленности испытуемых. Лучшей моделью измерения следует признать модель Г.Раша. Она позволяет получить измерения на интервальной шкале.