система рейтингового тестирования

Формула изобретения

Система рейтингового тестирования уровня подготовки обучающихся, включающая присвоение весовых коэффициентов каждому вопросу теста, подачу теста обучающимся, последующее сравнение ответов обучающихся с правильными ответами, индикацию результата, причем весовые коэффициенты вопросов теста изменяют в процессе тестирования и дополнительно проверяют обоснованность и корректность ответа на вопрос теста, отличающаяся тем, что в систему дополнительно введены экспертная система формирования тестов, диагностики и тестирования, включающая базу знаний, обеспечивающую анализ и оценку знаний, генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, механизм логического вывода, обеспечивающий обработку нестандартных ответов обучаемого, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, интеллектуальный интерфейс, обеспечивающий доступ к информации, содержащейся в компонентах экспертной системы, и поддержку взаимодействия обучаемого и преподавателя с экспертной системой при анализе нестандартных ответов обучаемого.

Описание изобретения к патенту

Изобретение относится к области образовательных систем с аудиовизуальными и компьютерными технологиями. Оно может использоваться как самостоятельно действующая система, так и в сочетании с традиционными образовательными методиками.

Известен прибор контроля знаний по патенту РФ № 2110096, кл. G09B 7/07 с приоритетом 25.03.1994 года, в котором реализовано присвоение весовых коэффициентов каждому вопросу теста, подача теста обучающимся, последующее сравнение их ответов с правильными и индикация результатов. К недостаткам этого прибора относится возможность простого бесконтрольного угадывания ответов, а также жесткая априорная однозначность оценки сложности вопросов, которая не учитывает различную подготовленность контингента обучающихся.

Известна система рейтингового тестирования по патенту РФ № 2175782 с приоритетом от 04.02.2001 года. Эта система отличается тем, что тестирование осуществляют по нескольким дисциплинам, часть которых профильные, а индивидуальный итоговый рейтинг обучающихся вычисляют по совокупности максимальных результатов тестирования. Полученный индивидуальный рейтинг сравнивают с нормативами соответствия учебных планов для характеристики готовности к следующему этапу обучения.

Наиболее близким техническим решением предлагаемого изобретения является система рейтингового тестирования уровня подготовки к обучению в высшем учебном заведении по патенту РФ № 2145442 с приоритетом от 28.05.1998 г. Эта система включает присвоение весовых коэффициентов каждому вопросу теста, подачу теста обучающемуся, последующее сравнение его ответов с правильными, индикацию результатов, причем весовые коэффициенты вопросов могут быть изменены в процессе тестирования. Следствием работы системы является дополнительная проверка обоснованности и корректности ответа на вопрос теста.

Недостатки такой системы связаны с отсутствием случайной последовательности выдачи тестов и возможности обработки нестандартных ответов обучаемого, и как следствие этого - неадекватность оценки его знаний.

Техническим результатом изобретения является повышение эффективности обучения и достоверности определения уровня и качества знаний обучаемого, развитие его творческого подхода к обучению, снижение психологических перегрузок и уменьшение влияния субъективных факторов при контроле знаний.

Указанный технический результат достигается тем, что в известную систему рейтингового тестирования уровня подготовки обучающихся, включающую присвоение весовых коэффициентов каждому вопросу теста, подачу теста обучающимся, последующее сравнение ответов обучающихся с правильными ответами, индикацию результата, причем весовые коэффициенты вопросов теста изменяют в процессе тестирования и дополнительно проверяют обоснованность и корректность ответа на вопрос теста, согласно изобретению дополнительно введены экспертная система формирования тестов, диагностики и тестирования, включающая базу знаний, обеспечивающую анализ и оценку знаний, генератор тестов, формирующий случайную последовательность вопросов и тестов с использованием датчика случайных чисел, механизм логического вывода, обеспечивающий обработку нестандартных ответов обучаемого, систему объяснения, позволяющую разъяснять обучаемому результаты тестирования и соответствующую цепочку логического вывода, базу данных тестов и результатов тестирования, интеллектуальный интерфейс, обеспечивающий доступ к информации, содержащейся в компонентах экспертной системы, и поддержку взаимодействия обучаемого и преподавателя с экспертной системой при анализе нестандартных ответов обучаемого.

Организация рейтингового тестирования с учетом существенных признаков изобретения включает три группы тестов. Первая группа - предварительный тест, представляющий собой форму входного контроля уровня подготовленности обучаемого. Вторая группа - тесты по главам дисциплины, включающие задания по каждой теме. Третья группа - заключительный тест, являющийся формой итогового контроля по изучаемой дисциплине. Все тесты имеют «весовые показатели» в зависимости от сложности и реализуются с использованием системы случайного выбора. Допуск к последующему тесту осуществляется автоматически при наборе проходного балла.

Система рейтингового тестирования построена на основе принципов построения интегрированных информационных систем, позволяющих повысить эффективность контроля знаний и качество образования как творческого процесса приобретения и усвоения знаний. Сложность тестирования устанавливается в зависимости от уровней обучения и реализуется путем выбора вопросов с определенным значением величины их весовых коэффициентов, которые выдают обучаемому в случайном порядке в зависимости от уровня тестирования, учитывающего постепенное усложнение предъявляемых обучаемому вопросов. На низких уровнях процесс тестирования ограничивается предъявлением информации в виде вопросов и соответствующих верных и неверных ответов. На последующих уровнях обучаемому предъявляются несколько элементов, из которых он должен составить правильный ответ, либо решить задачу классификации при анализе альтернативных решений. Верхние уровни тестирования (творческий уровень) предполагают предъявление вопросов со свободно конструированным ответом и решением ситуационных задач.

При тестировании контролируется продолжительность времени ответа обучаемого на каждый вопрос и при превышении этого интервала предлагается следующий вопрос теста, что стимулирует концентрацию и самостоятельность мышления у обучаемого.

После завершения тестирования определяется рейтинг обучаемого как среднеарифметическое значение оценок ответов с учетом весовых коэффициентов вопросов. По окончании тестирования вычисляют среднеарифметическое время ответа группы обучаемых на каждый вопрос и корректируют весовой коэффициент вопроса в зависимости от результата вычисления.

Система тестирования учитывает возможность выдачи развернутых ответов с собственным мнением обучаемого, что стимулирует развитие творческого подхода и заинтересованность студента к обучению и тестированию. Реализация принципа тестирования с учетом нестандартных ответов и творческого подхода обучаемого к освоению материала осуществляется на основе технологии экспертных систем, поддерживаемой с помощью интеллектуального интерфейса.

Использование при тестировании случайного порядка выдачи вопросов и ответов с множественным выбором и элементами творчества делает систему тестирования более гибкой, способной адаптироваться к различным уровням знаний обучаемых, причем уровни сложности тестирования задают перед выдачей теста обучаемому, выбирая вопросы с соответствующим весовым коэффициентом.

Таким образом, система рейтингового тестирования осуществляет индивидуализированное постадийное вычисление рейтинга каждого обучаемого, причем наибольший вклад в рейтинг вносят правильно обоснованные и корректные ответы на сложные и нестандартные вопросы теста, допускающие формулирование собственного мнения у тестируемого и имеющие максимальные весовые коэффициенты, изменяющиеся в зависимости от уровня сложности рассматриваемой проблемы. Вклад от вопросов, оставшихся без ответа или с неправильным ответом, приравнивают нулю.

На фиг.1 представлена блок-схема системы рейтингового тестирования. Схема содержит следующие функциональные блоки: рабочие места преподавателя 1 и обучаемых 2, блок 3 тестирования знаний, блок документирования 4, блок программного управления 5, блок интеллектуального интерфейса 6.

Блоки 1 и 2 (фиг.2) содержат персональный компьютер 7, PC-клавиатуру 8, манипуляторы «мышь» 9, микрофон 10 и головной телефон 11.

Блок 3 (фиг.3) включает экспертную систему формирования тестов, диагностики и тестирования. Блок 3 позволяет организовать стратегию рейтингового тестирования и содержит базу анализа и оценки знаний 12, генератор тестов 13, использующий датчик случайных чисел, механизм логического вывода 14, систему объяснения 15, базу данных тестов и результатов тестирования 16.

Блок документирования 5 (фиг.4) получает информацию от экспертной системы 3 и функционирует на основе блока программного управления 5 с помощью интеллектуального интерфейса 6. Блок документирования содержит два модуля. Первый модуль 17 обеспечивает документирование результатов тестирования на основе автоматического формирования электронных ведомостей, содержащих общие сведения о результатах тестирования. Второй модуль 18 формирует соответствующие протоколы для каждого обучаемого.

Блок программного управления 5 обеспечивает функционирование системы рейтингового тестирования в интерактивном режиме.

Блок интеллектуального интерфейса 6 представляет собой программно-аналитический комплекс, обеспечивающий «прозрачность» смысла доступа к информации, содержащейся в экспертной системе 3, при поддержании взаимодействия обучаемого 2 с преподавателем 1.

Система рейтингового тестирования функционирует на основе операционной системы Windows 2000 или Windows NT 4.0 и реализована на стандартных технических средствах: персональных компьютерах с процессором не ниже Pentium-3, цветных графических дисплеях и принтере. PC-клавиатура, манипуляторы «мышь», микрофон и головной телефон соответствуют стандартам, принятым в системах тестирования.

Процесс тестирования состоит в выполнении циклов тестирования, связанных с последовательным предъявлением обучаемому различных тестов, анализом представленных решений и оценкой знаний.

Функционирование системы рейтингового тестирования в целом определяется работой блока программного управления 5, обеспечивающего с помощью интеллектуального интерфейса 6 работу экспертной системы 3. Взаимодействие указанных блоков с преподавателем 1 и обучаемым 2 в зависимости от особенностей рассматриваемой предметной области описывается на основе алгоритма функционирования следующим образом.

После включения системы осуществляется идентификация обучаемого. Обучаемый набирает свое имя и пароль и получает доступ к тестированию. На первом этапе система предлагает пройти предварительный тест с проверкой базовой подготовки обучаемого, необходимой для изучения курса. Если обучаемый дает ошибочный ответ, то система предлагает ссылку на подготовленную преподавателем Интернет-страничку или электронный адрес с учебным материалом.

После прохождения предварительного теста в соответствии с графиком изучения дисциплины система допускает обучаемого к прохождению последовательности из 20-25 тестов по каждому разделу курса. Перечень вопросов по каждой теме определяется с учетом весовых коэффициентов сложности каждого вопроса и формируется по спискам в соответствии с их значением. Списки вариантов ответов по каждому вопросу сопровождаются оценками правильности каждого ответа по 10-балльной шкале.

В процессе тестирования обучаемого преподаватель задает уровень сложности тестирования, выбирая область вопросов с соответствующими весовыми коэффициентами, параметры тестирования: список вопросов, количество вопросов в тесте и вариантов ответов на них, время на обдумывание ответа, на прохождение всего теста и т.д. Затем по команде преподавателя система случайным образом инициирует вопрос из заданного списка, представляет несколько (в соответствии с заданными преподавателем параметрами) вариантов ответов и выводит их на экран в случайном порядке.

После окончания контрольного времени, отведенного обучаемому для ответа, система фиксирует результат, и если тестируемый выбрал вариант ответа, то программа устанавливает оценку его правильности. Если вариант ответа неправильный или тестируемый не успел ответить до окончания контрольного времени, то вклад в рейтинг от него приравнивается нулю. Информация о выбранном варианте ответа сохраняется.

После прохождения теста по разделу курса система вычисляет рейтинг с учетом оценок правильности и полноты выбора вариантов ответа и сохраняет его в памяти компьютера. При этом система учитывает такие факторы как понятия, к которым относятся уже заданные вопросы, их весовые коэффициенты сложности и результаты ответов.

Набрав нужное количество баллов, обучаемый получает зачет по текущей теме и допуск к тестированию по следующей теме. В соответствии с графиком изучения курса обучаемый имеет возможность наблюдать свои оценки в электронной зачетной книжке и определять темп своего обучения путем просмотра статистики сдачи тестов другими студентами.

При указании тестируемым собственного мнения или оригинального ответа (нестандартный ответ) программа сохраняет эту информацию и производит ее обработку с помощью экспертной системы и интеллектуального интерфейса.

Вопрос, на который у тестируемого есть свое понимание ответа, не участвует в расчете результирующего рейтинга, который в этом случае считается предварительным, и только после ознакомления с этим ответом преподаватель корректирует его конечный результат.

По завершении тестирования экспертная система анализирует статистики количества правильных ответов и времени их обдумывания на все поставленные вопросы для каждого обучаемого, на основе чего преподаватель имеет возможность корректировки весовых коэффициентов сложности вопросов по материалу теста.

После регистрации ответов на заданное количество вопросов теста программа вычисляет рейтинг тестируемого как среднеарифметическое из оценок, полученных им за ответы на вопросы, с учетом весовых коэффициентов вопросов.

Пример проведения тестирования знаний обучаемого представлен на фиг.5. Алгоритм функционирования выполняется следующим образом:

передача преподавателю сообщения о готовности к работе;

прием от преподавателя команды начала процесса тестирования;

идентификация тестируемого;

установка преподавателем параметров теста;

ознакомление тестируемого с параметрами теста;

запуск системы тестирования;

выдача ответа на поставленный вопрос;

проверка условия наличия нестандартного ответа;

анализ нестандартного ответа;

вывод окончательной оценки по нестандартному ответу;

анализ стандартного ответа;

вывод оценки по стандартному ответу;

фиксация ответа и времени на его реализацию;

вывод на экран следующего теста;

проверка условия завершения теста;

сохранение информации о тестировании;

передача информации о тестировании в базу анализа и оценки знаний;

вычисление рейтинга тестируемого;

документирование результатов тестирования.