способ определения степени относительной подготовленности испытуемого

Формула изобретения

Способ определения степени подготовленности испытуемого по количеству его правильных ответов по каждому типу тестовых заданий и среднему времени, затраченному им на один правильный ответ по каждому типу тестовых заданий, отличающийся тем, что степень подготовленности каждого испытуемого устанавливают с учетом степени сложности тестовых заданий каждого типа для группы испытуемых для чего устанавливают ; i=1, 2; =1 n; j=1 m,

где - суммарное количество правильных ответов, набранное -м испытуемым по всем заданиям j-го типа;

- среднее время, затраченное -м испытуемым на один правильный ответ по заданиям j-го типа;

n - количество участников опыта или теста;

m - количество типов заданий,

определяют величины и ,

где ( ; =1 n; j=1 m), ( ; =1 n; j=1 m)

рассчитывают ; i=1, 2; =1 n; j=1 m и ,

после чего определяют степень подготовленности испытуемого по формуле =1 n; j=1 m.

Описание изобретения к патенту

Изобретение относится к медицине и может быть использовано в психологии и физиологии при измерении степени:

а) подготовленности испытуемых,

б) сложности выполнения психологических и иных тестов,

в) сложности формирования понятий в сознании человека,

г) сложности формирования навыков в процессах научения.

Изобретение может быть использовано также при проведении:

а) экзаменов с целью определения уровня знаний экзаменуемых,

б) конкурсов, а также спортивных и других состязаний с целью выявления победителей.

Известен способ определения авитальной активности испытуемого путем сопоставления среднего времени реакции на группы чередующихся слов-стимулов, первой - нейтральных, второй - имеющих отношение к теме смерти: если среднее время реакции на вторую группу слов по отношению первой увеличивается на 25% и более, то диагностируют авитальную активность испытуемого. Делая такой вывод, тем самим констатируют, что здоровые испытуемые на второй группе слов-стимулов реагируют быстрее, чем больные испытуемые. В итоге, этим способом, по сути дела, определяют степень готовности психики испытуемого произвести должную реакцию на заданную группу слов-стимулов; здоровые испытуемые являются более подготовленными, и поэтому они на слова-стимулы обеих групп реагируют одинаково быстро. Больные испытуемые на слова-стимулы второй группы реагируют медленнее. Это указывает на то, что психика больных испытуемых является менее подготовленной к восприятию слов-стимулов второй группы.

К причинам, препятствующим достижению указанного ниже технического результата при использовании данного способа, относят то, что этот способ может быть использован только по прямому назначению: выяснить проявляет ли испытуемый патологическую авитальную активность. Для решения задачи определения академической подготовленности испытуемого этот способ не предназначен. Более того, он для этого и не пригоден в виду расплывчатости выражения: на 25% и более . Тем более, этот способ не пригоден для определения степени сложности выполнения психологических и иных тестов.

Сложность выполнения психологических и иных тестов обусловлена не только подготовленностью и способностями испытуемого, но и существующим в данный момент времени общим уровнем возможностей исполнения настоящего задания. Эти возможности, со своей стороны, зависят от современного уровня научной мысли и, в частности, от современных достижений техники, от социального состояния общества в данный момент времени и т.д.

В настоящее время не существует единого способа оценки сложности исполнения заданий, позволяющего принимать во внимание все эти факторы. Ввиду этого выводы и обобщения, сделанные по результатам психологических и иных тестов, как правило, страдают субъективностью. По этой же причине субъективностью страдают экзамены и различные конкурсы в учебных заведениях, судейство в спортивных соревнованиях и многие другие мероприятия.

Целью настоящего изобретения является разработка способа определения степени подготовленности испытуемого с учетом возможностей исполнения каждого задания, которые в настоящее время объективно имеются в изучаемой группе испытуемых. Обозначим

где b _j ¹ - суммарное количество правильных ответов, набранное -м испытуемым по всем заданиям j-го типа;

b _j ² - среднее время, затраченное -м испытуемым на один правильный ответ по заданиям j-го типа;

n - количество участников опыта или теста;

m - количество типов заданий.

Для достижения вышестоящей цели вводят величины

такие, что

_j=0, если задание j-го типа всеми испытуемыми выполняется успешно,

_j=1, если задание j-го типа не выполняется ни одним из испытуемых,

0< _j<1 - для всех других случаев.

При определении величин

_j; j=1 m

полагают, что выполняется принцип равенства начальных условий, для чего:

1. Каждый испытуемый задания получает в конверте путем жеребьевки,

2. Все конверты состоят из одного и того же количества заданий одного и того же типа, т.е. имеет место

N _j=N_j для всех =1 n и j=1 m,

где N _j - количество заданий, по которым подготовленность -го испытуемого проверяют по заданию j-го типа;

N_j - количество заданий в одном конверте, по которым проверяют подготовленность испытуемых по заданиям j-го типа.

Если для участников опыта или теста выполнение заданий j-го типа является простым, т.е. имеет место

то эти задания не дифференцируют участников конкурса. Следовательно, для данной группы испытуемых они выбраны неудачно.

Если выполнение задания j-го типа находится за пределами возможностей всех испытуемых в данной группе, т.е. имеет место

то следует считать, что для данной группы испытуемых задания j-ого типа тоже выбраны неудачно; эти задания тоже не дифференцируют участников конкурса.

В итоге, для того чтобы можно было судить об относительной подготовленности испытуемых, должно иметь место

Обозначим через m₀ количество типов заданий, для каждого из которых имеет место:

Степень относительной подготовленности -го испытуемого определяют с помощью соотношения

где

Полный алгоритм определения величин

и

приводится на фиг. 1.

Применением величин

исключают возможность субъективности при определении наиболее подготовленного испытуемого из данной группы испытуемых. В другой группе этот испытуемый необязательно окажется наиболее подготовленным. Иными словами, величина _j является относительной, а не объективной характеристикой сложности выполнения задания j-го типа. Для того чтобы величина _j была бы не относительной, а объективной характеристикой сложности выполнения задания j-го типа, необходимо, чтобы количество испытуемых было бы достаточно большим.

Определение.

Пусть имеет место

n .

Тогда и только тогда можно говорить, что величина _j является степенью сложности выполнения задания j-го типа, а величина _j представляет собой степень подготовленности -го испытуемого по заданиям j-го типа.

Все примеры, рассмотренные ниже, за исключением примера 4, являются вымышленными. Тем не менее, их рассмотрение поможет нам лучше понять необходимость введения настоящего способа, а так же его возможности.

Пример 1.

В среднеобразовательной школе проводится ежегодная олимпиада по предметам естественно-научного цикла. После отборочных конкурсов в финал вышли 5 претендентов, между которыми необходимо распределить 3 призовых места.

Условия конкурса таковы:

Условие 1. Претенденты письменно выполняют конкурсные задания по физике, математике и химии.

Условие 2. По всем предметам успеваемость претендентов оценивают по 5-ти бальной системе, т.е. наивысшая оценка успеваемости по предмету - 5 баллов.

Условие 3. На выполнение заданий по физике отводится не более 2-х часов, а на выполнение заданий по математике и химии дается не более 1-го часа. Фактическая продолжительность экзамена, если она не выходит за вышеуказанный предел, во внимание не принимают.

Условие 4. Распределение призовых мест осуществляется на основе сравнения набранных претендентами баллов. Победителем конкурса считают претендента, набравшего наибольшее количество баллов, и ему присуждают первое место. В случае если наибольшее количество баллов наберут два и более претендентов, назначают дополнительный тур конкурса для выявления наилучшего среди победителей 1-го тура. Дополнительный конкурсный тур назначают и в том случае, когда при первом туре не удается выявить претендентов на второе и третье места.

В таблице 1 приводятся результаты конкурса. Из таблицы 1 видно, что два претендента - Иванов и Петров - набрали наибольшее количество баллов. Следовательно, необходимо назначение второго тура для выявления победителя. Возникает вопрос, насколько обоснованным является данное заключение?

Выполнение Условия 4 (по всем предметам успеваемость претендентов оценивают по 5-ти балльной системе) приводит к возникновению элемента субъективности в оценке претендентов. Несмотря на то, что 5-ти балльная шкала является очень распространенной в СНГ, она изначально была выбрана произвольно. Возникает вопрос, почему в оценивании используют именно 5-ти балльную шкалу, а не 6, 7 и т.д.? Разве не было бы более объективным судить об успеваемости претендентов непосредственно по количеству правильных ответов? Вывод: заключение, сделанное выше, является необоснованным.

Таблица 1
Результаты конкурса
ФИО	Оценки за выполнение конкурсных заданий, в баллах
	Физика	Математика	Химия	Общая
Иванов И.И.	5	5	4	14
Петров П.П.	5	4	5	14
Васильев В.В.	4	5	4	13
Давыдов Д.Д.	4	4	5	13
Котов К.К.	4	4	4	12

Пример 2.

Этот пример отличается от предыдущего только тем, что имеется дополнительное условие, согласно которому

1) каждому претенденту дается ровно пять заданий, т.е. имеет место

N _j=5 для всех j=1 m,

2) за правильное выполнение каждого задания дают ровно один балл.

В этом случае пятибалльная система оценивания идентична системе оценивания по количеству правильных ответов. Такой подход к оцениванию является более обоснованным, но все же не позволяет выявить победителя в ситуации, когда участниками набраны равные баллы. Единственный имеющийся критерий - количество правильных ответов - не позволяет осуществить дифференциацию между участниками, набравшими равные баллы. Следовательно, необходимо введение дополнительного критерия.

По условиям настоящего конкурса не принимают во внимание фактическое время, затраченное каждым претендентом на выполнение заданий. По условию 3 достаточно чтобы претендент уместился в определенном - общем для всех - интервале времени. Вместе с тем, время, затраченное каждым претендентом, является важнейшим показателем степени автоматизации навыков, необходимых для выполнения заданий. Как следствие вышесказанного, затраченное каждым участником время необходимо учитывать при определении степени сложности выполняемых заданий.

Пример 3.

Этот пример отличается от примера 2 тем, что имеется дополнительное условие, согласно которому требуют, чтобы была принята во внимание продолжительность выполнения конкурсных заданий.

В таблице 2 приводятся фактические значения продолжительности выполнения конкурсных заданий каждым участником. Распределение этих значений в данном случае таково, что существует четкая дифференциация участников по временному критерию.

Следовательно, в тех случаях, когда между участниками нет разницы по количеству правильных ответов, но есть различие по затраченному времени, временной критерий позволяет обоснованно распределить первые три места между участниками. Сложнее обстоит дело в случае, если распределение фактических значений продолжительности выполнения заданий также не позволяет дифференцировать участников. Пример такого распределения приводится в таблице 3. Здесь для обоснованного выявления победителя конкурса необходимо применить способ, описываемый в данной заявке.

Таблица 2
Фактические значения продолжительности выполнения конкурсных заданий каждым участником: простая картина
ФИО	Фактическая продолжительность выполнения заданий, в мин
Физика	Математика	Химия
Иванов И.И.	80	50	45
Петров П.П.	90	50	45
Васильев В.В.	95	55	60
Давыдов Д.Д.	100	55	60
Котов К.К.	105	60	60

Таблица 3
Фактические значения продолжительности выполнения конкурсных заданий каждым участником: сложная картина
ФИО	Фактическая продолжительность выполнения заданий, в мин
Физика	Математика	Химия
Иванов И.И.	80	50	45
Петров П.П.	90	45	45
Васильев В.В.	95	55	50
Давыдов Д.Д.	100	55	60
Котов К.К.	105	60	60

В таблице 4 приводятся результаты совместной обработки данных таблиц 1 и 3 с применением заявленного способа.

Как видно, победителем конкурса является Иванов. Таким образом, в этом случае учет фактических продолжительностей экзаменов испытуемых все же позволил определить победителя конкурса уже в первом туре.

Таблица 4
Относительная подготовленность претендентов
ФИО	Степень подготовленности
Физика	Математика	Химия	Общая
Иванов И.И.	1	1	0.8	0.933333333
Петров П.П.	0.926176518	0.851012275	1	0.925729597
Васильев В.В.	0.716074357	0.947828355	0.747745665	0.803882792
Давыдов Д.Д.	0.693694185	0.758262684	0.836705202	0.762887357
Котов К.К.	0.673445459	0.723481588	0.669364162	0.688763736

В таблице 5 приведены сведения о степени сложности заданий по различным предметам.

Таблица 5
Относительная сложность выполняемых заданий по предметам
Предмет	Степень сложности
Физика	0.198121896
Математика	0.14388302
Химия	0.189236994

Из таблицы 5 видно, что для участников настоящего конкурса наиболее сложными являются задания по физике, а наименее сложными - задания по математике. Иными словами, в среднем, участники настоящего конкурса лучше подготовлены по математике, чем по физике и химии. Этот фактор учета различий в успеваемости по различным предметам стал источником той дополнительной информации, которая позволила нам увидеть разницу между результатами Иванова и Петрова.

Пример 4.

Данный пример приводится из области экспериментальной психолингвистики. В последнее время в психолингвистике активно изучают процессы имплицитного научения при освоении родного языка, а также при изучении иностранных языков. Иными словами, экспериментально установлено, что значительная часть языковой информации усваивается бессознательно, т.е. не является продуктом прямого (или какого-либо сознательно осуществляемого) процесса обучения. Никто специально не обучает маленьких детей правилам грамматики (и тем более, дети не изучают их сами), и тем не менее к 6-7 годам дети овладевают всеми основными языковыми функциями на практике, и их язык качественно не отличается от языка взрослых. В частности, в возрасте становления языка (от рождения до 4-5-ти лет) никто специально не обучает русскоговорящих детей правилам сочетаемости существительных и прилагательных в роде, но в то же время дети к школьному возрасту безошибочно комбинируют существительные и прилагательные с правильным сочетанием в роде. Например, русскоговорящий ребенок не задумываясь скажет большая книга , в то время как иностранец, изучающий русский язык, задумается, надо ли сказать большой книга , большое книга или большая книга . Психологи предполагают, что у ребенка формируется некий нейролингвистический механизм, который позволяет безошибочно и очень быстро оценивать признаки для применения одного из нескольких правил (алгоритмов) сочетаемости существительных и прилагательных в роде. Также считают, этот механизм лежит в основе автоматического навыка изменять окончания прилагательных в соответствии с родом определяемых ими существительных.

Основных правил сочетаемости в роде в русском языке выделяют четыре:

1. Существительные женского рода (типа мама ) определяются прилагательными с окончанием женского рода. Иными словами, существительные, оканчивающиеся на а , требуют чтобы определяющее прилагательное имело окончание ая, яя .

2. Существительные мужского рода (типа стол ) определяются прилагательными с окончанием мужского рода. Иными словами, существительные, оканчивающиеся на немягкий согласный, требуют чтобы определяющее прилагательное имело окончание ый, ий .

3. Существительные среднего рода (типа небо ) определяются прилагательными с окончанием среднего рода. Иными словами, существительные, оканчивающиеся на о, е , требуют чтобы определяющее прилагательное имело окончание ое, ее .

4. Существительные женского рода (типа мать ) определяются прилагательными с окончанием женского рода. Иными словами, существительные, оканчивающиеся на ь , требуют чтобы определяющее прилагательное имело окончание ая, яя .

Психологов интересует, каким образом происходит формирование навыков использования тех или иных грамматических структур в данном языке, а также, какие лингвистические факторы оказывают на это влияние. В частности, считают, что навык формируется в результате имплицитного анализа десятков тысяч сходных контекстов, которые усредняются по неким характерным признакам, в результате чего формируется способность быстро и эффективно распознавать контексты для употребления нужной структуры.

В нашем эксперименте выдвигают гипотезу, что все четыре правила (алгоритма) сочетаемости существительных и прилагательных в роде имеют разную степень сложности для освоения и распознавания. Это может быть выявлено при сравнении данных по всем четырем типам алгоритмов на основе двух критериев - количества правильно определенных словосочетаний, согласованных в роде, а также времени. затраченного на правильные ответы. Для проверки этой гипотезы провели следующий эксперимент с группой иностранцев, изучающих русский язык. Каждому испытуемому, не владевшему ни одним языком, в котором имеются родовые различия существительных, предъявляли примеры согласования существительных с прилагательными в роде, составленные по правилам русского языка. Испытуемым говорили, что их обучают новым словам, в то время как на самом деле исследовались процессы имплицитного научения четырем грамматическим правилам сочетаемости существительных и прилагательных в роде. После двукратного предъявления всех примеров, испытуемым давали компьютеризированный тест множественного выбора из 40 вопросов, в котором были представлены все 4 типа согласований по 10 примеров на каждый. Каждый испытуемый должен был выбрать один из 4-х вариантов ответов, который, по его мнению, являлся правильным. Одновременно фиксировали время, затраченное каждым испытуемым на каждый правильный ответ. Всего в эксперименте участвовали 10 человек.

Итак, имеем

где m - количество типов алгоритмов, сложность формирования которых определяют;

n - количество участников эксперимента;

Qtype j - суммарное количество правильных ответов, набранное данным участником эксперимента по j-му типу алгоритма;

Ttype j - суммарное время, затраченное на все правильные ответы данным участником эксперимента по j-му типу алгоритма.

Результаты эксперимента приводятся в таблице 6.

Результаты обработки данных таблицы 6 с применением заявленного способа приводятся в таблицах 7 и 8.

Таблица 6
Формирование навыков применения правил сочетаемости в роде: экспериментальные данные
Испытуемые	Количество правильных ответов по типам алгоритмов	Затраченное время по типам алгоритмов, в мсек
	1	2	3	4	Всего	1	2	3	4	Всего
1	6	2	5	5	18	20450	17689	20217	24479	62626
2	9	6	5	8	28	22205	26143	23441	29540	101329
3	10	5	6	7	28	23720	35516	29968	32610	121814
4	4	6	8	6	24	14006	24748	17740	13776	70270
5	7	5	4	6	22	19802	22818	19453	22519	84592
6	7	1	8	7	23	18874	24388	20156	24651	88069
7	7	1	5	7	20	22347	26813	25323	23650	98133
8	9	8	4	6	27	27164	36609	27904	23497	115174
9	7	4	6	6	23	23087	15146	26313	19126	83672
10	8	7	7	6	28	21959	24041	24641	61902	132543

Таблица 7
Относительная сложность алгоритмов распознавания грамматических родов в русском языке
Тип алгоритма	Степень сложности
Существительное женского рода типа мама + прилагательное	0.22833999
Существительное мужского рода типа стол + прилагательное	0.405305525
Существительное среднего рода типа небо + прилагательное	0.37456206
Существительное женского рода типа мать + прилагательное	0.336676959

Судя по данным таблицы 7, наибольшую сложность для научения представляет алгоритм для согласования прилагательных с существительными мужского рода типа стол . А проще всего формируется навык распознавания и использования алгоритма для согласования прилагательных с существительными женского рода типа мама .

Эти выводы кажутся логичными. Тем не менее, чтобы окончательно убедиться в их справедливости необходимо дальнейшее продолжение эксперимента с применением настоящего способа.

Из столбца 6 таблицы 6 видно, что наибольшее количество правильных ответов по всем типам алгоритмов имеют 3 испытуемых: 2-ой, 3-ый и 10-ый. Они дали 28 правильных ответов из 40 возможных каждый. Однако, как видно из столбца 11 той же таблицы 6, среднее время, затраченное на один правильный ответ по всем типам заданиям, у 2-го испытуемого является наименьшим. Кроме того, он имеет довольно большой отрыв как от 3-го, так и от 10-го испытуемых.

В итоге, в составе рассматриваемой группы испытуемых наиболее подготовленным, казалось бы, должен являться 2-ой испытуемый. В действительности, однако, как видно из таблицы 8, наиболее подготовленным являться 10-ый испытуемый. Это обусловлено тем, что у 10-ого испытуемого имеется наибольшее количество правильных ответов по самим сложным типам алгоритмов: 2-ому и 3-ему. По этим типам алгоритмов 10-ый испытуемый, как видно из таблицы 6, дал по 7 правильных ответов. Этот пример еще раз демонстрирует важность учета сложности типов заданий при установлении степени сформированности навыка испытуемых.

Таблица 8
Степень сформированности навыка
Испытуемые	Степень сформированности навыка
1	0.497929577
2	0.720701578
3	0.639200773
4	0.838361335
5	0.634407359
6	0.608910388
7	0.485480041
8	0.667644702
9	0.691005805
10	0.721189753

На основе вышеизложенного, можно сформулировать следующее положение.

Определение.

Пусть, имеет место

n .

Тогда и только тогда можно говорить, что величина _j является степенью сложности формирования j-го типа алгоритма в сознании человека (или, в более широком смысле, любого понятия), а величина _j представляет собой степень успеваемости -го участника эксперимента по выработке алгоритма j-го типа.

Литература

1. Способ диагностики патологической авитальной активности. А61В 5/00. Заявка - Опубл. RU БИПМ № 14, 20.05.2004.