С начала XXI в. в России, как и во всем мире, наметились политические и социальные тенденции, которые привели к возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами. К числу таких тенденций в первую очередь следует отнести интенсивное реформирование, охватывающее практически все уровни образования и требующее систематического анализа тенденций в изменении качества образования.

Во-вторых, это диверсификация образования, проявляющаяся в значительном расширении объема его содержания в условиях научно-технической революции начала ХХI в., введения новых методов обучения и информатизации на всех уровнях образования. В управлении качеством образования диверсификация приводит к необходимости интенсивного развития механизмов управления и увеличения числа факторов, нуждающихся в учете при управлении и влияющих на устойчивость образовательных систем. Хотя сегодня многие специалисты дают оптимистичные оценки диверсификации, к подобным прогнозам лучше относиться осторожно, так как последствия ее развития с учетом многих не выявленных последствий предсказать пока просто невозможно.

Международные организации, занимающимися стандартизацией на основе ИСО 9001, приняли определение, в котором качество трактуется как совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности. В образовании качество обычно рассматривается не только как результат деятельности, но и как процесс, направленный на достижение запланированных результатов с учетом внутреннего потенциала и внешних условий объекта. В связи с этим, говоря о содержании термина «качество образования», всегда следует проводить четкую грань между процессом и результатом, дифференцируя уровни образования и разграничивая требования к качеству со стороны потребителей и заказчиков образовательных услуг. Как правило, в системе профессионального образования выделяют не две, а три группы характеристик: качество потенциала достижения цели образования, качество процесса формирования профессионализма и качество результата образования.

За рубежом принято выделять три основных подхода к определению и введению в практику образования компетентностной трактовки качества результатов обучения. Эти подходы появились независимо друг от друга сначала в США, затем в Великобритании и в последнюю очередь во Франции и Германии.

При обсуждении американского подхода к компетентностной трактовке качества результатов обучения нередко используют термин «поведенческий подход», подчеркивая тем самым четкую ориентацию результатов образования на способность к их применению на практике после окончания учебного заведения. Считается, что термин «компетенция» ввел в обращение Вайт (White, 1959) для описания тех способностей выпускника учебного заведения, которые наиболее тесно связаны с его хорошей работой на основе полученной подготовки и сформированной в процессе обучения высокой мотивацией к ее выполнению.

В наши дни к причинам интенсивного развития компетентностного подхода в большинстве публикаций обычно относят следующие факторы и тенденции:

• появление нового типа экономики, вызвавшее потребность в изменении требований к качеству подготовки выпускников, содержания труда и видов профессиональной деятельности;
• интенсивное развитие информационных технологий;
• возрастающий приоритет творческих аспектов профессиональной деятельности и интеллектуального потенциала специалистов;
• рост динамики модификации профессий, их глобализация.

Критерии выбора и структурирования совокупности показателей качества могут быть самыми разными. За основу для выделения такой совокупности иногда принимают модели системы образования, структурированные цели образовательной системы, критерии ее эффективного функционирования, актуальные проблемы управления и т.д. Вне зависимости от оснований по выбору совокупность показателей должна быть:

Новые требования общества к выпускникам системы образования, обусловленные развитием науки и производства, инициируют создание в вузах современных систем менеджмента качества (СМК) образования, закладывающих базу для эталонной модели качества процесса и результатов образования на основе международных стандартов. Сегодня эти процессы охватили в основном профессиональное образование, но постепенно система оценивания качества процесса и результатов образования, реализуемая не в режиме тотального контроля со стороны органов управления образованием, а как регулярная самооценка с осознанием необходимости и важности такой работы, разворачивается в среднем образовании.

Термин «эвалюация» (в англоязычной литературе – evaluation) не распространен в отечественной педагогической науке, хотя он широко используется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые этот термин появился в литературе на русском языке в 2001 г., когда авторы книги «Педагогическое образование в университете: контекстно-биографический подход» попытались проанализировать трактовку понятия «эвалюация» с опорой на работы немецких ученых и педагогов. Современная трактовка этого термина в образовании не отождествляет его исключительно с процессом получения оценок, как можно решить по результату прямого перевода (evaluation – оценка, оценивание), а рассматривает его гораздо шире, считая эвалюацию интегративной категорией оценочно-аналитической деятельности в различных проектах по управлению качеством образования.

По наиболее распространенному определению, введенному американским психологом С. Стивенсом в 1946 г., измерение – это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами. Предложенное Стивенсом определение появилось в результате формального обобщения опыта количественных измерений, широко распространенных в физике и других естественных науках, но его на протяжении многих лет брали за основу и при трактовке представлений об измерениях в образовании.

По мере развития педагогики, психологии, социологии и других эмпирических наук возникла потребность во введении не только количественных, но и качественных оценок, поскольку, помимо величин, встречающихся в естественных науках, существуют другие показатели, отличающиеся по степени проявления того или иного свойства и поддающиеся измерению.

Процесс педагогических измерений включает:

• выбор предмета измерения, под которым понимается одна или несколько латентных характеристик объектов (выбор переменных измерения и их числа);
• выбор эмпирических референтов (наблюдаемых характеристик объектов), замещающих латентные переменные;
• выбор измерительных процедур;
• конструирование и использование измерительных инструментов;
• выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях);
• построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным процедурам и правилам;
• анализ и интерпретацию результатов измерения.

На ранних этапах истории развития педагогических измерений объективность считали неотъемлемой характеристикой результатов тестирования, поскольку стандартизованная проверка результатов выполнения тестов исключала педагога из оценочного процесса. По мере развития теории и практики применения тестов пришло понимание того, что абсолютная объективность – это недостижимая характеристика результатов любых, в том числе и педагогических, измерений в силу существования неизбежных ошибочных компонентов. На результаты измерений воздействуют различные факторы случайного и систематического характера, которые неизбежно влияют на величину ошибочных компонентов, изменяя их как в сторону увеличения, так и уменьшения. Поэтому в оценочных процессах можно лишь говорить о высокой или низкой объективности, оценка которой основана на выявлении надежности результатов педагогических измерений.

После постановки цели измерения выбирают одну (одномерный случай) или несколько (многомерный случай) переменных измерения. При объединении одномерного и многомерного случая для обозначения измеряемых характеристик часто используют обобщающий термин – «конструкт». Концептуальное определение переменных измерения и их числа до начала разработки теста отличается обманчивой легкостью. Каждый разработчик теста уверен в том, что он ясно представляет себе измеряемые характеристики и способен на основании своего педагогического опыта точно подобрать задания, обеспечивающие оценивание конструкта. Можно так и остаться в заблуждении относительно того, что на деле измеряет тест, если не проверить соответствие задуманного конструкта и реальных результатов измерения.

В теории измерений общая типология уровней измерения основывается на проявлении совокупности свойств, лежащей в основе построения шкал. В качестве таких свойств выделяют:

• идентичность, позволяющую однозначно относить объекты к одной из выделяемых совокупностей;
• транзитивность, способствующую ранжированию объектов в определенном порядке;
• метричность, обеспечивающую единую единицу измерения и наличие абсолютного нуля.

Наиболее общая классификация, предложенная С. Стивенсом, включает четыре уровня измерений и фиксирует присущие им свойства. Согласно такой классификации, различают шкалы качественные (шкала наименований или классификаций, порядковая шкала) и количественные (интервальная шкала и шкала отношений). Качественные шкалы иногда называют неметрическими (концептуальными), количественные получили название метрических или материальных. Для каждого уровня измерений существуют группы допустимых преобразований и операций с различными математическими и статистическими величинами, характеризующими измеряемые признаки.

Разграничение количественного и качественного подходов проявлялось в методологии в течение нескольких десятилетий конца ХХ в., но протекало по-разному в зависимости от уровня развития измерений в социальных науках. В странах, где широко использовавших тесты в психологии и в образовании, сложились две противостоящие методологии: качественная и количественная, объединенные одной общей функцией – служить ориентиром в научной организации процесса измерений. На качественном уровне для методологических знаний характерна большая описательность. В количественном методологическом подходе преобладают нормативные предписания, находящие свое практическое отражение в нормах выполнения тестов, а для измерений используются стандартизованные шкалы.

При педагогических измерениях интерпретация баллов студентов может носить различный характер в зависимости от того, каким способом сравниваются их результаты. В одном случае проводится сопоставление баллов тестируемых с результатами определенной группы – выборки учеников, выполнявших тот же самый тест, – для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). 

Нормативно-ориентированные тесты разрабатываются для сравнения обучаемых по уровню учебных достижений, поэтому основная цель нормативно-ориентированного подхода – дифференциация испытуемых по результатам выполнения теста. При интерпретации результатов студентов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания студента, выполнившего правильно всего 30 заданий в тесте из 60 в том случае, если 70–80% остальных студентов в группе сделали меньшее число заданий. Тот же самый результат обучаемого в сильной группе будет отнесен к категории довольно низких, если только 10–20% испытуемых сделали правильно 30 заданий, а все остальные значительно превысили этот результат. Для корректной интерпретации результатов тестирования балл каждого студента сравнивается с нормами выполнения теста.

При критериально-ориентированном подходе в педагогических измерениях результаты испытуемых интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Балл каждого студента подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста (для дихотомических оценок (1 или 0) по отдельным заданиям) либо отношения суммарного балла по правильно выполненным заданиям к общему числу баллов по всем заданиям теста (для политомических оценок по отдельным заданиям). Полученный для каждого студента процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста.

В соответствии с видами контроля при тестировании можно выделить:

• задачи, стоящие перед преподавателем на входе в обучение (входной контроль);
• текущие задачи (текущий контроль);
• задачи, соответствующие концу определенного периода учебного процесса (итоговый контроль).

Началу обучения ставится в соответствие входное тестирование, позволяющее выявить степень владения базовыми знаниями, умениями и навыками, необходимыми для начала обучения, и определить уровень владения новым материалом до начала его изучения в аудитории. Тесты для входного контроля, обычно называемые претестами, позволяют выявить готовность к усвоению новых знаний у всех студентов. Они разрабатываются в рамках критериально-ориентированного подхода и содержат задания для проверки всех базовых знаний, умений и навыков, необходимых для усвоения нового материала.

Современные тенденции в трактовке качества результатов образования, связанные с компетентностным подходом, привели к появлению новых видов итоговых измерителей, выявляющих позитивную динамику изменений подготовленности, активность обучаемых в усвоении знаний, рост их компетентности, степень освоения коммуникативных и интеллектуальных умений. В частности, во многих странах стали использовать портфолио, значительно расширяющие возможности подготовки студентов к прохождению итоговой аттестации благодаря учету новых форм учебных достижений в течение определенного промежутка времени, оценки динамики прироста подготовленности и привлечения внешних источников информации о качестве подготовленности студентов, столь важных в компетентностном подходе.

В общем случае в процессе планирования при разработке измерителей важно идентифицировать:

• цель измерения, связав ее с функциями контроля и областью применения результатов измерения;
• порции и временные интервалы применения;
• содержание измерителей (предметное описание содержания, планируемые к проверке умения и виды деятельности).

Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планирования и оценки качества содержания теста.

При создании аттестационного теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения проверить невозможно из-за избыточной длины теста. Чтобы не утратить самое главное в содержании теста, необходимо структурировать цели обучения и ввести определенную иерархию их взаимного расположения. При создании таксономии целей нет и не может быть готовых общих схем, так как в каждой дисциплине свои приоритеты и отдельные цели обучения заметно связаны между собой, поэтому постановка целей должна носить предметно-ориентированный характер.

В процессе планирования содержания теста его автору приходится думать о том, что далеко не весь набор целей обучения можно отобразить в тесте. При прочих равных условиях можно считать, что чем полнее отображение, тем выше содержательная валидность теста, но на практике приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях студентов, которые должны выполнять тест без излишнего напряжения и усталости. В этой связи набор целей обучения необходимо структурировать и выделить самые важные, которые должны обязательно попасть в тест.

Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраивают сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее.

По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют:

• задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;
• задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;
• задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;
• задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.

В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.

В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.

Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет.

Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.

В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.

Понятие истинного балла (true score) – параметра испытуемого – является основополагающим в педагогических измерениях наряду с терминами «сырой балл»и «наблюдаемый балл», которые получаются простым суммированием оценок по отдельным заданиям теста. Нередко истинный балл называют константой испытуемого в момент измерения, не зависящей от средства измерения. Поэтому при одномерных измерениях каждому испытуемому можно поставить в соответствие только один истинный балл в отличие от наблюдаемых баллов, которых может быть столько, сколько используемых для измерения этой переменной тестов.

Если за каждый правильный ответ на задание испытуемому давать 1 балл, а за неправильный ответ или пропуск задания – 0 баллов, то профиль ответов студента будет иметь вид последовательности из единиц и нулей. Поскольку каждая единица или нуль появляются в результате взаимодействия испытуемого с заданием, то наиболее адекватной формой представления наблюдаемых результатов выполнения теста служит матрица, т.е. прямоугольная таблица, сводящая воедино профили ответов студентов и профили заданий теста (столбцы из оценок всех студентов по каждому заданию теста).