Научная деятельность

Новости

Все новости
RSS лента новостей

Ссылки

Литературный конкурс на сайте Александра Костюнина

Союз образовательных сайтов

Версия для печати Версия для печати

Власова А. Г., Насадкина О. Ю., Марахтанов А. Г., Байтимиров Л. З.
О выборе показателей для оценки качества осуществления процессов подготовки кадров высшей квалификации в вузе

Внутривузовский мониторинг является основной аналитико-диагностической технологией функционирования организационно-исполнительной системы управления качеством образования в вузе [1]. Регулярный контроль и оценка результативности работы аспирантов является частью внутривузовского мониторинга и представляет собой одну из центральных задач информационно-аналитического обеспечения процесса подготовки научных кадров высшей квалификации.

При разработке механизмов мониторинга на первый план выходят задачи определения набора показателей, по которым отслеживается состояние образовательного процесса; создания инструментария контроля и оценки результатов.

Система значимых параметров-характеристик модели оценки научно-исследовательской работы молодых ученых довольно сильно варьируется от вуза к вузу. В настоящее время суммарно используется более шестидесяти различных индикаторов результативности. В работах, посвященных проблеме определения численных характеристик деятельности молодых ученых, также предлагается к рассмотрению и обосновывается значимость ряда показателей продуктивности. Таким образом, актуальной является задача отбора статистически значимых характеристик работы аспиранта.

Рассмотрим обобщенный набор показателей. В нем встречаются следующие отношения: тождества, наличие непустого пересечения (в том числе случай полного включения), отсутствие непустого пересечения. Имеются индикаторы, которые представляют собой точную сумму других, более детализированных признаков. Например, xn– число актов о внедрении, xn1, xn2, xn3– число актов о внедрении соответственно в производство, в учебный процесс, в общественные организации, следовательно, xn= xn1+xn2+xn3.

К индикаторам, имеющим непустое пересечение, относятся в частности xm1– число тезисов или публикаций статей в сборниках международных конференций, xm2– число тезисов в материалах всероссийских и международных конференций. В пересечение попадают тезисы, опубликованные в материалах конференций международного уровня. Наличие показателей такого типа обуславливает необходимость введения в рассмотрение набора дополнительных переменных, не имеющих пересечения.

На основании обобщенного и дополненного набора показателей можно выделить следующие основные сферы деятельности (vi, i=1..7), подлежащие оценке: выполнение обязательной образовательной программы, выполнение расширенной образовательной программы, работа над диссертацией, публикационная активность, участие в конференциях, участие в различных конкурсах, грантах, программах, педагогическая деятельность.

Сформулируем задачу в терминах статистического исследования зависимостей. Деятельность аспиранта, выступающая элементарным объектом исследования (O), характеризуется рядом признаков (входных переменных) различного типа.

Объединенный и дополненный список индикаторов X=(x1, x2, ..., xp) будем рассматривать как первоначальную систему входных переменных, предикторов. В результате преднамеренных изменений или изменений, происшедших с независимыми переменными случайно, появляется эффект, который передается на так называемые выходные переменные, переменные-отклики.

В качестве переменной-отклика предлагается рассматривать факт защиты диссертации в срок (y). Таким образом, каждому элементарному объекту исследования (деятельности конкретного аспиранта) ставится в соответствие перечень анализируемых показателей, т.е. O ↔ (x1, x2, ..., xp; y). Теперь задачу статистического исследования зависимости между переменными в вышеопределенных терминах можно сформулировать так: как изменения предикторов (xi, i=1.. N) влияют на значения отклика (y).

Выбор того или иного метода корреляционного анализа зависит от целей проведения исследования и шкалы измерений, которой принадлежат входные и выходные переменные математической модели. Основная часть объясняющих признаков (число публикаций, участие в конференциях и т.п.) относится к метрической шкале отношений. Однако, очевидно, что специфика объекта исследования предполагает наличие переменных, измеряемых скорее качественно, чем количественно. Например, индикаторы, связанные с оценкой работы над диссертацией, такие как «полное освоение экспериментальной методики и завершение эксперимента», «мнение научного руководителя о работе аспиранта» относятся к порядковой шкале. Ей же принадлежат и оценки, полученные при сдаче экзаменов кандидатского минимума.

Переменная-отклик представляет собой номинальный дихотомический признак.

Вывод о существования статистической зависимости между двумя признаками, заключение о силе или слабости этой зависимости должно быть сделано на основе анализа таблиц сопряженности. Получив набор таблиц сопряженности, последовательно применим к его элементам статистический критерий хи-квадрат. При проведении теста хи-квадрат проверяется взаимная независимость двух переменных таблицы и благодаря этому косвенно выясняется зависимость обоих переменных. В качестве коэффициента корреляции применяется коэффициент Спирмена.

Кроме того, для редукции множества исходных признаков может быть использован метод, основанный на теоретико-множественных отношениях между признаками, определенных выше, и корреляционном анализе.

Подсчитаем корреляции между xi (для всех i) и итоговой переменной.

Анализ данного набора корреляций позволил в первом приближении определить необходимый уровень детализации ряда рассматриваемых индикаторов. В частности, когда корреляции между дочерними элементами некоторого интегрального признака xi и результирующей переменной y близки к нулю, в то время как корреляцию xi и y можно расценивать как «сильную», предлагается исключать избыточные индикаторы, тем самым снижая размерность пространства значимых факторов модели.

Встречается и обратная ситуация, когда корреляции между дочерними элементами xi некоторого интегрального признака x и результирующей переменной y значительно превышают корреляции между x и y. Так получило математическое обоснование мнение многих экспертов о нецелесообразности включения в систему индикаторов показателя – суммарное число публикаций.

На этапе определения класса допустимых решений необходимо описать класс функций F, в рамках которого будет производиться дальнейший поиск конкретного вида исследуемой зависимости. Одним из основных критериев выбора модели является природа (количественная, неколичественная) объясняющих и результирующих показателей. Принадлежность предикторов к порядковой шкале и шкале отношений, дихотомического отклика – к номинальной шкале обуславливает целесообразность применения бинарной логистической регрессии. Функции данного класса рассчитывают вероятность наступления события (p=P{y=q}, 0<=q<=1) в зависимости от значений объясняющих переменных X. Соответствующая вероятность p рассчитывается по формуле:

p = f(X; θ) = 1/(1+e-( b1x1+b2x2+…+bnxn+a)),

где   X– вектор предикторов, θ={b1, b2, …, bn;a} – вектор параметров, расчет которых является задачей бинарной логистической регрессии.

Таким образом, поиск искомой связи между объясняющими переменными и откликом будет осуществляться среди параметрического семейства функций f(X; θ).

Этап вычисления оценок неизвестных параметров, входящих в исследуемое уравнение статистической связи полностью автоматизирован благодаря использованию соответствующего программного обеспечения. Определение значения вектора θ={b1, b2, …, bn;a} было произведено с помощью статистического пакета SPSS Statistics.

Параметры b1, b2, …, bn – положительны. Далее, простая проверка показывает, что функция f(X; θ) является монотонно возрастающей относительно каждой переменной-предиктора. Это свидетельствует о том, что повышение значений входных переменных способствует росту величины результирующей переменной, хотя и с разной степенью силы. Увеличение определенного коэффициента соответствует повышению степени положительного влияния соответствующего признака, то есть наиболее значимые факторы имеют наибольшие значения коэффициентов bi.

Приведем список пяти наиболее влиятельных индикаторов результативности:

·     Работа над диссертацией,

·     Публикация в журнале, включенном в список ВАК,

·     Выполнение расширенной образовательной программы,

·     Очное участие на конференции всероссийского (международного) уровня с докладом,

·     Наличие финансовой поддержки исследования на всероссийском уровне.

Для оценки качества модели логистической регрессии существует эффективный инструмент ROC-анализа. ROC-кривая (Receiver Operator Characteristic) – кривая, которая может быть эффективно использована для представления результатов класса задач классификации с двоичной выходной переменной. В таких задачах решается вопрос о принадлежности объекта к одному из двух классов. Один из данных классов называется классом с положительными исходами, второй – с отрицательными исходами. Предполагается, что у регрессии имеется некоторый параметр, варьируя значение которого, мы будем получать различные разбиения исследуемого множества на классы с положительными и отрицательными исходами. Этот параметр часто называют порогом, или точкой отсечения (cut-offvalue).

ROC-кривая показывает зависимость количества верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров. Первые называются истинно положительным, вторые – ложноотрицательным множеством.

Далее введем некоторые обозначения.

TP (True Positives) – верно классифицированные положительные примеры (истинно положительные случаи).

TN (True Negatives) – верно классифицированные отрицательные примеры (истинно отрицательные случаи).

FN (False Negatives) – положительные примеры, классифицированные как отрицательные (ошибка I рода, ложно отрицательные случаи). Это так называемый "ложный пропуск" – когда факт успешной защиты в срок (y=1) имел место, но не был обнаружен моделью.

FP (False Positives) – отрицательные примеры, классифицированные как положительные (ошибка II рода, ложно положительные случаи). Это ложное обнаружение – когда при отсутствии события факта успешной защиты в срок, модель выносит ошибочное решение о его присутствии.

При анализе чаще оперируют не абсолютными показателями, а относительными – долями, выраженными в процентах:

Чувствительность – Доля истинно положительных примеров TPR = [TP/(TP+FN)]*100%;

Специфичность – Доля истинно отрицательных примеров, которые были правильно идентифицированы моделью TPR =[TN/(TP+FN)]*100%.

ROC-кривая получается следующим образом:

Для каждого значения порога отсечения, которое меняется от 0 до 1 с шагом dx (например, 0.01) рассчитываются значения чувствительности Se и специфичности Sp. В качестве альтернативы порогом может являться каждое последующее значение примера в выборке.

Строится график зависимости: по оси Y откладывается чувствительность Se, по оси X – 100%–Sp (сто процентов минус специфичность), то есть FPR – доля ложно положительных случаев.

Идеальная модель, подразумевающая единичную площадь под ROC-кривой, обладает стопроцентной чувствительностью и специфичностью. Однако, на практике, в условиях невозможности добиться максимальных значений этих характеристик, возникает задача поиска максимально эффективного соотношения между ними, что ведет к необходимости нахождения оптимального порога отсечения.

Для определения наилучшего порога требуется задать критерий его определения, поскольку в разных задачах присутствует своя оптимальная стратегия. В качестве критериев выбора порога отсечения распространено использование

       требования максимальной суммарной чувствительности и специфичности модели Cut_off1 = max(Sek + Spk), k=1..100

       требования баланса между чувствительностью и специфичностью Cut_off2 = min(Sek - Spk) , k=1..100.

В данном исследовании значения этих параметров равны соответственно 0,62 и 0,64.

Cut_off
Se, %
Sp, %
Se+Sp
|Se-Sp|
0,61
91,6
87,3
178,9
4,3
0,62
91,4
88,2
179,6
3,2
0,63
91,1
88,4
179,5
2,7
0,64
88,1
88,6
176,7
0,5
0,65
88,1
88,9
177,0
0,8

Таблица 1. Фрагмент массива значений Se, Sp, Se+Sp, |Se-Sp|, соответствующих различным порогам отсечения.

В частности, согласно таблице 1, для Cut_off1=0,62 чувствительность составляет  91,4%, специфичность ­– 88,2%. В настоящем исследовании значение специфичности важно в первую очередь для обеспечения возможности принятия своевременных превентивных и коррекционных мер по минимизации случаев явных отставаний аспирантов от плана работы, отклонений от заданных требований. Использование модели с высоким уровнем чувствительности положительно сказывается на качестве поддержки процесса принятия решений при необходимости выделить успевающих, наиболее прогрессирующих аспирантов.

Проведенное исследование позволило создать в ПетрГУ информационно-аналитическую систему качества (СК) подготовки кадров высшей квалификации, позволяющую, в том числе, осуществлять расчет значений выбранных показателей качества. При расчете используются данные, полученные из различных подсистем Информационно-аналитической интегрированной системы управления вузом (ИАИС), действующей в ПетрГУ. При этом разработанная СК является частью ИАИС (подсистемой) и используется для реализации управленческих функций руководством вуза.

Литература:

1.     М.В. Мартыненко. Внутривузовский мониторинг как средство управления качеством образования: Диссертация на соискание ученой степени кандидата педагогических наук. — Ставрополь, 2003.

При цитировании ссылка обязательна:
Власова А. Г., Насадкина О. Ю., Марахтанов А. Г., Байтимиров Л. З. О выборе показателей для оценки качества осуществления процессов подготовки научных высшей квалификации в вузе. // Материалы всероссийской научно-практической конференции "Проблемы автоматизации деятельности вузовских систем качества" (11-12 ноября 2011 года, Санкт-Петербург, ЛЭТИ). С. 75-81.
Для online-проектов необходима гиперссылка
http://marahtanov.ru/science/publ/2011/quality1/index.html

Обсудить статью, задать вопросы, высказать замечания и предложения можно на форуме.

 

Поиск по сайту

Пользовательского поиска

    Мой аккаунт в Twitter: @alikrpk

    Форум

    Последнее сообщение

    Перейти в раздел

    Если нашли ошибку

    Система Orphus


    Статистика

    Rambler's Top100