Научная деятельность

Новости

Все новости
RSS лента новостей

Ссылки

Наземные экосистемы таежной зоны | Учебное пособие

Версия для печати Версия для печати

Власова А. Г., Насадкина О. Ю., Марахтанов А. Г., Байтимиров Л. З.
О выборе показателей для оценки качества осуществления процессов подготовки кадров высшей квалификации в вузе

Внутривузовский мониторинг является основной аналитико-диагностической технологией функционирования организационно-исполнительной системы управления качеством образования в вузе [1]. Регулярный контроль и оценка результативности работы аспирантов является частью внутривузовского мониторинга и представляет собой одну из центральных задач информационно-аналитического обеспечения процесса подготовки научных кадров высшей квалификации.

При разработке механизмов мониторинга на первый план выходят задачи определения набора показателей, по которым отслеживается состояние образовательного процесса; создания инструментария контроля и оценки результатов.

Система значимых параметров-характеристик модели оценки научно-исследовательской работы молодых ученых довольно сильно варьируется от вуза к вузу. В настоящее время суммарно используется более шестидесяти различных индикаторов результативности. В работах, посвященных проблеме определения численных характеристик деятельности молодых ученых, также предлагается к рассмотрению и обосновывается значимость ряда показателей продуктивности. Таким образом, актуальной является задача отбора статистически значимых характеристик работы аспиранта.

Рассмотрим обобщенный набор показателей. В нем встречаются следующие отношения: тождества, наличие непустого пересечения (в том числе случай полного включения), отсутствие непустого пересечения. Имеются индикаторы, которые представляют собой точную сумму других, более детализированных признаков. Например, xn– число актов о внедрении, xn1, xn2, xn3– число актов о внедрении соответственно в производство, в учебный процесс, в общественные организации, следовательно, xn= xn1+xn2+xn3.

К индикаторам, имеющим непустое пересечение, относятся в частности xm1– число тезисов или публикаций статей в сборниках международных конференций, xm2– число тезисов в материалах всероссийских и международных конференций. В пересечение попадают тезисы, опубликованные в материалах конференций международного уровня. Наличие показателей такого типа обуславливает необходимость введения в рассмотрение набора дополнительных переменных, не имеющих пересечения.

На основании обобщенного и дополненного набора показателей можно выделить следующие основные сферы деятельности (vi, i=1..7), подлежащие оценке: выполнение обязательной образовательной программы, выполнение расширенной образовательной программы, работа над диссертацией, публикационная активность, участие в конференциях, участие в различных конкурсах, грантах, программах, педагогическая деятельность.

Сформулируем задачу в терминах статистического исследования зависимостей. Деятельность аспиранта, выступающая элементарным объектом исследования (O), характеризуется рядом признаков (входных переменных) различного типа.

Объединенный и дополненный список индикаторов X=(x1, x2, ..., xp) будем рассматривать как первоначальную систему входных переменных, предикторов. В результате преднамеренных изменений или изменений, происшедших с независимыми переменными случайно, появляется эффект, который передается на так называемые выходные переменные, переменные-отклики.

В качестве переменной-отклика предлагается рассматривать факт защиты диссертации в срок (y). Таким образом, каждому элементарному объекту исследования (деятельности конкретного аспиранта) ставится в соответствие перечень анализируемых показателей, т.е. O ↔ (x1, x2, ..., xp; y). Теперь задачу статистического исследования зависимости между переменными в вышеопределенных терминах можно сформулировать так: как изменения предикторов (xi, i=1.. N) влияют на значения отклика (y).

Выбор того или иного метода корреляционного анализа зависит от целей проведения исследования и шкалы измерений, которой принадлежат входные и выходные переменные математической модели. Основная часть объясняющих признаков (число публикаций, участие в конференциях и т.п.) относится к метрической шкале отношений. Однако, очевидно, что специфика объекта исследования предполагает наличие переменных, измеряемых скорее качественно, чем количественно. Например, индикаторы, связанные с оценкой работы над диссертацией, такие как «полное освоение экспериментальной методики и завершение эксперимента», «мнение научного руководителя о работе аспиранта» относятся к порядковой шкале. Ей же принадлежат и оценки, полученные при сдаче экзаменов кандидатского минимума.

Переменная-отклик представляет собой номинальный дихотомический признак.

Вывод о существования статистической зависимости между двумя признаками, заключение о силе или слабости этой зависимости должно быть сделано на основе анализа таблиц сопряженности. Получив набор таблиц сопряженности, последовательно применим к его элементам статистический критерий хи-квадрат. При проведении теста хи-квадрат проверяется взаимная независимость двух переменных таблицы и благодаря этому косвенно выясняется зависимость обоих переменных. В качестве коэффициента корреляции применяется коэффициент Спирмена.

Кроме того, для редукции множества исходных признаков может быть использован метод, основанный на теоретико-множественных отношениях между признаками, определенных выше, и корреляционном анализе.

Подсчитаем корреляции между xi (для всех i) и итоговой переменной.

Анализ данного набора корреляций позволил в первом приближении определить необходимый уровень детализации ряда рассматриваемых индикаторов. В частности, когда корреляции между дочерними элементами некоторого интегрального признака xi и результирующей переменной y близки к нулю, в то время как корреляцию xi и y можно расценивать как «сильную», предлагается исключать избыточные индикаторы, тем самым снижая размерность пространства значимых факторов модели.

Встречается и обратная ситуация, когда корреляции между дочерними элементами xi некоторого интегрального признака x и результирующей переменной y значительно превышают корреляции между x и y. Так получило математическое обоснование мнение многих экспертов о нецелесообразности включения в систему индикаторов показателя – суммарное число публикаций.

На этапе определения класса допустимых решений необходимо описать класс функций F, в рамках которого будет производиться дальнейший поиск конкретного вида исследуемой зависимости. Одним из основных критериев выбора модели является природа (количественная, неколичественная) объясняющих и результирующих показателей. Принадлежность предикторов к порядковой шкале и шкале отношений, дихотомического отклика – к номинальной шкале обуславливает целесообразность применения бинарной логистической регрессии. Функции данного класса рассчитывают вероятность наступления события (p=P{y=q}, 0<=q<=1) в зависимости от значений объясняющих переменных X. Соответствующая вероятность p рассчитывается по формуле:

p = f(X; θ) = 1/(1+e-( b1x1+b2x2+…+bnxn+a)),

где   X– вектор предикторов, θ={b1, b2, …, bn;a} – вектор параметров, расчет которых является задачей бинарной логистической регрессии.

Таким образом, поиск искомой связи между объясняющими переменными и откликом будет осуществляться среди параметрического семейства функций f(X; θ).

Этап вычисления оценок неизвестных параметров, входящих в исследуемое уравнение статистической связи полностью автоматизирован благодаря использованию соответствующего программного обеспечения. Определение значения вектора θ={b1, b2, …, bn;a} было произведено с помощью статистического пакета SPSS Statistics.

Параметры b1, b2, …, bn – положительны. Далее, простая проверка показывает, что функция f(X; θ) является монотонно возрастающей относительно каждой переменной-предиктора. Это свидетельствует о том, что повышение значений входных переменных способствует росту величины результирующей переменной, хотя и с разной степенью силы. Увеличение определенного коэффициента соответствует повышению степени положительного влияния соответствующего признака, то есть наиболее значимые факторы имеют наибольшие значения коэффициентов bi.

Приведем список пяти наиболее влиятельных индикаторов результативности:

·     Работа над диссертацией,

·     Публикация в журнале, включенном в список ВАК,

·     Выполнение расширенной образовательной программы,

·     Очное участие на конференции всероссийского (международного) уровня с докладом,

·     Наличие финансовой поддержки исследования на всероссийском уровне.

Для оценки качества модели логистической регрессии существует эффективный инструмент ROC-анализа. ROC-кривая (Receiver Operator Characteristic) – кривая, которая может быть эффективно использована для представления результатов класса задач классификации с двоичной выходной переменной. В таких задачах решается вопрос о принадлежности объекта к одному из двух классов. Один из данных классов называется классом с положительными исходами, второй – с отрицательными исходами. Предполагается, что у регрессии имеется некоторый параметр, варьируя значение которого, мы будем получать различные разбиения исследуемого множества на классы с положительными и отрицательными исходами. Этот параметр часто называют порогом, или точкой отсечения (cut-offvalue).

ROC-кривая показывает зависимость количества верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров. Первые называются истинно положительным, вторые – ложноотрицательным множеством.

Далее введем некоторые обозначения.

TP (True Positives) – верно классифицированные положительные примеры (истинно положительные случаи).

TN (True Negatives) – верно классифицированные отрицательные примеры (истинно отрицательные случаи).

FN (False Negatives) – положительные примеры, классифицированные как отрицательные (ошибка I рода, ложно отрицательные случаи). Это так называемый "ложный пропуск" – когда факт успешной защиты в срок (y=1) имел место, но не был обнаружен моделью.

FP (False Positives) – отрицательные примеры, классифицированные как положительные (ошибка II рода, ложно положительные случаи). Это ложное обнаружение – когда при отсутствии события факта успешной защиты в срок, модель выносит ошибочное решение о его присутствии.

При анализе чаще оперируют не абсолютными показателями, а относительными – долями, выраженными в процентах:

Чувствительность – Доля истинно положительных примеров TPR = [TP/(TP+FN)]*100%;

Специфичность – Доля истинно отрицательных примеров, которые были правильно идентифицированы моделью TPR =[TN/(TP+FN)]*100%.

ROC-кривая получается следующим образом:

Для каждого значения порога отсечения, которое меняется от 0 до 1 с шагом dx (например, 0.01) рассчитываются значения чувствительности Se и специфичности Sp. В качестве альтернативы порогом может являться каждое последующее значение примера в выборке.

Строится график зависимости: по оси Y откладывается чувствительность Se, по оси X – 100%–Sp (сто процентов минус специфичность), то есть FPR – доля ложно положительных случаев.

Идеальная модель, подразумевающая единичную площадь под ROC-кривой, обладает стопроцентной чувствительностью и специфичностью. Однако, на практике, в условиях невозможности добиться максимальных значений этих характеристик, возникает задача поиска максимально эффективного соотношения между ними, что ведет к необходимости нахождения оптимального порога отсечения.

Для определения наилучшего порога требуется задать критерий его определения, поскольку в разных задачах присутствует своя оптимальная стратегия. В качестве критериев выбора порога отсечения распространено использование

       требования максимальной суммарной чувствительности и специфичности модели Cut_off1 = max(Sek + Spk), k=1..100

       требования баланса между чувствительностью и специфичностью Cut_off2 = min(Sek - Spk) , k=1..100.

В данном исследовании значения этих параметров равны соответственно 0,62 и 0,64.

Cut_off
Se, %
Sp, %
Se+Sp
|Se-Sp|
0,61
91,6
87,3
178,9
4,3
0,62
91,4
88,2
179,6
3,2
0,63
91,1
88,4
179,5
2,7
0,64
88,1
88,6
176,7
0,5
0,65
88,1
88,9
177,0
0,8

Таблица 1. Фрагмент массива значений Se, Sp, Se+Sp, |Se-Sp|, соответствующих различным порогам отсечения.

В частности, согласно таблице 1, для Cut_off1=0,62 чувствительность составляет  91,4%, специфичность ­– 88,2%. В настоящем исследовании значение специфичности важно в первую очередь для обеспечения возможности принятия своевременных превентивных и коррекционных мер по минимизации случаев явных отставаний аспирантов от плана работы, отклонений от заданных требований. Использование модели с высоким уровнем чувствительности положительно сказывается на качестве поддержки процесса принятия решений при необходимости выделить успевающих, наиболее прогрессирующих аспирантов.

Проведенное исследование позволило создать в ПетрГУ информационно-аналитическую систему качества (СК) подготовки кадров высшей квалификации, позволяющую, в том числе, осуществлять расчет значений выбранных показателей качества. При расчете используются данные, полученные из различных подсистем Информационно-аналитической интегрированной системы управления вузом (ИАИС), действующей в ПетрГУ. При этом разработанная СК является частью ИАИС (подсистемой) и используется для реализации управленческих функций руководством вуза.

Литература:

1.     М.В. Мартыненко. Внутривузовский мониторинг как средство управления качеством образования: Диссертация на соискание ученой степени кандидата педагогических наук. — Ставрополь, 2003.

При цитировании ссылка обязательна:
Власова А. Г., Насадкина О. Ю., Марахтанов А. Г., Байтимиров Л. З. О выборе показателей для оценки качества осуществления процессов подготовки научных высшей квалификации в вузе. // Материалы всероссийской научно-практической конференции "Проблемы автоматизации деятельности вузовских систем качества" (11-12 ноября 2011 года, Санкт-Петербург, ЛЭТИ). С. 75-81.
Для online-проектов необходима гиперссылка
http://marahtanov.ru/science/publ/2011/quality1/index.html

Обсудить статью, задать вопросы, высказать замечания и предложения можно на форуме.

 

Поиск по сайту

Пользовательского поиска

    Мой аккаунт в Twitter: @alikrpk

    Форум

    Последнее сообщение
    • Темы докладов, 2018 - 2019 уч. год
      Автор: Марахтанов Алексей
      Сообщение: Закрепить выбор темы можно
      будет на след. занятии. Одну
      тему можно делать
      самостоятельно или в паре. ...

    Перейти в раздел

    Если нашли ошибку

    Система Orphus


    Статистика

    Rambler's Top100