Марахтанов Алексей

Научная деятельность

• Научные публикации, тезисы
  • 2019
  • 2018
  • 2017
  • 2016
  • 2015
  • 2014
  • 2013
  • 2012
  • 2011
  • 2010
  • 2009
  • 2008
  • 2007
  • 2006
• Статьи в СМИ
• Конференции и семинары
• Объекты интеллектуальной собственности

Новости

• Стажировка в ИТ-компании (2017)
  ООО «Интернет-бизнес-системы» объявляет конкурс для студентов ИТ-специальностей на прохождение стажировки по направлению HTML-верстка.
• "Web-проектирование - 2015" - следующее занятие
  Следующее занятие по спецкурсу по выбору "Web-проектирование" состоится в пятницу, 2 октября 2015, в 11-30. Аудитория будет сообщена дополнительно.

Все новости

Ссылки

• Петрозаводский государственный университет (ПетрГУ)
• Региональный центр новых информационных технологий (РЦ НИТ)
• Кафедра теории вероятностей и анализа данных (ТВИАД)
• "Интернет-бизнес-системы" - Малое инновационное предприятие Петрозаводского государственного университета
• Интернет-компания "Инноза": разработка сайтов в Петрозаводске

Наземные экосистемы таежной зоны | Учебное пособие

0	Версия для печати

Власова А. Г., Насадкина О. Ю., Марахтанов А. Г., Байтимиров Л. З.
О выборе показателей для оценки качества осуществления процессов подготовки кадров высшей квалификации в вузе

Внутривузовский мониторинг является основной аналитико-диагностической технологией функционирования организационно-исполнительной системы управления качеством образования в вузе [1]. Регулярный контроль и оценка результативности работы аспирантов является частью внутривузовского мониторинга и представляет собой одну из центральных задач информационно-аналитического обеспечения процесса подготовки научных кадров высшей квалификации.

При разработке механизмов мониторинга на первый план выходят задачи определения набора показателей, по которым отслеживается состояние образовательного процесса; создания инструментария контроля и оценки результатов.

Система значимых параметров-характеристик модели оценки научно-исследовательской работы молодых ученых довольно сильно варьируется от вуза к вузу. В настоящее время суммарно используется более шестидесяти различных индикаторов результативности. В работах, посвященных проблеме определения численных характеристик деятельности молодых ученых, также предлагается к рассмотрению и обосновывается значимость ряда показателей продуктивности. Таким образом, актуальной является задача отбора статистически значимых характеристик работы аспиранта.

Рассмотрим обобщенный набор показателей. В нем встречаются следующие отношения: тождества, наличие непустого пересечения (в том числе случай полного включения), отсутствие непустого пересечения. Имеются индикаторы, которые представляют собой точную сумму других, более детализированных признаков. Например, x_n– число актов о внедрении, x_n1, x_n2, x_n3– число актов о внедрении соответственно в производство, в учебный процесс, в общественные организации, следовательно, x_n= x_n1+x_n2+x_n3.

К индикаторам, имеющим непустое пересечение, относятся в частности x_m1– число тезисов или публикаций статей в сборниках международных конференций, x_m2– число тезисов в материалах всероссийских и международных конференций. В пересечение попадают тезисы, опубликованные в материалах конференций международного уровня. Наличие показателей такого типа обуславливает необходимость введения в рассмотрение набора дополнительных переменных, не имеющих пересечения.

На основании обобщенного и дополненного набора показателей можно выделить следующие основные сферы деятельности (v_i, i=1..7), подлежащие оценке: выполнение обязательной образовательной программы, выполнение расширенной образовательной программы, работа над диссертацией, публикационная активность, участие в конференциях, участие в различных конкурсах, грантах, программах, педагогическая деятельность.

Сформулируем задачу в терминах статистического исследования зависимостей. Деятельность аспиранта, выступающая элементарным объектом исследования (O), характеризуется рядом признаков (входных переменных) различного типа.

Объединенный и дополненный список индикаторов X=(x₁, x₂, ..., x_p) будем рассматривать как первоначальную систему входных переменных, предикторов. В результате преднамеренных изменений или изменений, происшедших с независимыми переменными случайно, появляется эффект, который передается на так называемые выходные переменные, переменные-отклики.

В качестве переменной-отклика предлагается рассматривать факт защиты диссертации в срок (y). Таким образом, каждому элементарному объекту исследования (деятельности конкретного аспиранта) ставится в соответствие перечень анализируемых показателей, т.е. O ↔ (x₁, x₂, ..., x_p; y). Теперь задачу статистического исследования зависимости между переменными в вышеопределенных терминах можно сформулировать так: как изменения предикторов (x_i, i=1.. N) влияют на значения отклика (y).

Выбор того или иного метода корреляционного анализа зависит от целей проведения исследования и шкалы измерений, которой принадлежат входные и выходные переменные математической модели. Основная часть объясняющих признаков (число публикаций, участие в конференциях и т.п.) относится к метрической шкале отношений. Однако, очевидно, что специфика объекта исследования предполагает наличие переменных, измеряемых скорее качественно, чем количественно. Например, индикаторы, связанные с оценкой работы над диссертацией, такие как «полное освоение экспериментальной методики и завершение эксперимента», «мнение научного руководителя о работе аспиранта» относятся к порядковой шкале. Ей же принадлежат и оценки, полученные при сдаче экзаменов кандидатского минимума.

Переменная-отклик представляет собой номинальный дихотомический признак.

Вывод о существования статистической зависимости между двумя признаками, заключение о силе или слабости этой зависимости должно быть сделано на основе анализа таблиц сопряженности. Получив набор таблиц сопряженности, последовательно применим к его элементам статистический критерий хи-квадрат. При проведении теста хи-квадрат проверяется взаимная независимость двух переменных таблицы и благодаря этому косвенно выясняется зависимость обоих переменных. В качестве коэффициента корреляции применяется коэффициент Спирмена.

Кроме того, для редукции множества исходных признаков может быть использован метод, основанный на теоретико-множественных отношениях между признаками, определенных выше, и корреляционном анализе.

Подсчитаем корреляции между x_i (для всех i) и итоговой переменной.

Анализ данного набора корреляций позволил в первом приближении определить необходимый уровень детализации ряда рассматриваемых индикаторов. В частности, когда корреляции между дочерними элементами некоторого интегрального признака x_i и результирующей переменной y близки к нулю, в то время как корреляцию x_i и y можно расценивать как «сильную», предлагается исключать избыточные индикаторы, тем самым снижая размерность пространства значимых факторов модели.

Встречается и обратная ситуация, когда корреляции между дочерними элементами x_i некоторого интегрального признака x и результирующей переменной y значительно превышают корреляции между x и y. Так получило математическое обоснование мнение многих экспертов о нецелесообразности включения в систему индикаторов показателя – суммарное число публикаций.

На этапе определения класса допустимых решений необходимо описать класс функций F, в рамках которого будет производиться дальнейший поиск конкретного вида исследуемой зависимости. Одним из основных критериев выбора модели является природа (количественная, неколичественная) объясняющих и результирующих показателей. Принадлежность предикторов к порядковой шкале и шкале отношений, дихотомического отклика – к номинальной шкале обуславливает целесообразность применения бинарной логистической регрессии. Функции данного класса рассчитывают вероятность наступления события (p=P{y=q}, 0<=q<=1) в зависимости от значений объясняющих переменных X. Соответствующая вероятность p рассчитывается по формуле:

где   X– вектор предикторов, θ={b₁, b₂, …, b_n;a} – вектор параметров, расчет которых является задачей бинарной логистической регрессии.

Таким образом, поиск искомой связи между объясняющими переменными и откликом будет осуществляться среди параметрического семейства функций f(X; θ).

Этап вычисления оценок неизвестных параметров, входящих в исследуемое уравнение статистической связи полностью автоматизирован благодаря использованию соответствующего программного обеспечения. Определение значения вектора θ={b₁, b₂, …, b_n;a} было произведено с помощью статистического пакета SPSS Statistics.

Параметры b₁, b₂, …, b_n – положительны. Далее, простая проверка показывает, что функция f(X; θ) является монотонно возрастающей относительно каждой переменной-предиктора. Это свидетельствует о том, что повышение значений входных переменных способствует росту величины результирующей переменной, хотя и с разной степенью силы. Увеличение определенного коэффициента соответствует повышению степени положительного влияния соответствующего признака, то есть наиболее значимые факторы имеют наибольшие значения коэффициентов b_i.

Приведем список пяти наиболее влиятельных индикаторов результативности:

·     Работа над диссертацией,

·     Публикация в журнале, включенном в список ВАК,

·     Выполнение расширенной образовательной программы,

·     Очное участие на конференции всероссийского (международного) уровня с докладом,

·     Наличие финансовой поддержки исследования на всероссийском уровне.

Для оценки качества модели логистической регрессии существует эффективный инструмент ROC-анализа. ROC-кривая (Receiver Operator Characteristic) – кривая, которая может быть эффективно использована для представления результатов класса задач классификации с двоичной выходной переменной. В таких задачах решается вопрос о принадлежности объекта к одному из двух классов. Один из данных классов называется классом с положительными исходами, второй – с отрицательными исходами. Предполагается, что у регрессии имеется некоторый параметр, варьируя значение которого, мы будем получать различные разбиения исследуемого множества на классы с положительными и отрицательными исходами. Этот параметр часто называют порогом, или точкой отсечения (cut-offvalue).

ROC-кривая показывает зависимость количества верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров. Первые называются истинно положительным, вторые – ложноотрицательным множеством.

TP (True Positives) – верно классифицированные положительные примеры (истинно положительные случаи).

TN (True Negatives) – верно классифицированные отрицательные примеры (истинно отрицательные случаи).

FN (False Negatives) – положительные примеры, классифицированные как отрицательные (ошибка I рода, ложно отрицательные случаи). Это так называемый "ложный пропуск" – когда факт успешной защиты в срок (y=1) имел место, но не был обнаружен моделью.

FP (False Positives) – отрицательные примеры, классифицированные как положительные (ошибка II рода, ложно положительные случаи). Это ложное обнаружение – когда при отсутствии события факта успешной защиты в срок, модель выносит ошибочное решение о его присутствии.

При анализе чаще оперируют не абсолютными показателями, а относительными – долями, выраженными в процентах:

Чувствительность – Доля истинно положительных примеров TPR = [TP/(TP+FN)]*100%;

Специфичность – Доля истинно отрицательных примеров, которые были правильно идентифицированы моделью TPR =[TN/(TP+FN)]*100%.

ROC-кривая получается следующим образом:

Для каждого значения порога отсечения, которое меняется от 0 до 1 с шагом dx (например, 0.01) рассчитываются значения чувствительности Se и специфичности Sp. В качестве альтернативы порогом может являться каждое последующее значение примера в выборке.

Строится график зависимости: по оси Y откладывается чувствительность Se, по оси X – 100%–Sp (сто процентов минус специфичность), то есть FPR – доля ложно положительных случаев.

Идеальная модель, подразумевающая единичную площадь под ROC-кривой, обладает стопроцентной чувствительностью и специфичностью. Однако, на практике, в условиях невозможности добиться максимальных значений этих характеристик, возникает задача поиска максимально эффективного соотношения между ними, что ведет к необходимости нахождения оптимального порога отсечения.

Для определения наилучшего порога требуется задать критерий его определения, поскольку в разных задачах присутствует своя оптимальная стратегия. В качестве критериев выбора порога отсечения распространено использование

–       требования максимальной суммарной чувствительности и специфичности модели Cut_off₁ = max(Se_k + Sp_k), k=1..100

–       требования баланса между чувствительностью и специфичностью Cut_off₂ = min(Se_k - Sp_k) , k=1..100.

В данном исследовании значения этих параметров равны соответственно 0,62 и 0,64.

Таблица 1. Фрагмент массива значений Se, Sp, Se+Sp, |Se-Sp|, соответствующих различным порогам отсечения.

В частности, согласно таблице 1, для Cut_off₁=0,62 чувствительность составляет  91,4%, специфичность ­– 88,2%. В настоящем исследовании значение специфичности важно в первую очередь для обеспечения возможности принятия своевременных превентивных и коррекционных мер по минимизации случаев явных отставаний аспирантов от плана работы, отклонений от заданных требований. Использование модели с высоким уровнем чувствительности положительно сказывается на качестве поддержки процесса принятия решений при необходимости выделить успевающих, наиболее прогрессирующих аспирантов.

Проведенное исследование позволило создать в ПетрГУ информационно-аналитическую систему качества (СК) подготовки кадров высшей квалификации, позволяющую, в том числе, осуществлять расчет значений выбранных показателей качества. При расчете используются данные, полученные из различных подсистем Информационно-аналитической интегрированной системы управления вузом (ИАИС), действующей в ПетрГУ. При этом разработанная СК является частью ИАИС (подсистемой) и используется для реализации управленческих функций руководством вуза.

1.     М.В. Мартыненко. Внутривузовский мониторинг как средство управления качеством образования: Диссертация на соискание ученой степени кандидата педагогических наук. — Ставрополь, 2003.

При цитировании ссылка обязательна:
Власова А. Г., Насадкина О. Ю., Марахтанов А. Г., Байтимиров Л. З. О выборе показателей для оценки качества осуществления процессов подготовки научных высшей квалификации в вузе. // Материалы всероссийской научно-практической конференции "Проблемы автоматизации деятельности вузовских систем качества" (11-12 ноября 2011 года, Санкт-Петербург, ЛЭТИ). С. 75-81.
Для online-проектов необходима гиперссылка
http://marahtanov.ru/science/publ/2011/quality1/index.html

Обсудить статью, задать вопросы, высказать замечания и предложения можно на форуме.

Поиск по сайту

Пользовательского поиска