Цифровой двойник преподавателя: технологии искусственного интеллекта при оценивании голосовых ответов учащихся для образовательных учреждений Алтайского края
Дмитриев Александр Александрович, руководитель проекта, к.ф.-м.н., доцент кафедры информационной безопасности Алтайского государственного университета
Дмитриев Денис Александрович, аспирант кафедры информационной безопасности, ведущий инженер управления информатизации Алтайского государственного университета
Проект направлен на создание нового цифрового образовательного сервиса, использующего технологии искусственного интеллекта для приема голосовых ответов учащихся на экзаменах и их автоматического оценивания без участия преподавателя. На сегодняшний день довольно актуальными являются разработка новых цифровых сервисов и инструментов в образовании, задействующих алгоритмы искусственного интеллекта и обработки цифровых данных, для повышения качества обучения учащихся. Одним из примеров здесь является включение голосовых помощников в состав онлайн курсов, ведущих интерактивный диалог с учащимися с целью активного изучения учебного материала курса и обеспечивающих проверку правильности ответов учащихся на отдельные виды вопросов по предмету. Тем не менее, задача автоматического оценивания компьютером голосового ответа учащегося, учитывающего полноту, правильность и языковое оформление ответа окончательно не решена, особенно, если речь идет об голосовых ответах на поставленные вопросы на узкоспециализированных предметах.
В представленном проекте разработанный цифровой сервис использует технологии распознавания речи для преобразования устного ответа учащегося в текст. Полученный ответ обрабатывается при помощи современных технологий нейронных сетей и методов обработки текстовых данных для вычисления оценки в баллах, учитывающих полноту и правильность произнесенного ответа. Применение цифрового сервиса позволит проводить дистанционные голосовые экзамены с автоматическим оцениванием, в которых учащийся, используя собственную естественную речь, будет отвечать на вопрос виртуального преподавателя.
- Создание веб-сервиса для тестирования обучающихся, использующего технологии искусственного интеллекта и алгоритмы обработки текста для автоматического оценивания речевых ответов на контрольные вопросы.
- Разработка алгоритмов обработки текста на естественном языке для оценивания голосовых ответов учащихся.
- Расширение линейки используемых в образовательном процессе технологий за счет разработанного цифрового сервиса.
- Апробация цифрового сервиса для выполнения различных задач обучения, таких как прием голосового ответа учащегося на экзамене, голосовое взаимодействие с обучающимся, тестирование средствами коротких речевых ответов.
- Масштабирование образовательного веб-сервиса и его алгоритмов для обеспечения работы в высоконагруженных условиях массового обслуживания обучающихся.
- Вовлечение студентов и аспирантов в разработку программного обеспечения, связанного с технологиями на основе искусственного интеллекта, и получение компетенций в данной технологической области.
Представленный на конкурс цифровой сервис состоит трех реализованных программных модулей со собственным программным обеспечением: модуля приема голосовых сообщений пользователей, модуля обработки текста, и модуля взаимодействия с пользователем.
Модуль приема голосовых сообщений пользователей является программой используемой для записи голосового сигнала и распознавания присутствующей в нем речи. Функциональные возможности данного модуля позволяют записать произносимую учащимся речь, улучшить полученный цифровой аудиосигнал сигнал и распознать произносимую на естественном языке речь. Для улучшения качества аудиозаписи с речью привлечены современные методы цифровой фильтрации сигналов. При распознавании присутствующей в голосовом сигнале речи задействован математический аппарат предобученной нейронной сети с глубоким обучением, реализованной в свободно распространяемой библиотеки Vosk, представленной по адресу https://alphacephei.com/vosk/
При распознавании речи библиотека Vosk использует акустическую модель русского языка. Для надежного распознавания речи в модуле приема голосовых сообщений в виде программы реализован механизм дообучения нейронной сети. После распознавания голосового сигнала на выходе модуля создается текстовое сообщение, которое содержит произнесенные учащимся слова.
Модуль обработки текста используется для автоматической обработки и анализа полученного текстового сообщения с последующим его оцениваем по 100-балльной шкале. При программной реализации этого модуля задействованы библиотека анализа и обработки текста Natural Language Toolkit и библиотека для организации параллельного программирования на языке Python. Используемые функции библиотеки Natural Language Toolkit применены для вычисления информативных параметров распознанного текста, описывающих полноту, правильность и языковое оформление текстового ответа обучающегося. Вычисленные информативные параметры затем сравниваются с предварительно подготовленными характеристиками правильного ответа. Процентное совпадение информативных и эталонных характеристик указывает на итоговую оценку, которую получит обучающийся за голосовой ответ. При вычислении информативных параметров текстов в текущей реализации задействованы статистические методы оценки важности слов в тексте TF-IDF. Для поиска близких слов в различных текстах, употребленных в одном контексте, использованы подходы с применением нейронных сетей Word2Vec. Для эффективной обработки больших распознанных текстовых ответов в программную реализацию данного модуля добавлены элементы параллельного выполнения отдельных программных компонентов.
В программном модуле взаимодействия с пользователем реализован графический веб-интерфейс системы для взаимодействия с пользователями. В виду того, что цифровой сервис ориентирован на использование в образовательных целях, графический интерфейс разделен на две отдельных части: графический интерфейс преподавателя и графический интерфейс обучающегося. Графический интерфейс преподавателя используется для управления образовательным контентом. В нем заложены функции создания голосовых тестов либо одиночных экзаменов, в которых учащийся должен дать развернутый устный ответ на вопрос. Функциональные элементы веб-интерфейса содержат опции по подготовке заданий и правильных ответов, детальные настройки и управление голосовым экзаменом, например, создание группы учащихся, допущенных к голосовому ответу, ограничение по времени, даты проведения экзамена.
Графический веб-интерфейс обучающегося используется учащимся для сдачи голосового экзамена. При использовании этого графического интерфейса учащийся сначала с помощью интерактивного голосового помощника заполняет карточку сдающего голосовой экзамен, в которой указывает свои учетные данные. Далее активируется кнопка для сдачи экзамена. Устный ответ обучающегося обрабатывается модулем приема голосовых сообщений и модулем обработки текста, и затем на веб-странице отображается результат по 100-баллной шкале оценивания. В текущей реализации графические интерфейсы преподавателя и обучающегося доступны через веб-браузер устройства пользователя на сайте https://adt.asu.ru/
Для применения цифрового сервиса, как инструмента для оценивания ответов студентов в электронных курсах, размещенных в современных системах управления образовательными электронными курсами, например, Moodle, предусмотрена интеграция веб-страницы для сдачи голосового экзамена в состав курса.
С целью защиты цифрового сервиса от вредоносных атак на вычислительном оборудовании реализованы правила фильтрации сетевого трафика и балансировки входящих подключений.
Модульная архитектура программного обеспечения цифрового сервиса позволила обеспечить заменяемость его отдельных компонентов. К примеру, используемая нами система распознавания речи может быть заменена на системы распознавания речи других производителей.
При создании данного IT-продукта наша команда руководствовалась передовыми научными исследованиями в области искусственного интеллекта, задействованного для распознавания речи и обработки текста [1-3]. При создании графического интерфейса учитывались опубликованные взгляды педагогического сообщества, на разработку дизайна веб-интерфейса образовательного приложения, обеспечивающий наиболее комфортную для обучающегося среду, способствующую преодолению коммуникативных и психологических сложностей при сдачи экзаменов [4].
1. Bahel V., Thomas A. Text similarity analysis for evaluation of descriptive answers. arXiv, 2021, arXiv:2105.02935.
2. Lakshmi V., Ramesh V. Evaluating students’ descriptive answers using natural language processing and artificial neural networks (IJCRT). – 2017. – Vol. 5, Iss. 4. – P. 3168-3173.
3. Захаров А.А., Захарова И.Г., Шабалин А.М., Ханбеков Ш.И., Джалилзода Д.Б. Интеллектуальный голосовой помощник как пример реализации методологии инклюзивного дизайна // Образование и наука. – 2024. – Т. 26, № 3. – С. 149-175.
4. Быкова Л. М., Ремаева Ю. Г. Виды взаимодействия в дистанционной образовательной среде // Проблемы современного образования. – 2020. –№6. – С. 170-176.
При разработке образовательного продукта использованы свободно распространяемое программное обеспечение и доступные технологии. Выбор в пользу свободных продуктов и доступных технологий обусловлен возможностью беспрепятственного распространения продукта за пределами ВУЗа и легкой интеграцией IT-сервиса в учебный процесс без дополнительных затрат.
Основной сайт для работы цифрового сервиса и взаимодействия с пользователями: https://adt.asu.ru/ - веб-сервер Apache, MariaDB, PHP8,Smarty, JavaScript, HTML, CSS.
Программный модуль приема голосовых сообщений - библиотеки распознавания речи Vosk, программа для дообучения нейронной сети реализована Bash/Shell. Доступ к модулю осуществляется через основной сайт.
Модуль обработки текста реализован на языке программирования Python. Рабочие программы выполняют предобработку текста, осуществляют вычисление информативных параметров текста и вычисление итогового балла за голосовой ответ обучающегося. Для обработки текста задействованы библиотеки Natural Language Toolkit и модуль обработки регулярных выражений Re языка Python. Для математических вычислений используется модуль NumPy. Ускорение обработки текста достигнуто путем распараллеливания выполнения кода программы с помощью библиотеки Python Multiprocessing.В технической и исследовательской части развитие представленного цифрового сервиса видится в более тесной интеграции его программного обеспечения с последними, передовыми технологиями Искусственного Интеллекта для генерации текстов (BERT, ChatGPT, GigaChat и т.п.). Перечисленные технологии могут использоваться, как для вычисления численных параметров, характеризующих особенности текстов ответов учащихся, так и для генерации эталонных текстов, которые будут использоваться на этапе сравнения с текстами ответов учащихся. Для обеспечения широкого распространения продукта будет сделан акцент на полную интеграцию сервиса с системами управления образовательными электронными курсами, используемыми учебными заведениями, через специальный программный плагин.
Будет продолжена работа по адаптации цифрового сервиса для выполнения различных задач обучения. Например, применение готового сервиса и технологий, задействованных в проекте, могут использоваться для расширения возможностей инклюзивного образования. Например, для приема голосовых экзаменов у лиц с ограниченными возможностями по опорно-двигательному аппарату. Также сервис может быть адаптирован для приема голосовых тестов на знание и произношение русского языка у переселенцев и мигрантов в РФ. Планируется проведение мероприятий по совершенствованию программного обеспечения образовательного продукта для последующего возможного масштабирования и тиражирования среди учреждений образования Российской Федерации.После разработки представленный образовательный веб-сервис апробировался в учебном процессе при дистанционном приеме голосовых экзаменов у студентов обычных учебных групп в 20-25 человек. Данные работы были выполнены в рамках выполнения университетского образовательного проекта по программе стратегического академического лидерства ПРИОРИТЕТ-2030. Получено свидетельство о государственной регистрации ЭВМ Дмитриев А.А., Дмитриев Д.А. «Цифровая платформа для оценки качества знаний на основе распознавания голосовых ответов», 2024.
Результаты, полученные при разработке новых методов обработки текстовых данных и задействованные в алгоритмах программ веб-сервиса, опубликованы в научно-периодических изданиях. Среди них:
Дмитриев А.А., Дмитриев Д.А.: Программный комплекс для оценивания голосовых ответов обучающихся. Извести АлтГУ. 4(144), (2025)
Дмитриев А.А., Дмитриев Д.А.: Цифровая обработка текстовых сообщений для нахождения тематически близких слов. Высокопроизводительные вычислительные системы и технологии. 9(1), 2025.
Дмитриев, А.А., Дмитриев Д.А.: Применение цифровой обработки голосовых сигналов для улучшения распознавания речи. Проблемы правовой и технической защиты информации. №10, 2022
При разработке отдельных программных решений комплекса были задействованы студенты Института цифровых технологий, электроники и физики. Это позволило обеспечить получение студентами новых компетенций в области разработки сложных приложений, использующих программные технологии искусственного интеллекта. По результатам работы студентов были подготовлен и защищен групповой дипломный проект по цифровой кафедре АлтГУ «Применение программных алгоритмов для параллельной обработки голосовой и текстовой информации в многопроцессорных серверных системах».Актуальность проекта связана с необходимостью в образовательной отрасли получения новых интеллектуальных технологий и инструментов в образовании, которые обеспечивают контроль и оценивание уровня знаний у учащихся в процессе обучения. В электронном обучении в последнее время все чаще используются интеллектуальные системы на основе распознавания речи и обработки текста на естественном языке. Применение подобных систем способствует построению учебных курсов с оригинальной подачей учебного контента, организацией интерактивного взаимодействия с обучающимся, способствующим легкому усвоению материалов. Вместе с этим, возникает актуальная задача автоматической проверки и оценки ответов учащихся. Если технологии проверки тестов, построенных на выборе ответа или написанием краткого текстового ответа, достаточно хорошо апробированы в учебном процессе, то машинное оценивание голосовых ответов учащихся сопряжено с рядом трудностей. При устном экзамене, когда учащийся дает голосовой ответ на поставленный вопрос, теперь в роли «виртуального преподавателя» выступает программное обеспечение, которое при помощи системы распознавания речи преобразует голосовой ответ в текст, а затем на основе текста оцениваются знания учащегося. Поэтому получение подобной технологии сможет существенно расширить возможности дистанционного и электронного образования.
Полезность проекта:
1. Применение предложенного IT-решения в учебной практике способствует расширению возможностей дистанционного образования, ориентированного на различные группы учащегося населения.
2. Для преподавателей применение цифрового сервиса в составе электронных курсов приведет в перспективе к сокращению собственных трудозатрат на проверку обучения.
3. Разработка и применение цифрового образовательного сервиса, связанного с технологиями искусственного интеллекта, ориентирована на создание новых образовательных подходов к образованию, способствующих качественной подготовки будущих специалистов, задействованных в реальных секторах цифровой экономики.
