Южноуральских школьников может начать проверять нейросеть

Челябинский учёный объяснил, готовы ли наши школы к проверке домашнего задания  с помощью искусственного интеллекта.

Правительство России утвердило новое стратегическое направление в области цифровизации образования. К 2030 году планируется предоставить всем участникам образовательного процесса равный доступ к цифровому контенту, возможность автоматизированного подбора учебного учреждения и поступления в него. Также в систему проверки и оценки работ планируется внедрение автоматических систем с использованием элементов искусственного интеллекта.

Корреспондент Полит74 поговорил с Виталием Мельниковым, заместителем директора института информационных технологий ЧелГУ и узнал у него, готов ли Южный Урал к цифровизации проверок «домашки» и есть ли у нас для этого технологии.

Реальность или фантастика

— Существуют ли подобные технологии в ИИ именно на Южном Урале в данный момент или их нужно разрабатывать?

— На самом деле задача распознавания рукописного текста, а потом ещё и понимания того, что в нём написано — это две большие задачи. Потому что, первое, текст нужно распознать и, второе, понять, какая идея изложена в тексте и сравнить полученный результат с тем вариантом ответа, который должен быть получен на задание.

На текущий момент существуют нейронные сети, которые способны распознавать рукописный текст. В основном это зарубежные разработки, которые воспринимают текст, написанный на английском языке. Не могу сказать, насколько хорошо они работают, но, по крайней мере, они есть. Наверное, они работают неплохо.
По российскому тексту и по российскому шрифту есть большие вопросы, так как, насколько я знаю, никто этим специально не занимался. И, самое главное, в российском написании, шрифте может быть очень много вариаций. Говоря грубо, представьте себе почерк врача. И как его разобрать? Поэтому это может стать большой трудностью. Вторая крупная задача, понять, что значит распознанный текст. Её, наверное, можно решать с помощью средств LLM — например ChatGPT4, хотя существуют и другие варианты. Это сети, которые способны сравнить полученную информацию с тем, что должно быть на самом деле в ответе. Использование LLM для проверки заданий тоже пока не слышал. Но думаю это возможно в будущем.

— Есть ли специалисты, которые смогут работать с подобными системами или обучать учителей?

— Скажу так, специалисты скорее всего есть. Но стоят они очень дорого. Здесь нужны специалисты по компьютерному зрению, которые бы собрали все вариации рукописного шрифта, разметили его, научили на этих текстах нейронную сеть. А после ещё нужно, чтобы расшифрованный и преобразованный в машинный текст был бы правильно сконфигурирован под LLM-сети.
В общем-то здесь сталкиваются специалисты по двум типам сетей. Первые — специалисты по LLM-сетям, вторые по компьютерному зрению. Они есть, но поверьте, их очень немного, а стоят они очень больших денег. И захотят ли они работать с учителями и школами — вопрос.
Роль самого педагога в проверке следует продумать. По сути дела, текст ученика можно будет передать в такую машину и на выходе получить ответ: соответствует ли работа ожидаемому ответу или нет, но нейронные сети могут ошибаться. Возможно учителю следует использовать такой сервис как помощь в работе, который избавляет от рутинного труда и выдает некоторое вероятностное значение о качестве выполнения работы учеником, опираясь на которое учитель уже поставит оценку.

— Срок обозначен до 2030 года, можно ли ожидать, что уже в этом или следующем году появятся пилотные проекты?

— Срок обозначен большой. За последние восемь лет нейронные сети совершили крупный скачок. То, что было в 2014 году и то, что есть сегодня — это небо и земля. Не знаю, что будет к 2030 году, может быть появятся какие-то прорывные разработки, но на текущий год появление пилотных проектов под большим вопросом. Российские LLM сети достаточно низкого качества, они сильно проигрывают зарубежным аналогам в качестве работы с текстовыми данными. Всё упирается в обучающий набор данных. На самом деле, это очень тяжёлая работа по разметке данных.

— Каков риск, что нейросеть может совершать ошибки, допустим, не распознав почерк ребенка и поставить ему заниженную оценку или наоборот. Тоже самое, и с планированием образовательных программ, может ли возникнуть момент «холодного расчета» без индивидуального подхода?

— Риск есть. Вариаций почерков, особенно детских очень много. Он не каллиграфический, он может меняться с течением времени, он разный для левшей и для правшей, могут теряться отдельные чёрточки в написании букв — это всё большие проблемы для распознавания. Поэтому может появиться неправильно распознанный текст, а он даст неправильно распознанный результат при использовании LLM-сети.

С планированием образовательных программ точно также. Что значит «холодный расчёт»? Имеется ввиду, что детей начнут учить только правильно писать текст, который бы правильно распознала машина без всякой фантазии?

На самом деле, если говорить о LLM-сетях, то они очень неплохо умеют понимать контекст написанного. Даже если вы описываете его разными словами, они всё равно способны вычленить из него самую суть и саму идею. Поэтому, думаю, что «холодного расчёта» здесь не будет. Не стоит бояться того, что учеников начнут натаскивать роботизированно писать один формат текста, для того чтобы успешно пройти тестирование. Но ещё раз говорю, решить данную задачу на сегодняшний день очень и очень сложно, так как вариаций написаний текстов существует большое количество и много проблем возникнет с распознаванием написания текста.