Яндекс и МФТИ научили нейросеть оценивать ответы онлайн-этапа школьной олимпиады «Турнир Ломоносова»

Впервые YandexGPT проверила 35 тысяч работ по трем предметам — физике, химии и астрономии. Это позволило сократить этап оценки работ с трех месяцев до одного, сохранив качество проверки на прежнем уровне. В итоге участники быстрее получили результаты, а экспертам МФТИ не пришлось проверять все ответы вручную.

Разработчики Яндекса вместе с экспертами Физтеха научили YandexGPT определять, соответствует ли ответ критериям оценки. Если нейросеть не находила необходимых соответствий, то выставляла ноль баллов. Такая автоматическая проверка позволила экспертам уделить больше внимания работам, набравшим больше баллов. Модель обучали на решениях онлайн-этапов прошлых лет. Чтобы убедиться в точности работы алгоритма, эксперты перепроверили часть оцененных нейросетью работ. Результаты показали, что корректность оценки работ соответствуют уровню предыдущих лет — 95%.

В течение ноября участники могли подать апелляцию и заявить о несогласии с выставленными баллами. Количество апелляций осталось на уровне прошлого года. Это говорит о том, что использование нейросети не снизило качество оценки работ, при этом её скорость существенно увеличилась. А полная экспертная проверка всех решений с баллом выше нуля исключила риск получения незаслуженных наград.