ПРО//ЧТЕНИЕ - Технологический конкурс UP GREAT

Условия
участия

Технологический барьер

Создание стабильно работающего Программного комплекса для выявления фактических и смысловых ошибок в академических эссе, результат работы которого соответствует результату работы специалиста в условиях ограниченного времени.

ЗАДАЧА

Задача команд в рамках конкурса — создание системы, которая в режиме, близком к реальному времени (не более 30 секунд на эссе), в текстах в жанре эссе (объем не более 12 000 символов) по широкому спектру тематик автоматически выявляет и дает объяснение для смысловых ошибок следующих типов:

Тема эссе
не раскрыта

Разрывы в логике, выводы не следуют из аргументов

Неуместные сравнения и метафоры

Фактические ошибки

Методика оценки, примеры эссе, размеченных в соответствии с методикой, будут опубликованы в июне 2020 г. Технические характеристики платформы конкурса будут опубликованы в августе 2020 г. Зарегистрируйтесь в конкурсе для того, чтобы быть в курсе.

Как принять участие

К участию приглашаются российские и иностранные юридические и физические лица, а также их объединения, которые формируют команду от 2 до 10 человек.

Членом команды может быть любое совершеннолетнее физическое лицо.

Ознакомиться с конкурсной документацией
Заполнить заявку на участие в конкурсе
Получить одобрение и статус «Участник»
Предложить решение задания квалификационного (заочного) этапа
Получить приглашение на финальный (очный) этап
Принять участие в финальном мероприятии и стать победителем, разработав лучшее интеллектуальное решение для обработки естественного языка.

Участники не ограничены в выборе используемых программных средств и вычислительных мощностей.

Система оценки

Решения участников загружаются в автоматическую систему проверки, где происходит обработка решения путем сравнения с эталоном.

ГРАФИК КОНКУРСА

Общий период проведения конкурса: 15 декабря 2019 — 30 декабря 2022
В ходе конкурса проводятся регулярные циклы испытаний. Каждый цикл состоит из отборочного этапа, квалификационных и финальных испытаний.
Испытания первого цикла пройдут в период с октября по декабрь 2020 г.
Регистрация открыта.

Первый цикл конкурса

11 декабря 2019
не менее 6 месяцев

Старт приема заявок

не менее 1 месяца

Квалификационный этап

не менее 2 недель

Финальный этап

Документы

Конкурсное задание «Взаимное обучение на русском языке»

Конкурсное задание «Взаимное обучение на английском языке»

Технический регламент

Классификатор ошибок. Приложение к регламенту

Вопросы и ответы

Конкурс уже стартовал? Сколько продлится отборочный этап?

Конкурс объявлен в декабре 2019 года. С техническим регламентом можно ознакомиться здесь. Датасет и платформа конкурса находятся в процессе разработки.

Испытания первого цикла пройдут в период с октября по декабрь 2020 г. Точные даты будут объявлены по мере доработки технического регламента и публикации первых частей датасета (июнь-июль 2020 г.).

Регистрация на участие в конкурсе открыта постоянно. В зависимости от времени регистрации, команда приглашается к участию в ближайшем цикле.

Из каких этапов состоят испытания?

Испытания пройдут в несколько этапов:

1. Технический. Участники подключаются к серверу, скачивают датасет, ищут ошибки и загружают обратно.

2. Основной. Участники получают новые сочинения, которые не публиковались ранее и которые не видели преподаватели. Они делают разметку и загружают обратно.

3. Проверка. Технический этап, в рамках которого техническая комиссия и судейская коллегия проверяют результаты работы команд, сами эссе и сочинения для объективного определения ошибок и уровня технологического барьера. Результаты экспертов автоматически сравниваются с решениями команд.

4. Объявление результатов.

Есть ли ограничения по количеству данных и требуемому железу?

Ограничений не ставится, команды могут использовать то оборудование и данные, которые посчитают необходимым.

Сколько дается данных? Как это будет оцениваться?

Первые данные (эссе и сочинения) будут опубликованы весной 2020 года. Команды имеют право обучать свои решения на любых других данных, оценивается только конечный результат.
Оцениваться будет путем сравнения со средним количеством ошибок, которые живой эксперт-преподаватель способен найти в тех же документах в условиях ограниченного времени.
Регламент с подробным описанием методики оценки будет опубликован весной 2020 года.

В каком виде предоставляется решение?

Команды подключаются к платформе по API, скачивают txt файлы с простым wiki- или markdown-подобным языком разметки, при помощи которого в тексте отмечают найденные ошибки. После этого отредактированный txt-файл загружается обратно по API и оценивается на платформе программным решением организаторов.

В техническом регламенте будет подробно прописана точная процедура по мере уточнения деталей.

Все вопросы