Условия
участия

Технологический барьер

Создание стабильно работающего Программного комплекса для выявления фактических и смысловых ошибок в академических эссе, результат работы которого соответствует результату работы специалиста в условиях ограниченного времени.

ЗАДАЧА

Задача команд в рамках конкурса — создание системы, которая в режиме, близком к реальному времени (не более 30 секунд на эссе), в текстах в жанре эссе (объем не более 12 000 символов) по широкому спектру тематик автоматически выявляет и дает объяснение для смысловых ошибок следующих типов:
Типы детектируемых ошибок
Тема эссе
не раскрыта
Типы детектируемых ошибок
Разрывы в логике, выводы не следуют из аргументов
Типы детектируемых ошибок
Неуместные сравнения и метафоры
Типы детектируемых ошибок
Фактические ошибки
Методика оценки, примеры эссе, размеченных в соответствии с методикой, будут опубликованы в июне 2020 г. Технические характеристики платформы конкурса будут опубликованы в августе 2020 г. Зарегистрируйтесь в конкурсе для того, чтобы быть в курсе.

Как принять участие

К участию приглашаются российские и иностранные юридические и физические лица, а также их объединения, которые формируют команду от 2 до 10 человек.
Членом команды может быть любое совершеннолетнее физическое лицо.
  1. Ознакомиться с конкурсной документацией
  2. Заполнить заявку на участие в конкурсе
  3. Получить одобрение и статус «Участник»
  4. Предложить решение задания квалификационного (заочного) этапа
  5. Получить приглашение на финальный (очный) этап
  6. Принять участие в финальном мероприятии и стать победителем, разработав лучшее интеллектуальное решение для обработки естественного языка.
Участники не ограничены в выборе используемых программных средств и вычислительных мощностей.

Система оценки

Обработка решения
Решения участников загружаются в автоматическую систему проверки, где происходит обработка решения путем сравнения с эталоном.

ГРАФИК КОНКУРСА

Общий период проведения конкурса: 15 декабря 2019 — 30 декабря 2022
В ходе конкурса проводятся регулярные циклы испытаний. Каждый цикл состоит из отборочного этапа, квалификационных и финальных испытаний.
Испытания первого цикла пройдут в период с октября по декабрь 2020 г.
Регистрация открыта.
Первый цикл конкурса
11 декабря 2019
не менее 6 месяцев
Старт приема заявок
не менее 1 месяца
Квалификационный этап
не менее 2 недель
Финальный этап

Вопросы и ответы

Конкурс уже стартовал? Сколько продлится отборочный этап?

Конкурс объявлен в декабре 2019 года. С техническим регламентом можно ознакомиться здесь. Датасет и платформа конкурса находятся в процессе разработки.

Испытания первого цикла пройдут в период с октября по декабрь 2020 г. Точные даты будут объявлены по мере доработки технического регламента и публикации первых частей датасета (июнь-июль 2020 г.).

Регистрация на участие в конкурсе открыта постоянно. В зависимости от времени регистрации, команда приглашается к участию в ближайшем цикле.


Из каких этапов состоят испытания?

Испытания пройдут в несколько этапов:

1. Технический. Участники подключаются к серверу, скачивают датасет, ищут ошибки и загружают обратно.

2. Основной. Участники получают новые сочинения, которые не публиковались ранее и которые не видели преподаватели. Они делают разметку и загружают обратно.

3. Проверка. Технический этап, в рамках которого техническая комиссия и судейская коллегия проверяют результаты работы команд, сами эссе и сочинения для объективного определения ошибок и уровня технологического барьера. Результаты экспертов автоматически сравниваются с решениями команд.

4. Объявление результатов.

Есть ли ограничения по количеству данных и требуемому железу?
Ограничений не ставится, команды могут использовать то оборудование и данные, которые посчитают необходимым.
Сколько дается данных? Как это будет оцениваться?
Первые данные (эссе и сочинения) будут опубликованы весной 2020 года. Команды имеют право обучать свои решения на любых других данных, оценивается только конечный результат.
Оцениваться будет путем сравнения со средним количеством ошибок, которые живой эксперт-преподаватель способен найти в тех же документах в условиях ограниченного времени.
Регламент с подробным описанием методики оценки будет опубликован весной 2020 года.
В каком виде предоставляется решение?

Команды подключаются к платформе по API, скачивают txt файлы с простым wiki- или markdown-подобным языком разметки, при помощи которого в тексте отмечают найденные ошибки. После этого отредактированный txt-файл загружается обратно по API и оценивается на платформе программным решением организаторов.

В техническом регламенте будет подробно прописана точная процедура по мере уточнения деталей.

Контакты

Телефон
Общие вопросы

Хочу быть в курсе

Спасибо!