Информация
для участников

Технологический барьер

Создание стабильно работающего Программного комплекса для выявления фактических и смысловых ошибок в академических эссе, результат работы которого соответствует результату работы специалиста в условиях ограниченного времени.

Что нужно для участия

К участию приглашаются российские и иностранные юридические и физические лица старше 18 лет, или их объединения. Для участия в испытаниях нужно создать команду от 2 до 10 человек.
  1. Подать заявку на участие в конкурсе здесь. Для регистрации мы вас перенаправим на онлайн-платформу «Цифровая РВК».
  2. Ознакомиться с конкурсной документацией: конкурсное задание, технический регламент, примеры датасетов, документация к платформе испытаний (GitHub) и др. — всё собрано здесь.
    Если у вас нет команды, то заходите в наш Slack #proj_upgreat_readable в сообществе ODS и рассказывайте о себе.
  3. Получить одобрение заявки и доступ на IT-платформу испытаний. Письмо со ссылкой на платформу придет с почты readable@webpractik.ru.
    После одобрения ваша заявка появится в списке участников квалификации 1-го цикла испытаний (обновляемый).
  4. Пройти квалификацию, проверив корректность работы ИИ-систем участников с IT-платформой испытаний.
    Участники не ограничены в выборе используемых программных средств и вычислительных мощностей.
  5. Принять участие в основных испытаниях соответствующего цикла. График текущего цикла здесь.

Номинации

Команды конкурса ПРО//ЧТЕНИЕ могут получить дополнительные денежные призы, участвуя в открытых номинациях.

Для этого требуется только заполнить короткую заявку на номинацию и принять участие в основных испытаниях конкурса.

Дополнительно разрабатывать Программный комплекс не требуется, датасеты используется те же, что и в конкурсе ПРО//ЧТЕНИЕ.

Победят те команды, чьи ИИ-системы найдут максимальное количество ошибок определенного типа.

Прием заявок завершен
номинация
ГРАММАТИКА
Выявление грамматических и речевых ошибок в текстах на русском языке
Призовой фонд*
10 млн. рублей
статус
Прием заявок завершен
номинация
ГРАММАТИКА

Открыта в рамках основных испытаний ПРО//ЧТЕНИЯ первого цикла (октябрь-декабрь 2020). Тестовая выборка – конкурсные эссе на русском языке.

Задание
Найти максимальное количество речевых и грамматических ошибок (неуместная лексика, неразличение оттенков значений, некорректные метафоры, неуместная двусмысленность, ошибки в построении предложений).
Предметы
Литература, Русския язык
Условия
  • Для участия в номинации достаточно быть командой конкурса ПРО//ЧТЕНИЕ, пройти квалификацию первого цикла и принять участие в основных испытаниях первого цикла.
  • Номинация проходит в графике 1-го цикла конкурса ПРО//ЧТЕНИЕ. Те же испытания, тот же ИИ, отдельный призовой фонд. Только не забудьте подать заявку на номинации.
  • Технический регламент и классификатор ошибок составляется на основе документов конкурса ПРО//ЧТЕНИЕ.
Призы и победители*
10 млн. рублей
  • I место — 7 млн. рублей
  • II место — 2 млн. рублей
  • III место — 1 млн. рублей
  • Победителем конкурса становится команда, показавшая наилучший результат по выявлению в тексте фрагментов, содержащих грамматические ошибки в сочинениях по русскому языку и речевых ошибок в сочинениях по английскому языку.
  • Если команда занимает призовые места в нескольких номинациях, то она может претендовать только на одну премию.
Календарь конкурса
01.10 – 01.11
Регистрация участников
01.10 – 02.11
Квалификация участников
9 ноября
Испытания для русскоязычных тестов
декабрь
Объявление результатов
*Премия за счет средств федерального бюджета может быть выплачена только налоговым резидентам РФ
Прием заявок завершен
номинация
ГРАММАТИКА.ENG
Выявление грамматических и речевых ошибок в текстах на английском языке
Призовой фонд*
10 млн. рублей
статус
Прием заявок завершен
номинация
ГРАММАТИКА.ENG

Открыта в рамках основных испытаний ПРО//ЧТЕНИЯ первого цикла (октябрь-декабрь 2020). Тестовая выборка – конкурсные эссе на английском языке.

Задание
Найти максимальное количество речевых и грамматических ошибок (неуместная лексика, неразличение оттенков значений, некорректные метафоры, неуместная двусмысленность, ошибки в построении предложений).
Предметы
Английский язык
Условия
  • Для участия в номинации достаточно быть командой конкурса ПРО//ЧТЕНИЕ, пройти квалификацию первого цикла и принять участие в основных испытаниях первого цикла.
  • Номинация проходит в графике 1-го цикла конкурса ПРО//ЧТЕНИЕ. Те же испытания, тот же ИИ, отдельный призовой фонд. Только не забудьте подать заявку на номинации.
  • Технический регламент и классификатор ошибок составляется на основе документов конкурса ПРО//ЧТЕНИЕ.
Призы и победители*
10 млн. рублей
  • I место — 7 млн. рублей
  • II место — 2 млн. рублей
  • III место — 1 млн. рублей
  • Победителем конкурса становится команда, показавшая наилучший результат по выявлению в тексте фрагментов, содержащих речевые и грамматические ошибки в сочинениях на английском языке
  • Если команда занимает призовые места в нескольких номинациях, то она может претендовать только на одну премию.
Календарь конкурса
01.10 – 01.11
Регистрация участников
01.10 – 02.11
Квалификация участников
16 ноября
Испытания для англоязычных текстов
декабрь
Объявление результатов
*Премия за счет средств федерального бюджета может быть выплачена только налоговым резидентам РФ

ГРАФИК КОНКУРСА

Общий период проведения конкурса: 15 декабря 2019 — 30 декабря 2022
В ходе конкурса проводятся регулярные циклы испытаний. Каждый цикл состоит из отборочного этапа, квалификационных и финальных испытаний.
Испытания первого цикла пройдут в период с октября по декабрь 2020 г.
Регистрация открыта.
Первый цикл конкурса
11.12.2019 – 29.10.2020
Прием заявок на 1-й цикл (на номинации – до 01.11)
01.10 – 02.11.2020
Квалификация (допуск к испытаниям)
09.11.2020
Испытания для русскоязычных текстов и номинации «Грамматика»
16.11.2020
Испытания для англоязычных текстов и номинации «Грамматика.Eng»
Декабрь 2020
Подведение итогов 1-го цикла и номинаций
События конкурса
19.11.2020
Опубликованы объявления Оргкомитета по итогам испытаний: об экспертных разметках и расчете ОТАР (русский язык и английский язык).
06.11.2020
Испытания первого цикла конкурса ПРО//ЧТЕНИЕ для текстов на русском языке пройдут 9 ноября, для текстов на английском языке – 16 ноября. Список команд-финалистов.
05.11.2020
Внесены изменения в Приложение №1 Техрегламента ПРО//ЧТЕНИЕ.
26.10.2020
Вышло обновление платформы, показывающее показатели сессии и статус прохождения квалификации. Функционал доступен в личном кабинете участника.
23.10.2020
Опубликовано объявление Оргкомитета о прохождении испытаний.
20.10.2020
Опубликованы Технические регламенты номинаций «Грамматика» и «Грамматика.Eng»
08.10.2020
В Техрегламент добавлен пункт 12.4 об инструкциях по работе Платформы, а также документ объединен с Классификатором; в описание полей формат json» добавлен технический  параметр meta.third — показатель разметки третьим экспертом.
02.10.2020
Выложена видеозапись онлайн-конференции конкурса ПРО//ЧТЕНИЕ (01.10.2020)

В Технический регламент внесены две технические правки, уточняющие процедуру квалификации:

1. Стр. 17. Раздел "Сценарий сессии обмена данными на этапе Финальных испытаний". Уточнение по времени на проверку и загрузку на платформу одного эссе: 60 секунд.

2. п. 6.10. Уточнена формулировка про критерии прохождения квалификации: критерий допуска - корректный синтаксис размеченных файлов.

Пишите на ai@upgreat.one в случае вопросов.

01.10.2020
В Техрегламент внесены две технические правки, уточняющие процедуру квалификации

На заседании Конкурсной комиссии технологических конкурсов в целях реализации Национальной технологической инициативы утвердили конкурсные задания, регламенты и составы жюри конкурсов отдельных заданий в рамках технологического конкурса «ПРО//ЧТЕНИЕ».

Структура и задачи конкурсов отдельных заданий были разработаны с учетом мирового опыта и включают в себя серию из семи 7 конкурсов:

  1. Конкурсы отдельных заданий, проходящие в формате номинаций в рамках испытаний конкурса «ПРО//ЧТЕНИЕ» и разработанные на основе отдельных критериев оценки ИИ, которые используются в конкурсе «ПРО//ЧТЕНИЕ»:

    a. «Номинация: Грамматика» и «Номинация: Грамматика.Eng» планируются в рамках испытаний первого цикла в 2020 и направлены на решения, выявляющие грамматические и речевые ошибки в текстах на русском и английском языках соответственно. Призовой фонд каждой из номинаций составляет 10 млн. руб.

    Документы
    Номинация Грамматика. Конкурсное задание
    Номинация Грамматика.Eng. Конкурсное задание

    b. «Номинация: Логика» и «Номинация: Структура» планируются к организации в рамках цикла испытаний 2021 года и направлены на выявление логических ошибок и анализ композиции и структуры текстов сочинений на русском языке. Призовой фонд каждой из этих номинаций составит 16 млн. руб.

    Документы
    Номинация Логика. Конкурсное задание
    Номинация Структура. Конкурсное задание

  2. Конкурсы отдельных заданий (сателлиты), проходящие в формате хакатонов. Планируются к реализации в конце 2020 – 2021 гг. Призовой фонд каждого из сателлитов составит 1 млн. руб.:

    a. «ПРО//ЗНАНИЕ»: классификация ошибки по заданному фрагменту текста в соответствии с критериями ЕГЭ для предмета.

    b. «ПРО//ОЦЕНКИ»: задача определения балла ЕГЭ за работу.

    c. «ПРО//ФАКТЫ»: задача выявления фактических ошибок в тексте.

    Документы
    Сателлит ПРОЗНАНИЕ. Конкурсное задание
    Сателлит ПРООЦЕНКИ. Конкурсное задание
    Сателлит ПРОФАКТЫ. Конкурсное задание
29.09.2020
Утверждены конкурсные задания конкурсов отдельных заданий и номинаций на 2020/21 гг.
25.09.2020
В четверг 1 октября пройдет онлайн-конференция для участников, начало в 16:00 (Мск). Необходима предварительная регистрация — https://leader-id.ru/event/58692/

В период с 25 по 27 сентября 2020 г. начинается запуск личных кабинетов команд на IT-платформе для проведения квалификации и испытаний.

25 - 26 сентября на электронную почту, указанную при подаче заявки в качестве почты контактного лица, придет письмо со ссылкой на регистрацию на IT-платформе. Зарегистрировавшись, вы получите доступ к основному инструментарию конкурса:

  1. Обучающим и тестовым датасетам;
  2. Программному Комплексу Участника (ПКУ); 
  3. Программе Сравнения Решений (ПСР);
  4. Функционалу технической и алгоритмической квалификации.

В личном кабинете платформы в разделе “Программные модули” вы сможете скачать и ознакомиться с ПКУ, который отвечает за автоматическое получение актуальных файлов для работы алгоритма из датасетов, позволяет в тестовом режиме запускать ПСР и производить расчет критериев для размеченного Эссе.

Более подробная документация, а также презентация основного функционала Платформы, будет представлена на Онлайн-конференции 01 октября

Обратите внимание, что в личные кабинеты на платформе никакая личная информация с ЦРВК (Цифровой РВК) не передаётся. Состав передаваемых данных следующий:

  • Регистрационный номер команды
  • Email
  • Название команды на русском языке
  • Название команды на английском языке
  • Направление деятельности
  • Страна
  • Город
  • Описание команды
  • Язык обработки текста

По любым вопросам пишите нам на эл.почту ai@upgreat.one.

25.09.2020
Начинается запуск личных кабинетов команд на IT-платформе для проведения квалификации и испытаний
24.09.2020
Для индивидуальных участников доступна форма для заполнения. Если у вас еще нет команды, то заполните форму, чтобы информацию увидели другие участники и, возможно, вместе вы создадите новую команду
18.09.2020
Опубликовано объявление Оргкомитета от 18.09.2020
14.08.2020
С 1 октября стартует квалификация первого цикла, чтобы проверить корректность работы ИИ-систем участников с платформой испытаний

Документы и ссылки

ЗАДАНИЕ

Задача команд в рамках конкурса — создание системы, которая в режиме, близком к реальному времени (не более 30 секунд на эссе), в текстах в жанре эссе (объем не более 12 000 символов) по широкому спектру тематик автоматически выявляет и дает объяснение для смысловых ошибок следующих типов:
Типы детектируемых ошибок
Тема эссе
не раскрыта
Типы детектируемых ошибок
Разрывы в логике, выводы не следуют из аргументов
Типы детектируемых ошибок
Неуместные сравнения и метафоры
Типы детектируемых ошибок
Фактические ошибки
Подробнее про задание можно прочитать в Техническом регламенте.

Система оценки

Обработка решения
Проверенные ИИ эссе загружаются в автоматическую платформу, которая сравнивает решения разных экспертов и ИИ, и по степени соответствия друг другу определяется качество решений участников.
В рейтинговой таблице две команды не могут занимать одну строчку: выше та, у которой значения критерия ОТАР больше по следующему десятичному знаку.
Технологический барьер

Технологический барьер

Создание стабильно работающего программного комплекса для выявления фактических и смысловых ошибок в академических эссе, результат работы которого соответствует результату работы специалиста в условиях ограниченного времени.

Вопросы и ответы

Конкурс уже стартовал? Сколько продлится отборочный этап?

Технологический конкурс Up Great ПРО//ЧТЕНИЕ объявлен в декабре 2019 года. Конкурс разделен на несколько циклов испытаний. Каждый цикл состоит из этапа приема заявок, квалификации, т.е. допуска к испытаниям, и непосредственно самих испытаний. Первый цикл планируется завершить уже к концу 2020 года.

Квалификация первого цикла конкурса пройдет с 1 октября по 2 ноября и будет общей для русскоязычных и англоязычных текстов. В этот период для получения допуска к испытаниям зарегистрированные участники должны будут скачать тексты тестовой выборки квалификации через API, разметить их без ошибок в синтаксисе и загрузить все файлы обратно.

9 ноября пройдут первые испытания конкурса для русскоязычных текстов. Задача испытаний – выявить в течение ограниченного времени (не более 30 секунд в среднем на одно эссе) и аннотировать все ошибки на уровне экспертов-преподавателей. 16 ноября состоятся испытания для англоязычных текстов.

Подведение итогов первого цикла конкурса запланировано на декабрь 2020 года.

Испытания будут повторяться регулярно до тех пор, пока не будет выявлен победитель, но не позднее декабря 2022 года. Прием заявок на квалификацию первого цикла завершится 29 октября, после чего стартует прием заявок на участие во втором цикле конкурса.
Из каких этапов состоят испытания?

Испытания пройдут в несколько этапов:

1. Технический. Участники подключаются к серверу, скачивают датасет, ищут ошибки и загружают обратно.

2. Основной. Участники получают новые сочинения, которые не публиковались ранее и которые не видели преподаватели. Они делают разметку и загружают обратно.

3. Проверка. Технический этап, в рамках которого техническая комиссия и судейская коллегия проверяют результаты работы команд, сами эссе и сочинения для объективного определения ошибок и уровня технологического барьера. Результаты экспертов автоматически сравниваются с решениями команд.

4. Объявление результатов.

Есть ли ограничения по количеству данных и требуемому железу?
Ограничений не ставится, команды могут использовать то оборудование и данные, которые посчитают необходимым.
Сколько дается данных? Как это будет оцениваться?

Первые данные (эссе и сочинения) размещены в разделе Датасеты. Команды имеют право обучать свои решения на любых других данных, оценивается только конечный результат.

Оцениваться будет путем сравнения со средним количеством ошибок, которые живой эксперт-преподаватель способен найти в тех же документах в условиях ограниченного времени.

В каком виде предоставляется решение?

Команды подключаются к платформе по API, скачивают txt файлы с простым wiki- или markdown-подобным языком разметки, при помощи которого в тексте отмечают найденные ошибки. После этого отредактированный txt-файл загружается обратно по API и оценивается на платформе программным решением организаторов.

Процедура проведения испытаний прописана в техническом регламенте конкурса.
Я не гражданин РФ. Могу ли я участвовать в конкурсе?
Да, участвовать могут все, независимо от гражданства. Гражданство ограничивает только в получении премии т.к. премия, выплачиваемая за счет средств федерального бюджета, может быть выплачена только налоговым резидентам Российской Федерации. В случае, если победителем или одним из призеров является иностранное юридическое или физическое лицо, не являющееся налоговым резидентом РФ, выплата премии за счет средств федерального бюджета такому участнику не производится, право на получение премии не переходит к другим участникам.
Мне нет 18 лет. Могу я участвовать в конкурсе?
По условиям конкурса участвовать могут только граждане, чей возраст попадает под понятие совершеннолетия или приравненные к нему путем процедуры эмансипации несовершеннолетних, согласно законодательству РФ.
Я хочу участвовать, но у меня нет команды. Что делать?

Подать заявку может и индивидуальное лицо. В таком случае вам будет предоставлен доступ к платформе для тестирования своих решений во время квалификации, а также контактный адрес электронной почты будет включен в список рассылки новостей конкурса.

Однако, для участия в самих испытаниях конкурса вам нужно быть в составе команды численностью от 2 до 10 человек. То есть до конца квалификации у индивидуальных участников есть возможность создать свою команду или к кому-то присоединиться.

Какие есть варианты?

  1. Заполнить форму. Информацию опубликуем в нашем Slack канале в сообществе Open Data Science (ODS.ai). Если кто-то пожелает пригласить вас в команду или обсудить совместное образование команды, он с вами свяжется по данным, которые вы оставите в форме.
  2. Присоединиться к Slack каналу #proj_upgreat_readable в сообществе Open Data Science (ODS.ai) и самостоятельно разместить пост о поиске команды.
  3. На странице конкурса на VC.ru в комментариях к статье можно найти команду. Комментарии работают как доска объявлений. Авторизуйтесь на сайте VC.ru и напишите, вместе с кем бы хотели поучаствовать. Можно как оставить контактные данные, так и пользоваться мессенджером сайта.
Конкурс до декабря 2022 г., а квалификация до 2 ноября 2020 г. Как так?

Испытания конкурса будут повторяться регулярно до тех пор, пока не будет выявлен победитель, но не позднее декабря 2022 года. Это мы называем «циклами», каждый из которых состоит из квалификации и основных испытаний конкурса.

До 2 ноября проходит квалификация 1-го цикла конкурса.
Где-то можно пообщаться с организаторами и другими участниками конкурса?

Да, мы создали Slack канал #proj_upgreat_readable в сообществе Open Data Science (ODS.ai).

Для тех, кто присоединяется к каналу в Slack необходимо обратить внимание на следующие моменты:

  • для того чтобы вам дали доступ в этот канал необходимо пройти регистрацию на сайте ods.ai при этом при регистрации указать, что вы участник конкурса ПРО//ЧТЕНИЕ;
  • после этого вам на почту придёт одобрение от администратора и при входе в Slack вы будете иметь доступ в сообщество opendatascience.slack.com, в котором и находится канал конкурса #proj_upgreat_readable

И вы всегда можете прислать ваш вопрос нам на почту ai@upgreat.one.
В ходе конкурса обучающая выборка составит десятки тысяч документов. Не считаете ли вы, что этого недостаточно для решения поставленной задачи?

Во-первых, в 2021 году будет запущен краудсорс образовательных текстов с разметкой, который позволит кратно увеличить обучающую выборку.

Во-вторых, действительно, в рамках конкурса необходимо выявить более 100 типов ошибок, некоторые из которых будут встречаться в обучающей выборке редко, поэтому вне зависимости от усилий по расширению обучающей выборки, этого будет недостаточно.
Это означает, что решение задачи потребует творческого подхода и нахождения новых приемов и методов, которые позволят решить проблему недостатка данных: краулинг и обработка школьных сочинений из интернета; использование передовых методик few-shot learning; нахождение нетривиальных приемов и использования профессиональной экспертизы педагогов.
Конечно, такой подход усложняет решение задачи, однако конкурс продолжается более двух лет, а сложность задачи компенсируется размером призового фонда.

Контакты

Мы приглашаем инновационные компании и крупные корпорации поддержать технологические конкурсы

Телефон
Общие вопросы

Хочу быть в курсе

Спасибо!