технология понимания

О КОНКУРСЕ

Конкурс Up Great ПРО//ЧТЕНИЕ призван стимулировать развитие новых подходов в области машинного обучения, которые позволят создать искусственный интеллект, способный к глубокому пониманию смысла текста и анализу причинно-следственных связей по широкому набору тематик.

Технологический конкурс ПРО//ЧТЕНИЕ
Языки, которые никто никогда не поймёт | Артур Шарифов
Твоё БУДУЩЕЕ в мире РЕАЛЬНОГО ИИ | SciOne | Артур Шарифов
Проклятие вавилонской башни: что невозможно сказать | Артур Шарифов
Призовой фонд
конкурса*
₽100
  млн
за решение, которое сможет анализировать содержание текстов на русском языке.
И столько же за анализ текста на английском.**
* Премия за счет средств федерального бюджета может быть выплачена только налоговым резидентам РФ
** Технологический барьер на английском языке преодолен, конкурс на английском языке завершен. Результаты тут
Технологический барьер

Технологический барьер

Создание стабильно работающего программного комплекса для выявления фактических и смысловых ошибок в академических эссе, результат работы которого соответствует результату работы специалиста в условиях ограниченного времени.

Задача

Разработать интеллектуальную систему, способную успешно выявить смысловые и фактические ошибки в академическом эссе на уровне специалиста в условиях ограниченного времени.

Объём каждого эссе — не более 12 000 знаков.

Время на предоставление решения — 60 секунд на эссе*


*Не более 60 секунд на эссе, включая получение и обработку файла и фактическое поступление файла в Систему проверки решения.

Хотите узнать подробнее и принять участие? Тогда вам сюда

ГРАФИК КОНКУРСА

Общий период проведения конкурса: 15 декабря 2019 — 30 декабря 2022
В ходе конкурса проводятся регулярные циклы испытаний. Каждый цикл состоит из отборочного этапа, квалификационных и финальных испытаний.
Испытания первого цикла прошли в период с октября по декабрь 2020 г.
Регистрация на второй цикл открыта.
Третий цикл конкурса
до 28 марта
Прием заявок на 3-й цикл
1 марта - 4 апреля
Квалификация (доступ к испытаниям)
12 апреля
Испытания для русскоязычных текстов
июнь 2022
Подведение итогов 3-го цикла испытаний
События конкурса
Уважаемые команды конкурса ПРО//ЧТЕНИЕ!

Квалификация продлевается до 12.00 мск. 05 апреля 2022 г.
До указанного времени вы можете проводить тестирование своих решений.

04.04.2022
Продлены сроки квалификационных испытаний
Уважаемые команды конкурса ПРО//ЧТЕНИЕ!

Внимание! Испытания цикла 3 конкурса переносятся на 12 апреля 2022 г по техническим причинам.

Обновлённое расписание конкурса «Взаимное обучение на русском языке»

Окончание квалификации: 15.00 мск. 04 апреля 2022 года (пн)
05 – 11 апреля 2022 г. - Подведение итогов квалификации и подготовка платформы к испытаниям. Обратите внимание, в этот период платформа НЕДОСТУПНА для тренировок.

Далее для команд прошедших квалификацию:

Тестовые испытания*: 11.00 мск. 11 апреля 2022 года (пн)
Испытания по русскому языку: 12 апреля 2022 года (вт):
  • - подключение к zoom: 09.00 мск.
  • - тестовая демо-сессия 1**: 09.10 - 09.20
  • - тестовая демо-сессия 2: 09.30 - 09.40
  • - начало испытаний: 10.00 мск.

*- Тестовые испытания.
В цикле 3 для команд, прошедших квалификацию и планирующих принять участие в финальных испытаниях, за день до испытаний будет организована тестовая демо-сессия во время которой команды смогут подключиться к платформе в режиме испытаний, получить и отдать файлы. Также во время тестовой демо-сессии будет тест и активация режима “пауза”.
Ориентировочная продолжительность Тестовых испытаний 20 - 30 мин.
Командам, прошедшим квалификацию, ссылка на подключение к zoom будет выслана заранее.

**- Тестовая демо-сессия.
Для минимизации возможности технических сбоев во время испытаний мы предлагаем вам пройти демо-сессию 1. Она будет короткой и состоять из обмена 10 файлами. Это позволит вам проверить состояние своего ПКУ перед основными испытаниям.
Если в ходе этой сессии вы увидите какие-то проблемы с ПКУ, то будет возможность оперативно связаться с организаторами (канал связи будет предоставлен командам прошедшим квалификацию).
Мы постараемся максимально оперативно помочь. Также будет возможность пройти повторную техническую демо сессию 2.
Для всех команд прохождение демо-сессий не является обязательным.
23.03.2022
Изменены сроки проведения цикла 3
Уважаемые команды конкурса ПРО//ЧТЕНИЕ!

Сообщаем вам информацию о параметрах испытаний цикла 3.
  • Вес метрики М2 устанавливаются равным значению «2». (W М2 = 2).
  • Количество текстов на испытаниях цикла 3 не менее 450 и не более 500 шт. при штатном процессе испытаний.

Обращаем ваше внимание на то, что в цикле 3, как и на предыдущих циклах, решение, предложенное командой, оценивается профильными экспертами на соответствие целям и задачам конкурса (п. 3.1.3. КЗ) и уже затем, на основании метаматематических метрик, определяется место команды на лидерборде (п. 5.4.4. КЗ).

Расписание конкурса «Взаимное обучение на русском языке»
Окончание квалификации: 15.00 мск. 28 марта 2022 года (пн)
29 марта – 4 апреля 2022 г. - Подведение итогов квалификации и подготовка платформы к испытаниям. Обратите внимание, в этот период платформа НЕДОСТУПНА для тренировок.

Далее для команд прошедших квалификацию:
Тестовые испытания*: 11.00 мск. 04 апреля 2022 года (пн)
Испытания по русскому языку: 05 апреля 2022 года (вт):
  • подключение к zoom: 09.00 мск.
  • тестовая демо-сессия 1**: 09.10 - 09.20
  • тестовая демо-сессия 2: 09.30 - 09.40
  • начало испытаний: 10.00 мск.

*- Тестовые испытания.
В цикле 3 для команд, прошедших квалификацию и планирующих принять участие в финальных испытаниях, за день до испытаний будет организована тестовая демо-сессия во время которой команды смогут подключиться к платформе в режиме испытаний, получить и отдать файлы. Также во время тестовой демо-сессии будет тест и активация режима “пауза”.
Ориентировочная продолжительность Тестовых испытаний 20 - 30 мин.
Командам, прошедшим квалификацию, ссылка на подключение к zoom будет выслана заранее.

**- Тестовая демо-сессия.
Для минимизации возможности технических сбоев во время испытаний мы предлагаем вам пройти демо-сессию 1. Она будет короткой и состоять из обмена 10 файлами. Это позволит вам проверить состояние своего ПКУ перед основными испытаниям.
Если в ходе этой сессии вы увидите какие-то проблемы с ПКУ, то будет возможность оперативно связаться с организаторами (канал связи будет предоставлен командам прошедшим квалификацию).
Мы постараемся максимально оперативно помочь. Также будет возможность пройти повторную техническую демо сессию 2.
Для всех команд прохождение демо-сессий не является обязательным.
16.03.2022
Уважаемые команды конкурса ПРО//ЧТЕНИЕ! Сообщаем вам информацию о параметрах испытаний цикла 3.

Уважаемые команды конкурса ПРО//ЧТЕНИЕ!

Сообщаем вам, что устанавливается следующий график проведения цикла 3 конкурса «Взаимное обучение на русском языке» (ПРО//ЧТЕНИЕ):

1 – 28 марта 2022 г. - Квалификационный этап. Отбор команд на финальные испытания.

29 марта – 4 апреля 2022 г. - Подведение итогов квалификации и подготовка платформы к испытаниям. Обратите внимание, в этот период платформа НЕДОСТУПНА для тренировок.

5 апреля 2022 г. (вт) – испытания цикла 3 конкурса «Взаимное обучение на русском языке». Дата ориентировочная.

Просим учитывать в подготовке к испытаниям следующие моменты:

  • Обновлённый технический регламент конкурса «Взаимное обучение на русском языке» цикла 3 будет доступен до 1 марта 2022 года.
  • В соответствие с п.5.8. технического регламента, оргкомитет планирует изменение весов метрик, в частности увеличение веса метрики М2. Новые веса будут объявлены до 10 марта 2022 года.

Дополнительная информация:

Проведение номинаций и сателлитов в цикле 3 по русскому языку не планируется.

Напоминаем вам, что конкурс «Взаимное обучение на английском языке» завершился, победители определены, согласно конкурсному заданию испытания по английскому языку дальше не проводятся.

17.02.2022
Информация о 3 цикле испытаний конкурса ПРО//ЧТЕНИЕ
  1. В техрегламенте присутствует тип ошибки "А.Объем" - текст не соответствует по объему норме по ЕГЭ. В обучающей выборке эта ошибка не встречается, и в разметках команд мы эту ошибку не видим. В силу того, что этот тип ошибки проверяется простым скриптом (и, следовательно, ошибка имеет второстепенное значение для цели конкурса), и что до испытаний на английском остается меньше недели, мы приняли решение не учитывать этот тип ошибки в ходе испытаний. Тем не менее, если какая-либо из команд загрузит эссе с этим типом ошибки, то оно будет после окончание испытаний рассмотрено и признано валидным (если нет других причин считать его невалидным).
  2. В некоторых эссе обучающей выборки, собранных в прошлом году, критерии К1...Кn (в рамках метрики М1), не были пересчитаны по изменениям в техрегламенте. На испытаниях расчеты будут проводиться по актуальной версии техрегламента, а по обучающей выборке перерасчет критериев К1...Кn и метрики М1 будет осуществлен в ближайшее время.
12.11.2021
Уважаемые участники, добрый день.
В ходе подготовки испытаний на английском языке, мы выявили 2 особенности, которые просим учесть при подготовки к испытаниям:
11.11.2021
Уважаемые участники конкурса ПРО//ЧТЕНИЕ!
Квалификационные сессии по английскому языку будут завершены 14 ноября в 15-00. После этого Платформа будет не доступна для тестов. Проходит подготовка к финальным испытаниям по английскому языку.
Возможность тестировать и проводить алгоритмические сессии появится с 11-00 17 ноября.
29.10.2021
Оргкомитет технологического конкурса ПРО//ЧТЕНИЕ увеличил сроки окончания квалификации, сроки проведения испытаний остаются прежними. Окончание квалификации по русскому языку: 15.00 мск. 07 ноября 2021 г. Окончание квалификации по английскому: 15.00 мск. 14 ноября 2021 г. Подробнее в заявлении оргкомитета
08.10.2021
Уважаемые участники конкурса ПРО//ЧТЕНИЕ!
Квалификация Цикла 2 по русскому и английскому языку стартует после публикации финальной версии обновлённого технического регламента 18 октября 2021 года.
16.09.2021
Опубликован Проект Технического регламента к Циклу 2. Смотреть
18.03.2021
Внесены изменения в конкурсные задания конкурсов ПРО//ЧТЕНИЕ.
Подробнее.
29.01.2021
Второй цикл конкурса ПРО//ЧТЕНИЕ пройдет летом 2021 года. Подробнее.
21.12.2020
Подведены итоги первого цикла испытаний конкурса ПРО//ЧТЕНИЕ.
16.12.2020
19 декабря на Data Ёлке пройдет подведение итогов 1-го цикла конкурса ПРО//ЧТЕНИЕ и выступление Юргена Шмидхубера. Подробнее о мероприятии.
19.11.2020
Опубликованы объявления Оргкомитета по итогам испытаний: об экспертных разметках и расчете ОТАР (русский язык и английский язык).
06.11.2020
Испытания первого цикла конкурса ПРО//ЧТЕНИЕ для текстов на русском языке пройдут 9 ноября, для текстов на английском языке – 16 ноября. Список команд-финалистов.
05.11.2020
Внесены изменения в Приложение №1 Техрегламента ПРО//ЧТЕНИЕ.
26.10.2020
Вышло обновление платформы, показывающее показатели сессии и статус прохождения квалификации. Функционал доступен в личном кабинете участника.
23.10.2020
Опубликовано объявление Оргкомитета о прохождении испытаний.
20.10.2020
Опубликованы Технические регламенты номинаций «Грамматика» и «Грамматика.Eng»
08.10.2020
В Техрегламент добавлен пункт 12.4 об инструкциях по работе Платформы, а также документ объединен с Классификатором; в описание полей формат json» добавлен технический  параметр meta.third — показатель разметки третьим экспертом.
02.10.2020
Выложена видеозапись онлайн-конференции конкурса ПРО//ЧТЕНИЕ (01.10.2020)

В Технический регламент внесены две технические правки, уточняющие процедуру квалификации:

1. Стр. 17. Раздел "Сценарий сессии обмена данными на этапе Финальных испытаний". Уточнение по времени на проверку и загрузку на платформу одного эссе: 60 секунд.

2. п. 6.10. Уточнена формулировка про критерии прохождения квалификации: критерий допуска - корректный синтаксис размеченных файлов.

Пишите на ai@upgreat.one в случае вопросов.

01.10.2020
В Техрегламент внесены две технические правки, уточняющие процедуру квалификации

На заседании Конкурсной комиссии технологических конкурсов в целях реализации Национальной технологической инициативы утвердили конкурсные задания, регламенты и составы жюри конкурсов отдельных заданий в рамках технологического конкурса «ПРО//ЧТЕНИЕ».

Структура и задачи конкурсов отдельных заданий были разработаны с учетом мирового опыта и включают в себя серию из семи 7 конкурсов:

  1. Конкурсы отдельных заданий, проходящие в формате номинаций в рамках испытаний конкурса «ПРО//ЧТЕНИЕ» и разработанные на основе отдельных критериев оценки ИИ, которые используются в конкурсе «ПРО//ЧТЕНИЕ»:

    a. «Номинация: Грамматика» и «Номинация: Грамматика.Eng» планируются в рамках испытаний первого цикла в 2020 и направлены на решения, выявляющие грамматические и речевые ошибки в текстах на русском и английском языках соответственно. Призовой фонд каждой из номинаций составляет 10 млн. руб.

    Документы
    Номинация Грамматика. Конкурсное задание
    Номинация Грамматика.Eng. Конкурсное задание

    b. «Номинация: Логика» и «Номинация: Структура» планируются к организации в рамках цикла испытаний 2021 года и направлены на выявление логических ошибок и анализ композиции и структуры текстов сочинений на русском языке. Призовой фонд каждой из этих номинаций составит 16 млн. руб.

    Документы с изменениями от 18.03.2021
    Номинация Логика. Конкурсное задание
    Номинация Структура. Конкурсное задание

  2. Конкурсы отдельных заданий (сателлиты), проходящие в формате хакатонов. Планируются к реализации в конце 2020 – 2021 гг. Призовой фонд каждого из сателлитов составит 1 млн. руб.:

    a. «ПРО//ЗНАНИЕ»: классификация ошибки по заданному фрагменту текста в соответствии с критериями ЕГЭ для предмета.

    b. «ПРО//ОЦЕНКИ»: задача определения балла ЕГЭ за работу.

    c. «ПРО//ФАКТЫ»: задача выявления фактических ошибок в тексте.

    Документы с изменениями от 18.03.2021
    Сателлит ПРОЗНАНИЕ. Конкурсное задание
    Сателлит ПРООЦЕНКИ. Конкурсное задание
    Сателлит ПРОФАКТЫ. Конкурсное задание
29.09.2020
Утверждены конкурсные задания конкурсов отдельных заданий и номинаций на 2020/21 гг.
25.09.2020
В четверг 1 октября пройдет онлайн-конференция для участников, начало в 16:00 (Мск). Необходима предварительная регистрация — https://leader-id.ru/event/58692/

В период с 25 по 27 сентября 2020 г. начинается запуск личных кабинетов команд на IT-платформе для проведения квалификации и испытаний.

25 - 26 сентября на электронную почту, указанную при подаче заявки в качестве почты контактного лица, придет письмо со ссылкой на регистрацию на IT-платформе. Зарегистрировавшись, вы получите доступ к основному инструментарию конкурса:

  1. Обучающим и тестовым датасетам;
  2. Программному Комплексу Участника (ПКУ); 
  3. Программе Сравнения Решений (ПСР);
  4. Функционалу технической и алгоритмической квалификации.

В личном кабинете платформы в разделе “Программные модули” вы сможете скачать и ознакомиться с ПКУ, который отвечает за автоматическое получение актуальных файлов для работы алгоритма из датасетов, позволяет в тестовом режиме запускать ПСР и производить расчет критериев для размеченного Эссе.

Более подробная документация, а также презентация основного функционала Платформы, будет представлена на Онлайн-конференции 01 октября

Обратите внимание, что в личные кабинеты на платформе никакая личная информация с ЦРВК (Цифровой РВК) не передаётся. Состав передаваемых данных следующий:

  • Регистрационный номер команды
  • Email
  • Название команды на русском языке
  • Название команды на английском языке
  • Направление деятельности
  • Страна
  • Город
  • Описание команды
  • Язык обработки текста

По любым вопросам пишите нам на эл.почту ai@upgreat.one.

25.09.2020
Начинается запуск личных кабинетов команд на IT-платформе для проведения квалификации и испытаний

ЭКСПЕРТЫ И СУДЬИ

Следят за прохождением испытаний и контролируют соответствие регламентам
Фиксируют ход и результаты испытаний
Верифицируют результаты работы ИИ-систем участников
Не оказывают экспертную поддержку участникам
Константин Воронцов
Константин Воронцов
Заведующий лабораторией машинного интеллекта МФТИ
Валентин Малых
Валентин Малых
Старший научный сотрудник в Huawei Noah's Ark lab, к.т.н.
Алексей Озерин
Алексей Озерин
Старший разработчик, Лаборатория машинного интеллекта Яндекс
Алёна Феногенова
Алёна Феногенова
NLP Research Engineer в SberDevices, Сбербанк. R&D NLP, исследователь, энтузиаст и преподаватель NLP (в НИУ ВШЭ, МФТИ)
Анастасия Кишкун
Анастасия Кишкун
Product в Тинькофф Инвестиции. Data scientist в Сбербанк (специалист по Computer Vision), аспирант Сколтеха (Data science in Mobile Robotics)
Борис Иванов
Борис Иванов
Руководитель отдела "Беспилотный автомобиль СтарЛайн"
Олег Голубев
Олег Голубев
Академический директор школы цифровых навыков Kodland. Судья и эксперт различных технических конкурсов.
Владимир Смирнов
Владимир Смирнов
Руководитель Major IT. Институт опережающих технологий "Школа Икс" ДГТУ
Оксана Ганабова
Оксана Ганабова
Учитель русского языка и литературы, финалист конкурса Учитель года Москвы-2005 года, лауреат конкурса Грант Москвы, старший эксперт ЕГЭ по русскому языку
Бахаргуль Юнусова
Бахаргуль Юнусова
Учитель русского языка высшей квалификационной категории
Диана Фадеева
Диана Фадеева
Учитель истории, зам. председателя предметной комиссии по истории г. Москвы
Елена Саплина
Елена Саплина
Учитель обществознания, председатель предметной комиссии ЕГЭ по обществознанию г. Москвы
Юлия Евсеева
Юлия Евсеева
Учитель английского языка, эксперт по проверке ЕГЭ и ОГЭ по английскому языку
Римма Юсупова
Римма Юсупова
Учитель английского языка, эксперт по проверке ЕГЭ по английскому языку
Марина Котова
Марина Котова
Учитель английского языка ГБОУ "Школа 1770", Заслуженный учитель РФ, эксперт ЕГЭ
Глушенков Иван
Глушенков Иван
Организатор и победитель международных хакатонов, CTO Phystech.Genesis, предприниматель, коуч

Контакты

Телефон
Общие вопросы
Для СМИ - Юрий Сушинов