для участников
Технологический барьер
Создание стабильно работающего Программного комплекса для выявления фактических и смысловых ошибок в академических эссе, результат работы которого соответствует результату работы специалиста в условиях ограниченного времени.
Что нужно для участия
- Выбрать язык текстов, с которыми хотите работать: русский и/или английский.
- Ознакомиться с конкурсной документацией: конкурсное задание, технический регламент и классификатор ошибок.
- Заполнить заявку на участие в конкурсе.
- Получить одобрение заявки.
- Предложить решение задания квалификационного (заочного) этапа.
Участники не ограничены в выборе используемых программных средств и вычислительных мощностей. - Получить приглашение на финальный (очный) этап.
- Принять участие в финальном мероприятии и стать победителем, разработав лучшее интеллектуальное решение для обработки естественного языка.
Первые датасеты для обучения систем размещены здесь.
Список участников квалификации 1-го цикла испытаний (обновляемый).
ГРАФИК КОНКУРСА
В ходе конкурса проводятся регулярные циклы испытаний. Каждый цикл состоит из отборочного этапа, квалификационных и финальных испытаний.
Испытания первого цикла пройдут в период с октября по декабрь 2020 г.
Регистрация открыта.
ЗАДАНИЕ
не раскрыта
Система оценки
Технологический барьер
Вопросы и ответы
Технологический конкурс Up Great ПРО//ЧТЕНИЕ объявлен в декабре 2019 года. Конкурс разделен на несколько циклов испытаний. Каждый цикл состоит из этапа приема заявок, квалификации, т.е. допуска к испытаниям, и непосредственно самих испытаний. Первый цикл планируется завершить уже к концу 2020 года.
Квалификация первого цикла конкурса пройдет с 1 октября по 2 ноября и будет общей для русскоязычных и англоязычных текстов. В этот период для получения допуска к испытаниям зарегистрированные участники должны будут скачать тексты тестовой выборки квалификации через API, разметить их без ошибок в синтаксисе и загрузить все файлы обратно.
9 ноября пройдут первые испытания конкурса для русскоязычных текстов. Задача испытаний – выявить в течение ограниченного времени (не более 30 секунд в среднем на одно эссе) и аннотировать все ошибки на уровне экспертов-преподавателей. 16 ноября состоятся испытания для англоязычных текстов.
Подведение итогов первого цикла конкурса запланировано на декабрь 2020 года.
Испытания будут повторяться регулярно до тех пор, пока не будет выявлен победитель, но не позднее декабря 2022 года. Прием заявок на квалификацию первого цикла завершится 29 октября, после чего стартует прием заявок на участие во втором цикле конкурса.Испытания пройдут в несколько этапов:
1. Технический. Участники подключаются к серверу, скачивают датасет, ищут ошибки и загружают обратно.
2. Основной. Участники получают новые сочинения, которые не публиковались ранее и которые не видели преподаватели. Они делают разметку и загружают обратно.
3. Проверка. Технический этап, в рамках которого техническая комиссия и судейская коллегия проверяют результаты работы команд, сами эссе и сочинения для объективного определения ошибок и уровня технологического барьера. Результаты экспертов автоматически сравниваются с решениями команд.
4. Объявление результатов.
Первые данные (эссе и сочинения) размещены в разделе Датасеты. Команды имеют право обучать свои решения на любых других данных, оценивается только конечный результат.
Оцениваться будет путем сравнения со средним количеством ошибок, которые живой эксперт-преподаватель способен найти в тех же документах в условиях ограниченного времени.
Команды подключаются к платформе по API, скачивают txt файлы с простым wiki- или markdown-подобным языком разметки, при помощи которого в тексте отмечают найденные ошибки. После этого отредактированный txt-файл загружается обратно по API и оценивается на платформе программным решением организаторов.
Процедура проведения испытаний прописана в техническом регламенте конкурса.Контакты
Мы приглашаем инновационные компании и крупные корпорации поддержать технологические конкурсы
