Hugging Face и alphaXiv запускают конкурс по воспроизведению результатов ICML 2026

Ведущая платформа для сообщества искусственного интеллекта Hugging Face совместно с исследовательской платформой alphaXiv объявила о старте масштабного конкурса, целью которого является воспроизведение ключевых результатов всех научных работ, принятых на конференцию ICML 2026 — одну из главных конференций в области машинного обучения⁠

Конкурс стартовал на фоне тревожной статистики: по оценкам организаторов, до 70% опубликованных научных статей в сфере ИИ не могут быть независимо воспроизведены. Это создает серьезные проблемы для научного прогресса, делая многие результаты труднопроверяемыми, а иногда и вовсе недостоверными.

Участникам конкурса предстоит выбрать одну из принятых на ICML 2026 статей и попытаться воспроизвести ее основные утверждения. В распоряжении участников — текст научной работы, а также доступные репозитории на GitHub и страницы проектов, если они существуют. Важным условием является то, что даже при отсутствии официального кода или данных необходимо предпринять попытку независимого воспроизведения, используя открытые датасеты и синтетические аналоги.

Результатом работы должен стать "логбук" — специальный отчет в формате Trackio, размещенный на платформе Hugging Face. В нем должны быть зафиксированы все этапы эксперимента, включая скрипты, логи, сгенерированные датасеты и промежуточные артефакты. Это делает процесс максимально прозрачным как для людей, так и для последующих автоматических систем проверки.

Для выполнения ресурсоемких задач участники могут задействовать вычислительные мощности Hugging Face Jobs. Организаторы также предоставляют подробное руководство, которое помогает избежать типичных ошибок, например, потери результатов вычислений или проблем с доступом к API.

Соревнование продлится три недели. По его итогам предусмотрены призы для победителей.

Этот конкурс — важный шаг к повышению стандартов качества в исследованиях ИИ. Он позволяет проверить, насколько результаты, представленные на ведущей мировой конференции, действительно надежны и могут быть воспроизведены другими учеными. Кроме того, созданные в ходе соревнования логбуки и воспроизведенные коды станут ценным ресурсом для всего сообщества, способствуя ускорению научного прогресса.

Принять участие в конкурсе может любой желающий. Все подробности и инструкции доступны на специальной странице датасета на Hugging Face.

Источник: https://icml-2026-agent-repro-challenge.static.hf.space/index.html