35 лучших наборов данных для моделей машинного обучения и искусственного интеллекта в 2026 году | Бесплатное или платное

В быстро развивающихся областях машинного обучения и искусственного интеллекта качество и разнообразие наборов данных часто определяют успех обучения и развертывания моделей. Независимо от того, создаете ли вы передовые системы компьютерного зрения, модели обработки естественного языка (NLP), системы рекомендаций или крупномасштабные генеративные приложения искусственного интеллекта, получение надежных и хорошо структурированных наборов данных имеет решающее значение.

В этой статье тщательно собраны 35 наборов данных верхнего уровня, подходящих для моделей машинного обучения и искусственного интеллекта, охватывающих такие области, как распознавание изображений, естественный язык, биоинформатика, электронная коммерция, сетевые данные в реальном времени и мультимодальный искусственный интеллект. Выбранные наборы данных включают как ресурсы с открытым исходным кодом, которые стимулируют академические исследования, так и коммерческие наборы данных корпоративного уровня, предназначенные для крупномасштабных коммерческих приложений. Благодаря этим ресурсам ученые, исследователи и инженеры, работающие с данными, могут ускорить инновации и повысить точность, масштабируемость и повсеместное распространение своих решений искусственного интеллекта.

1. Набор данных Bright Data

Применимые поля: Данные сети машинного обучения, рыночная аналитика, обучение LLM

Компания Bright Data, ведущий поставщик данных как услуги, недавно запустила комплексную службу набора данных, специально разработанную для приложений искусственного интеллекта и машинного обучения. Платформа предоставляет непосредственно используемые структурированные сетевые данные, охватывающие различные области, такие как электронная коммерция, недвижимость, подбор персонала, социальные сети и финансовые рынки. В отличие от традиционных наборов статических данных, Bright Data постоянно обновляет свои наборы данных, чтобы обеспечить свежесть и актуальность данных. Эти наборы данных чрезвычайно ценны для обучения моделей ИИ, основанных на реальных данных, специфичных для конкретной предметной области.

Особенности

2. COCO（Common Objects in Context）

Применимые поля: Обнаружение цели, сегментация изображения, понимание сцены

COCO — один из самых популярных наборов данных для задач компьютерного зрения, который широко используется для обнаружения объектов, сегментации и описания изображений. В отличие от традиционных наборов данных, COCO фокусируется на сложных ежедневных сценах, содержащих множество объектов и их контекстных взаимосвязей. Его подробные аннотации включают ограничивающие рамки цели, ключевые точки позы человека и маски сегментации. Благодаря высокому качеству аннотаций и разнообразию COCO стал стандартным эталоном для передовых моделей, таких как Faster R-CNN, YOLO, Mask R-CNN и т. д.

Особенности

3. Набор обучающих данных OpenAI GPT (доступ на уровне предприятия)

Применимые поля: Обработка естественного языка, обучение большой языковой модели

Хотя полный корпус обучения OpenAI является запатентованным, его большие языковые модели (такие как GPT-3 и GPT-4) обучаются на смешанных наборах данных, включая авторизованные данные, общедоступные данные и тщательно контролируемые данные, и являются чрезвычайно крупномасштабными. Эти источники включают Common Crawl, Википедию, книги и авторизованные коллекции текстов. Организации, которым нужен доступ на уровне предприятия, могут использовать эти модели через API OpenAI, который объединяет знания в этих наборах данных. Огромный масштаб и разнообразие данных делают его одним из самых мощных ресурсов в области понимания и генерации естественного языка.

Особенности

4. Набор данных Kaggle

Применимые поля: Конкурс машинного обучения, разработка прототипов, прикладные исследования в области искусственного интеллекта

Kaggle содержит один из крупнейших репозиториев наборов данных с открытым исходным кодом, предоставленных специалистами по обработке данных и специалистами по машинному обучению со всего мира. Его наборы данных охватывают многие области, такие как финансы, здравоохранение, обработка естественного языка и распознавание изображений. Одним из его самых больших преимуществ является глубокая интеграция с Kaggle Notebooks, позволяющая пользователям проводить эксперименты и создавать модели машинного обучения на лету. Наборы данных Kaggle широко используются в хакатонах, академических исследованиях и быстром прототипировании.

Особенности

5. Набор данных Google Open Images

Применимые поля: Компьютерное зрение, распознавание изображений, классификация по нескольким меткам

Open Images, выпущенный Google, представляет собой очень большую коллекцию аннотированных изображений, используемых для поддержки крупномасштабных исследований компьютерного зрения. Он содержит миллионы изображений с метками на уровне изображений, ограничивающими рамками объектов, масками сегментации и визуальными связями. Его разнообразие позволяет исследователям создавать надежные системы машинного зрения, способные обрабатывать сложные сцены реального мира. Он широко используется для тестирования современных архитектур нейронных сетей.

Особенности

6. Набор данных подписей COCO

Применимые поля: Описание изображения, мультимодальный ИИ, визуально-языковая модель

Этот набор данных расширяет исходный набор данных COCO, предоставляя аннотированные человеком описания изображений, что делает его краеугольным камнем мультимодальных исследований ИИ. Каждое изображение сопровождается пятью описаниями, которые помогают модели научиться генерировать выходные данные на естественном языке из визуальных данных. Он сыграл ключевую роль в развитии систем описания изображений, визуального ответа на вопросы (VQA), а в последние годы и мультимодальных моделей Transformer.

Особенности

7. PubMed & MIMIC-III

Применимые поля: Медицинский искусственный интеллект, медицинская обработка естественного языка, прогнозный анализ

PubMed предоставляет миллионы статей и рефератов биомедицинских исследований и является одним из богатейших источников научных текстовых данных для медицинских задач НЛП. MIMIC-III, с другой стороны, представляет собой крупномасштабный набор электронных медицинских записей, содержащий обезличенные клинические данные пациентов отделения интенсивной терапии. Сочетание этих двух технологий обеспечивает надежную поддержку медицинских исследований в области искусственного интеллекта, таких как прогнозирование заболеваний, разработка лекарств и поддержка клинических решений. База данных структуры белков

Особенности

8. LAION-5B

Применимые поля: Текстовое изображение, мультимодальный ИИ, модель диффузии

LAION-5B на данный момент представляет собой один из крупнейших наборов данных с открытым исходным кодом для мультимодальных исследований, содержащий 5 миллиардов пар изображение-текст, собранных из Интернета. Это основная основа многих моделей изображений, генерируемых текстом, таких как Stable Diffusion и других архитектур, основанных на диффузии. Этот набор данных полностью открыт, что является знаковым шагом на пути демократизации мультимодальных исследований ИИ. Серия

Особенности

9. Common Crawl

Применимые поля: НЛП, большие языковые модели, обучение искусственному интеллекту в масштабе сети

Common Crawl — это проект с открытым исходным кодом, который предоставляет данные сканирования веб-страниц в петабайтном масштабе, включая необработанное содержимое веб-страницы, метаданные и результаты извлечения текста. Он широко используется в качестве базового набора данных для обучения крупномасштабных систем НЛП и языковых моделей. Благодаря ежемесячным обновлениям исследователи и учреждения имеют доступ к постоянно обновляемому снимку сети, что делает его одним из самых ценных ресурсов в современных программах обучения искусственному интеллекту.

Особенности

10. AWS Data Exchange

Применимые поля: Машинное обучение корпоративного уровня, приложения, управляемые данными, бизнес-ИИ

AWS Data Exchange — это рынок подписки на межотраслевые сторонние наборы данных, охватывающий финансы, медицинское обслуживание, геопространственный анализ, маркетинг и другие области. В отличие от наборов данных с открытым исходным кодом, AWS Data Exchange предоставляет высококачественные тщательно подобранные данные корпоративного уровня, которые можно напрямую применять в коммерческих процессах машинного обучения и аналитики. Полная интеграция с сервисами AWS делает его очень привлекательным для организаций, уже использующих экосистему AWS.

Особенности

11. Stanford Question Answering Dataset (SQuAD)

Применимые поля: Обработка естественного языка, система ответов на вопросы

SQuAD — это крупномасштабный набор данных для понимания машинного текста. Он состоит из отрывков из Википедии и более 100 000 пар вопросов и ответов, полученных с помощью краудсорсинга. Модели, обученные на SQuAD, способны извлекать ответы непосредственно из контекста, что делает их важным ориентиром для оценки возможностей понимания прочитанного моделями НЛП. Он сыграл ключевую роль в разработке архитектур Transformer, таких как BERT. Набор данных

Особенности

12. Рукописные цифры MNIST

Применимые поля: Введение в компьютерное зрение, классификацию изображений и глубокое обучение

MNIST — один из самых известных вводных наборов данных машинного обучения. Он состоит из 70 000 изображений рукописных цифр (0–9) в оттенках серого, каждое из которых имеет одинаковый размер 28×28 пикселей. Несмотря на свою простоту, MNIST десятилетиями использовался для тестирования новых методов машинного обучения и продолжает служить в качестве обычных экспериментальных данных в учебных пособиях, тестах и ​​исследовательских работах.

Особенности

13. CIFAR-10 / CIFAR-100

Применимые поля: Компьютерное зрение, классификация изображений

CIFAR — это обычно используемые небольшие наборы данных изображений для исследований в области машинного обучения. CIFAR-10 содержит 60 000 изображений, охватывающих 10 категорий; CIFAR-100 расширен до 100 категорий, а также содержит 60 000 изображений. Благодаря своему компактному размеру и разнообразию категорий он стал общепринятым эталоном для оценки архитектур нейронных сетей. Открытый набор данных

Особенности

14. Открытый набор данных Yelp

Применимые поля: Анализ настроений, обработка естественного языка (NLP), система рекомендаций

Yelp Open Dataset — это крупномасштабная коллекция обзоров, рейтингов и бизнес-метаданных, предоставляемых Yelp только для академического и некоммерческого использования. Он очень ценен при обучении моделей анализа настроений, механизмов рекомендаций и алгоритмов классификации текста, поскольку сочетает в себе естественный язык со структурированными атрибутами продавца. Набор данных

Особенности

15. Дамп данных Википедии

Применимые поля: НЛП, граф знаний, предварительная подготовка по большой языковой модели

Wikipedia регулярно предоставляет полные дампы контента на нескольких языках. Эти дампы являются одним из самых надежных и чистых источников текстовых данных для НЛП, поддерживающих ответы на вопросы, извлечение знаний и предварительное обучение LLM. Его структурированный характер и широкий охват предметной области делают его незаменимым ресурсом в исследованиях ИИ. Набор данных электронной почты

Особенности

16. Набор данных KITTI

Применимые поля: Автономное вождение, компьютерное зрение, трехмерное обнаружение целей

KITTI представляет собой комплексный набор тестов для исследований автономного вождения. Он содержит изображения стереокамеры, облака точек 3D-лидара и данные GPS/IMU, охватывающие различные сценарии реального вождения. KITTI стал фундаментальным набором данных для обучения и оценки систем восприятия автономного вождения. Репозиторий машинного обучения

Особенности

17. Fashion-MNIST

Применимые поля: Классификация изображений, компьютерное зрение

Fashion-MNIST — это современная альтернатива MNIST, содержащая изображения предметов одежды в оттенках серого (например, рубашек, обуви, сумок). Он имеет тот же формат, что и MNIST (изображение в оттенках серого 28×28 пикселей), но задача классификации более сложна, что делает его очень популярным при тестировании алгоритмов компьютерного зрения.

Особенности

18. Google Естественные вопросы (NQ)

Применимые поля: НЛП, вопросно-ответная система, поиск информации

Естественные вопросы (NQ) — это эталонный набор данных, созданный Google, который предоставляет анонимные запросы и соответствующие параграфы Википедии на основе реальных поисковых запросов пользователей. Это требует, чтобы модель выполняла поиск и рассуждение одновременно. По сравнению с синтетическими наборами данных это ближе к реальному сценарию вопросов и ответов.

Особенности

19. База данных машинного обучения UCI.

Применимые поля: Общее машинное обучение, образование, прототипирование

UCI — один из старейших и наиболее широко используемых ресурсов данных машинного обучения. Он содержит сотни наборов данных, охватывающих такие разнообразные задачи, как классификация, регрессия и кластеризация. Исследователи, преподаватели и студенты часто используют наборы данных UCI для обучения, экспериментов по прототипированию и сравнительного анализа алгоритмов.

Особенности

20. Набор данных электронной почты Enron

Применимые поля: НЛП, классификация электронной почты, обнаружение спама

Enron содержит около 500 000 реальных электронных писем от несуществующей компании Enron. Он стал стандартным набором данных для интеллектуального анализа текста, анализа коммуникаций и исследований по обнаружению спама. Благодаря своему аутентичному стилю корпоративного общения этот набор данных создает уникальные проблемы для понимания естественного языка.

Особенности

21. Тест GLUE (общая оценка понимания языка)

Применимые поля: НЛП, классификация предложений, понимание языка

GLUE — это набор тестов для оценки производительности моделей понимания естественного языка при выполнении различных задач, включая анализ настроений, распознавание текста и системы ответов на вопросы. Он стал золотым стандартом для тестирования моделей на основе трансформаторов, таких как BERT, RoBERTa и GPT. GLUE предоставляет единую структуру оценки, способствующую разработке моделей, ориентированных на общие возможности НЛП.

Особенности

22. SuperGLUE

Применимые поля: НЛП, углубленное понимание языка

SuperGLUE выпущен как более сложный преемник GLUE и содержит более сложные задачи, которые проверяют рассуждение, понимание здравого смысла и способность разрешать анафоры. Он специально нацелен на исследования, выходящие за рамки классификации текста на поверхностном уровне, и становится важным ориентиром для оценки новейших и современных моделей НЛП.

Особенности

23. Акустико-фонемный корпус непрерывной речи ТИМИТ.

Применимые поля: Распознавание речи, обработка звука

TIMIT — классический набор данных для исследований в области распознавания речи. Он содержит записи сотен ораторов, говорящих на разных диалектах американского английского, каждый из которых читает тщательно отобранные предложения. Этот набор данных обеспечивает синхронизированные по времени транскрипции фонем и слов и является важным ресурсом для распознавания фонем и акустического моделирования. Набор данных о продуктах

Особенности

24. LibriSpeech

Применимые поля: Автоматическое распознавание речи (ASR), НЛП + аудио

LibriSpeech — это крупномасштабный набор речевых данных, полученный на основе общедоступных аудиокниг, прочитанных добровольцами. Он широко используется при обучении систем автоматического распознавания речи (ASR). Этот набор данных предоставляет как чистые, так и зашумленные версии записей, поддерживает надежную разработку моделей и является важным компонентом современных тестов ASR.

Особенности

25. Waymo Open Dataset

Применимые поля: Автономное вождение, 3D-восприятие, LiDAR

Waymo — один из наиболее полных общедоступных наборов данных по автономному вождению. Он содержит данные датчиков высокого разрешения, собранные беспилотными транспортными средствами Waymo, включая LiDAR, кадры с камер и данные, аннотированные 3D-обнаружением и отслеживанием. Этот набор данных имеет решающее значение для продвижения исследований в области безопасных и надежных систем автономного вождения.

Особенности

26. Human3.6M

Применимые поля: Оценка позы человека, захват движения, 3D-видение

Human3.6M — это один из крупнейших на данный момент наборов данных для оценки позы человека и распознавания действий. Он содержит миллионы трехмерных поз человека, собранных с помощью технологии захвата движения, а также соответствующие видеозаписи. Этот набор данных широко используется для обучения глубоких моделей для приложений в области распознавания активности, дополненной/виртуальной реальности (AR/VR) и робототехники.

Характеристики набора данных

27. CelebA (набор данных по чертам лица знаменитостей)

Применимые поля: Распознавание лиц, классификация атрибутов, обучение GAN

CelebA — это крупномасштабный набор данных атрибутов лиц, содержащий более 200 000 изображений знаменитостей с подробными аннотациями 40 различных атрибутов, таких как пол, возраст и выражение лица. Он широко используется в распознавании лиц, генеративно-состязательных сетях (GAN), а также исследованиях справедливости и предвзятости в искусственном интеллекте. Набор данных

Характеристики набора данных

28. Стэнфордское дерево настроений (SST)

Применимые поля: Анализ настроений, НЛП, классификация текста

Stanford Sentiment Treebank — это тщательно аннотированный набор данных для анализа настроений, который выходит за рамки простой бинарной классификации положительных/отрицательных значений. Он предоставляет детальные метки эмоций для фраз в предложениях, что делает возможным иерархическое моделирование эмоций. Этот набор данных играет важную роль в разработке моделей НЛП, учитывающих эмоции.

Характеристики набора данных

29. ImageNet

Применимые поля: Компьютерное зрение, глубокое обучение, классификация изображений

ImageNet — один из самых влиятельных наборов данных в истории искусственного интеллекта. Он содержит более 14 миллионов тщательно аннотированных изображений, охватывающих тысячи категорий объектов. Этот набор данных способствовал революции глубокого обучения, особенно после успеха AlexNet на конкурсе ImageNet Large Scale Visual Recognition Challenge (ILSVRC) в 2012 году. Исследователи и разработчики используют ImageNet не только для обучения мощных классификаторов изображений, но и в качестве эталона для оценки новых архитектур компьютерного зрения.

Особенности

30. База данных структуры белков DeepMind AlphaFold.

Применимые поля: Биоинформатика, медицинский искусственный интеллект, предсказание сворачивания белков

AlphaFold, разработанная DeepMind в сотрудничестве с EMBL-EBI, обеспечивает прогнозирование трехмерной структуры белков в беспрецедентном масштабе. Охватывая почти все известные науке белковые последовательности, он произвел революцию в области биологии и открытия лекарств, обеспечив точные предсказания сворачивания белков — проблемы, которая когда-то считалась серьезной проблемой.

Особенности

31. ImageNet-21K

Применимые поля: Компьютерное зрение, трансферное обучение, предварительное обучение крупномасштабных моделей

ImageNet-21K — это расширенная версия исходного набора данных ImageNet, содержащая более 14 миллионов изображений, охватывающих 21 000 категорий. Он широко используется для предварительного обучения крупномасштабных моделей машинного зрения перед их точной настройкой для конкретных задач. Большой охват категорий делает его более полным, чем стандартный ImageNet-1K, помогая модели освоить универсальные визуальные функции.

Особенности

32. Набор данных о продуктах Amazon (обзоры Amazon)

Применимые поля: НЛП, система рекомендаций, анализ настроений

Amazon — один из наиболее часто используемых ресурсов в системах рекомендаций и анализа настроений. Он содержит сотни миллионов отзывов клиентов, метаданных о продуктах и ​​рейтингов в различных категориях. Исследователи полагаются на этот набор данных для обучения систем персонализированных рекомендаций, классификации настроений и моделей анализа электронной коммерции.

Особенности

33. Центр набора данных обнимающего лица

Применимые поля: НЛП, компьютерное зрение, речь, мультимодальный ИИ

Hugging Face Dataset Center — это платформа для совместной работы, на которой размещены тысячи наборов данных машинного обучения в различных областях, включая НЛП, компьютерное зрение и аудио. Он тесно интегрирован с экосистемой Hugging Face, что позволяет исследователям загружать наборы данных непосредственно в Transformers и другие конвейеры машинного обучения с помощью всего лишь нескольких строк кода. Его ориентированность на сообщество обеспечивает непрерывный рост и разнообразие наборов данных.

Особенности

34. Набор данных городских пейзажей

Применимые поля: Семантическая сегментация, понимание городской уличной сцены

Cityscapes фокусируется на понимании городских уличных сцен и является одним из наиболее часто используемых наборов данных в задачах семантической сегментации компьютерного зрения. Он содержит изображения высокого разрешения, снятые в 50 европейских городах, и обеспечивает точные аннотации дорожных сцен на уровне пикселей. Исследователи широко используют Cityscapes для сравнения моделей семантической сегментации.

Особенности

35. Набор данных WMT (Мастерская по машинному переводу).

Применимые поля: Машинный перевод, многоязычное НЛП

WMT — это основной ресурс, выпускаемый каждый год Мастерской машинного перевода, обеспечивающий параллельный корпус для разных языков и областей и способствующий развитию систем нейронного машинного перевода. Эти наборы данных широко используются для обучения таких моделей, как Google Translate и многоязычные Transformers.

Особенности