ML Dataset Search — 机器学习数据集搜索

前言

有些时候做一个验证实验，或者开展应用型的项目，就需要用到开源的数据集，但是在网上查找数据集并不是很方便，在论文中检索更是大海捞针。下面汇总一些比较高效的数据集查找路线。

计算机视觉数据

MARK！里面有各种用于计算机视觉研究数据集，可以通过特定的主题去查找数据集，比如语义分割、图像字幕、图像生成等等。也可以通过应用场景来查找数据集，比如自动驾驶汽车数据集。 传送门：https://www.visualdata.io/

谷歌数据集搜索引擎

谷歌爸爸的服务，目前还是测试版，但是数量惊人。 传送门：https://toolbox.google.com/datasetsearch

微软数据集

微软推出的“微软研究开放数据”。涵盖计算机科学、社会科学、物理学、天文学、生物学、经济学等等多个学科领域。 数据集存储在云中，用于推动全球研究团体之间的协作。收集了一系列已发表的研究中使用的精确数据集。 传送门：https://msropendata.com/

Kaggle数据集

Kaggle的数据集中，包含了用于各种任务，不同规模的真实数据集 传送门：https://www.kaggle.com/datasets

亚马逊数据集

这里有许多不同领域的数据集，比如公共交通、生态资源、卫星图像等等。 同时也提供了一个搜索框，来帮助你寻找数据集。伴随着数据集，也有相关的描述与用法示例。 数据集存储在AWS中，如果你正在使用AWS训练机器学习模型，会非常方便，数据集的传输速度非常快。 传送门：https://registry.opendata.aws/

UCI机器学习数据库

这个数据库里面有100个数据集。来自加州大学信息与计算机科学学院。 数据集已经按照机器学习问题进行了分类，你可以在这里找到单变量和多变量时间序列数据集；分类、回归或推荐系统的数据集。 传送门：https://archive.ics.uci.edu/ml/datasets.html

公共数据集资源收集

按照不同的主题对近600个数据集进行了分类，一共涉及29个主题，比如生物学、经济学、教育学等等。大多数数据集都是免费的，不过在使用前，还是检查一下许可要求比较好。 传送门：https://github.com/awesomedata/awesome-public-datasets

政府数据集

政府相关的数据集寻找起来也比较容易，许多国家都会公开各种数据，以推进政务的透明化处理。 欧盟开放数据集： https://data.europa.eu/euodp/data/dataset

美国政府数据集： https://www.data.gov/

中国国家统计局： http://www.stats.gov.cn/