首先，這些數(shù)據(jù)集的規(guī)模巨大！所以請(qǐng)確保你有網(wǎng)絡(luò)連接順暢，下載空間足夠大。
這些數(shù)據(jù)集可以用于各種目的，你可以將之應(yīng)用于各種深度學(xué)習(xí)技術(shù)，磨練技能，了解如何識(shí)別和構(gòu)建每個(gè)問(wèn)題，或和大家分享你的成果。
這些數(shù)據(jù)集分為三類(lèi)： 圖像處理、自然語(yǔ)言處理和音頻 / 語(yǔ)音處理。
開(kāi)始探索吧！
https://datahack.analyticsvidhya.com/contest/practice-problem-identify-the-digits/
MNIST 是最受歡迎的深度學(xué)習(xí)數(shù)據(jù)集之一。這是一個(gè)手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集，包含一組 60,000 個(gè)示例的訓(xùn)練集和一個(gè)包含 10,000 個(gè)示例的測(cè)試集。這個(gè)數(shù)據(jù)庫(kù)在實(shí)際數(shù)據(jù)中嘗試學(xué)習(xí)技術(shù)和深度識(shí)別模式方面非常好用，同時(shí)可以在數(shù)據(jù)預(yù)處理花費(fèi)最少的時(shí)間和精力。
大?。?50 MB
記錄數(shù)量：10 種類(lèi)別的 70,000 張圖片
SOTA：膠囊之間的動(dòng)態(tài)路由（https://arxiv.org/pdf/1710.09829.pdf）
http://cocodataset.org/#home
COCO 是一個(gè)用于物體檢測(cè)、分割和字幕的大型、豐富的數(shù)據(jù)集，它有幾個(gè)特點(diǎn)：
對(duì)象分割
上下文識(shí)別
超像素素材分割
330K 張圖像（標(biāo)記> 200K）
150 萬(wàn)個(gè)對(duì)象實(shí)例
80 個(gè)對(duì)象類(lèi)別
91 個(gè)素材類(lèi)別
每張圖片 5 個(gè)字幕
250,000 個(gè)帶有關(guān)鍵點(diǎn)的人
大?。?25 GB（壓縮）
記錄數(shù)量：330K 張圖像，80 個(gè)對(duì)象類(lèi)別，每幅圖像 5 個(gè)字幕，25 萬(wàn)個(gè)關(guān)鍵點(diǎn)
SOTA：Mask R-CNNhttps://arxiv.org/pdf/1703.06870.pdf
http://www.image-net.org/
ImageNet 是根據(jù) WordNet 層次結(jié)構(gòu)組織的圖像數(shù)據(jù)集。WordNet 包含大約 100,000 個(gè)短語(yǔ)，ImageNet 平均用 1000 張圖像來(lái)說(shuō)明每個(gè)短語(yǔ)。
大?。?150GB
記錄數(shù)量：圖像總數(shù)：約 1,500,000；每張圖像都有多個(gè)邊界框和相應(yīng)的類(lèi)標(biāo)簽。
SOTA：深度神經(jīng)網(wǎng)絡(luò)的聚合殘差轉(zhuǎn)換（Aggregated Residual Transformations for Deep Neural Networks）https://arxiv.org/pdf/1611.05431.pdf
https://github.com/openimages/dataset
Open Images 是一個(gè)包含近 900 萬(wàn)個(gè)圖像 URL 的數(shù)據(jù)集。這些數(shù)千萬(wàn)種類(lèi)別的圖像已經(jīng)用圖像級(jí)標(biāo)簽邊框進(jìn)行了注釋。該數(shù)據(jù)集包含 9,011,219 張圖像的訓(xùn)練集，41,260 張圖像的驗(yàn)證集以及 125,436 張圖像的測(cè)試集。
大?。?00 GB（壓縮）
記錄數(shù)量：9,011,219 張超過(guò) 5k 個(gè)標(biāo)簽的圖像
SOTA：Resnet 101 圖像分類(lèi)模型（在 V2 數(shù)據(jù)上訓(xùn)練）：模型檢查點(diǎn)，檢查點(diǎn)自述文件，推理代碼。https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/
http://www.visualqa.org/
VQA 是一個(gè)包含有關(guān)圖像的開(kāi)放式問(wèn)題的數(shù)據(jù)集，這些問(wèn)題需要理解視覺(jué)和語(yǔ)言。該數(shù)據(jù)集的一些有趣的特點(diǎn)是：
265,016 張圖片（COCO 和抽象場(chǎng)景）
每張圖片至少有 3 個(gè)問(wèn)題（平均 5.4 個(gè)問(wèn)題）
每個(gè)問(wèn)題有 10 個(gè)合理答案
每個(gè)問(wèn)題有 3 個(gè)看似合理（但可能不正確）的答案
自動(dòng)評(píng)估指標(biāo)
大?。?5 GB（壓縮）
記錄數(shù)量：265,016 張圖片，每張圖片至少有 3 個(gè)問(wèn)題，每個(gè)問(wèn)題有 10 個(gè)合理答案
SOTA：視覺(jué)問(wèn)答的技巧和訣竅：從 2017 年挑戰(zhàn)賽中學(xué)習(xí)https://arxiv.org/abs/1708.02711
http://ufldl.stanford.edu/housenumbers/
這是用于開(kāi)發(fā)對(duì)象檢測(cè)算法的真實(shí)世界圖像數(shù)據(jù)集。它需要很少的數(shù)據(jù)預(yù)處理，與本列表中提到的 MNIST 數(shù)據(jù)集類(lèi)似，但具有更多標(biāo)簽數(shù)據(jù)（超過(guò) 600,000 張圖像）。這些數(shù)據(jù)是從谷歌街景中查看的房屋號(hào)碼中收集的。
大?。?.5 GB
記錄數(shù)量：10 種類(lèi)別的 6,30,420 張圖片
SOTA：虛擬對(duì)抗訓(xùn)練的分布平滑https://arxiv.org/pdf/1507.00677.pdf
http://www.cs.toronto.edu/~kriz/cifar.html
這仍然是一個(gè)圖像分類(lèi)數(shù)據(jù)集，它由 10 個(gè)類(lèi)的 60,000 張圖像組成（每個(gè)類(lèi)在上圖中表示為一行），總共有 50,000 張訓(xùn)練圖像和 10,000 張測(cè)試圖像。數(shù)據(jù)集分為 6 個(gè)部分，其中有 5 個(gè)訓(xùn)練集和 1 個(gè)測(cè)試集。每個(gè)數(shù)據(jù)集包含 10,000 張圖像。
大?。?70 MB
記錄數(shù)量：10 種類(lèi)別的 60,000 張圖片
SOTA：ShakeDrop 正則化https://openreview.net/pdf?id=S1NHaMW0b
https://github.com/zalandoresearch/fashion-mnist
Fashion-MNIST 包含 60,000 個(gè)訓(xùn)練圖像和 10,000 個(gè)測(cè)試圖像，是一個(gè)類(lèi)似 MNIST 的時(shí)尚產(chǎn)品數(shù)據(jù)庫(kù)。開(kāi)發(fā)人員認(rèn)為 MNIST 已被過(guò)度使用，因此他們創(chuàng)建了該數(shù)據(jù)集作為 MNIST 的直接替代品。每張圖片都以灰度顯示，并與 10 個(gè)類(lèi)別的標(biāo)簽相關(guān)聯(lián)。
大?。?0 MB
記錄數(shù)量：10 種類(lèi)別的 70,000 張圖片
SOTA：隨機(jī)擦除數(shù)據(jù)增強(qiáng)https://arxiv.org/abs/1708.04896
http://ai.stanford.edu/~amaas/data/sentiment/
這是電影愛(ài)好者夢(mèng)寐以求的數(shù)據(jù)集，可用于二元情感分類(lèi)，并包含比之前此領(lǐng)域所有數(shù)據(jù)集都更多的數(shù)據(jù)。除了訓(xùn)練和測(cè)試評(píng)估示例之外，還有更多未標(biāo)記的數(shù)據(jù)可供使用。原始文本和預(yù)處理的單詞格式包也包括在內(nèi)。
大?。?0 MB
記錄數(shù)量：25,000 個(gè)用于訓(xùn)練的高度兩極化的電影評(píng)論，25,000 個(gè)評(píng)論用于測(cè)試
SOTA：學(xué)習(xí)結(jié)構(gòu)化文本表示https://arxiv.org/abs/1705.09207
https://archive.ics.uci.edu/ml/datasets/Twenty Newsgroups
顧名思義，該數(shù)據(jù)集包含有關(guān)新聞組的信息。為了管理這個(gè)數(shù)據(jù)集，創(chuàng)建者從 20 個(gè)不同的新聞組中獲取了 1000 篇 Usenet 文章。這些文章具有典型的特征，如主題行、簽名和引用。
大?。?0 MB
記錄數(shù)量：來(lái)自 20 個(gè)新聞組的 20,000 條信息
SOTA：用于文本分類(lèi)的極深卷積網(wǎng)絡(luò)https://arxiv.org/abs/1606.01781
http://help.sentiment140.com/for-students/
Sentiment140 是一個(gè)可用于情感分析的數(shù)據(jù)集。作為一個(gè)流行的數(shù)據(jù)集，它可以幫你進(jìn)行一場(chǎng)完美的 NLP 旅程。數(shù)據(jù)中的情緒已經(jīng)被預(yù)先刪除，最終的數(shù)據(jù)集具有以下 6 個(gè)特征：
推文具有兩極分化性
推文 ID
推文日期
查詢(xún)
用戶(hù)名
推文文本
大?。?0 MB（壓縮）
記錄數(shù)量：160,000 條推文
SOTA：用最先進(jìn)的情緒模型數(shù)據(jù)集評(píng)估最新的情感數(shù)據(jù)集http://www.aclweb.org/anthology/W17-5202
https://wordnet.princeton.edu/
我們?cè)谏厦娴?ImageNet 數(shù)據(jù)集中提到，WordNet 是一個(gè)包含英文 Synsets（同義詞集合）的大型數(shù)據(jù)庫(kù)。 Synsets 是指描述不同的概念的同義詞的集合。WordNet 的結(jié)構(gòu)使其成為非常有用的 NLP 工具。
大?。?0 MB
記錄數(shù)量：通過(guò)少量“概念關(guān)系”將 117,000 個(gè)同義詞集與其他同義詞集相關(guān)聯(lián)。
SOTA：Wordnet：現(xiàn)狀和前景https://aclanthology.info/pdf/R/R11/R11-1097.pdf
https://www.yelp.com/dataset
這是 Yelp 為了學(xué)習(xí)目的而發(fā)布的一個(gè)開(kāi)源數(shù)據(jù)集。它由數(shù)百萬(wàn)用戶(hù)評(píng)論、商業(yè)屬性和來(lái)自多個(gè)大都市地區(qū)的超過(guò) 20 萬(wàn)張照片組成。此數(shù)據(jù)集是全球 NLP 挑戰(zhàn)賽常用的數(shù)據(jù)集。
大?。?.66 GB JSON，2.9 GB SQL 和 7.5 GB 的照片（全部壓縮）
記錄數(shù)：5,200,000 條評(píng)論，174,000 條商業(yè)屬性，20 萬(wàn)張照片和 11 個(gè)大都市區(qū)
SOTA：Attentive Convolutionhttps://arxiv.org/pdf/1710.00519.pdf
https://corpus.byu.edu/wiki/
該數(shù)據(jù)集是維基百科全文的集合。它包含來(lái)自 400 多萬(wàn)篇文章，將近 19 億字。這個(gè) NLP 數(shù)據(jù)集之所以強(qiáng)大，是因?yàn)槟憧梢酝ㄟ^(guò)單詞、短語(yǔ)或段落本身的一部分進(jìn)行搜索。
大?。?0 MB
記錄數(shù)：4,400,000 篇文章，19 億字
SOTA：打破 Softmax 瓶頸：高級(jí) RNN 語(yǔ)言模型https://arxiv.org/pdf/1711.03953.pdf
http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm
此數(shù)據(jù)集包含從 blogger.com 收集的數(shù)千名博主收集的博客帖子。每個(gè)博客都作為一個(gè)單獨(dú)的文件，至少包含 200 個(gè)常用英語(yǔ)單詞。
大?。?00 MB
記錄數(shù)：681,288 個(gè)帖子，超過(guò) 1.4 億字
SOTA：Character-level and Multi-channel Convolutional Neural Networks for Large-scale Authorship Attributionhttps://arxiv.org/pdf/1609.06686.pdf
http://statmt.org/wmt18/index.html
該數(shù)據(jù)集包含四種歐洲語(yǔ)言的訓(xùn)練數(shù)據(jù)，它的任務(wù)是改進(jìn)當(dāng)前的翻譯方法。你可以進(jìn)行以下語(yǔ)言互譯：
英漢互譯
英語(yǔ) - 捷克語(yǔ)互譯
英語(yǔ) - 愛(ài)沙尼亞語(yǔ)互譯
英語(yǔ) - 芬蘭語(yǔ)互譯
英德互譯
英語(yǔ) - 哈薩克語(yǔ)互譯
英俄互譯
英語(yǔ) - 土耳其語(yǔ)互譯
大?。?15 GB
記錄數(shù)量：約 30,000,000 個(gè)句子及其翻譯
SOTA：Attention Is All You Needhttps://arxiv.org/abs/1706.03762
這個(gè)數(shù)據(jù)集也是受 MNIST 數(shù)據(jù)集的啟發(fā)而創(chuàng)建的，以識(shí)別音頻樣本中的數(shù)字。這是一個(gè)開(kāi)放的數(shù)據(jù)集，所以希望隨著人們貢獻(xiàn)更多的樣本，它會(huì)不斷地增長(zhǎng)。目前，它包含以下特點(diǎn)：
3 個(gè)揚(yáng)聲器
1500 個(gè)錄音
英語(yǔ)發(fā)音
大?。?0 MB
記錄數(shù)量：1500 個(gè)音頻樣本
SOTA：使用采樣級(jí) CNN 架構(gòu)的基于原始波形的音頻分類(lèi)https://arxiv.org/pdf/1712.00866.pdf
https://github.com/mdeff/fma
FMA 是用于音樂(lè)分析的數(shù)據(jù)集。該數(shù)據(jù)集由全長(zhǎng)和 HQ 音頻，預(yù)先計(jì)算的特征以及音軌和用戶(hù)級(jí)元數(shù)據(jù)組成。它是一個(gè)開(kāi)源數(shù)據(jù)集，用于評(píng)估 MIR 中的幾個(gè)任務(wù)。以下是該數(shù)據(jù)集連同其包含的 csv 文件列表：
tracks.csv：每個(gè)曲目元數(shù)據(jù)，例如 ID，標(biāo)題，藝術(shù)家，流派，標(biāo)簽和播放次數(shù)，適用于所有 106,574 首曲目。
genres.csv：所有 163 種風(fēng)格的 ID 與其名稱(chēng)和 parent（用于推斷流派層次和頂級(jí)流派）。
features.csv：用 librosa 提取的常用特征。
echonest.csv：由 Echonest（現(xiàn)在的 Spotify）為 13,129 首音軌的子集提供的音頻功能。
大小：?1000 GB
記錄數(shù)量：約 100,000 個(gè)軌道
SOTA：學(xué)習(xí)從音頻中識(shí)別音樂(lè)風(fēng)格https://arxiv.org/pdf/1803.05337.pdf
http://mtg.upf.edu/ismir2004/contest/tempoContest/node5.html
該數(shù)據(jù)集包含舞曲音頻文件，以真實(shí)音頻格式進(jìn)行了許多舞蹈風(fēng)格的一些特征摘錄。以下是該數(shù)據(jù)集的一些特征：
樣本總數(shù)：698
持續(xù)時(shí)間：約 30 秒
總持續(xù)時(shí)間：約 20940 秒
大?。?4GB（壓縮）
記錄數(shù)量：約 700 個(gè)音頻樣本
SOTA：A Multi-Model Approach To Beat Tracking Considering Heterogeneous Music Styles
https://pdfs.semanticscholar.org/0cc2/952bf70c84e0199fcf8e58a8680a7903521e.pdf
百萬(wàn)歌曲數(shù)據(jù)集（Million Song Dataset）
https://labrosa.ee.columbia.edu/millionsong/
百萬(wàn)歌曲數(shù)據(jù)集是一個(gè)包含一百萬(wàn)首當(dāng)代流行音樂(lè)曲目的免費(fèi)音頻特征和元數(shù)據(jù)集合。其目的是：
鼓勵(lì)對(duì)達(dá)到商業(yè)規(guī)模的算法進(jìn)行研究
為評(píng)估研究提供參考數(shù)據(jù)集
作為使用 API 創(chuàng)建大型數(shù)據(jù)集的捷徑（例如 The Echo Nest）
幫助新手研究人員入門(mén) MIR 領(lǐng)域
該數(shù)據(jù)集的核心是一百萬(wàn)首歌曲的特征分析和元數(shù)據(jù)，它不包含任何音頻，只包含派生的功能。示例音頻可以通過(guò)使用哥倫比亞大學(xué)提供的代碼從 7digital 等服務(wù)中獲取。
大?。?80 GB
記錄數(shù)量：一百萬(wàn)首歌曲！
SOTA：Preliminary Study on a Recommender System for the Million Songs Dataset Challengehttp://www.ke.tu-darmstadt.de/events/PL-12/papers/08-aiolli.pdf
http://www.openslr.org/12/
該數(shù)據(jù)集是包含約 1000 小時(shí)時(shí)長(zhǎng)英語(yǔ)語(yǔ)音的大型語(yǔ)料庫(kù)。這些數(shù)據(jù)來(lái)自 LibriVox 項(xiàng)目的有聲讀物，已被合理分割并分配。如果你想找一個(gè)起點(diǎn)，請(qǐng)查看在 kaldi-asr.org 上訓(xùn)練好的聲學(xué)模型和語(yǔ)言模型，而 http://www.openslr.org/11/ 適用于評(píng)估。
大?。?60 GB
記錄數(shù)：1000 小時(shí)的語(yǔ)音
SOTA：Letter-Based Speech Recognition with Gated ConvNetshttps://arxiv.org/abs/1712.09444
http://www.robots.ox.ac.uk/~vgg/data/voxceleb/
VoxCeleb 是一個(gè)大型的語(yǔ)音識(shí)別數(shù)據(jù)集。它包含從 YouTube 視頻上收集的 1,251 位名人的約 10 萬(wàn)條語(yǔ)音。數(shù)據(jù)大致是性別均衡的（男性占 55％）。這些名人的口音、職業(yè)和年齡千差萬(wàn)別，開(kāi)發(fā)和測(cè)試集之間沒(méi)有重疊。識(shí)別出這些聲音屬于哪位明星可能是一個(gè)有趣的嘗試。
大?。?50 MB
記錄數(shù)：1,251 位名人的 100,000 條語(yǔ)音
SOTA：VoxCeleb: a large-scale speaker identification datasethttps://www.robots.ox.ac.uk/~vgg/publications/2017/Nagrani17/nagrani17.pdf
為了你們更好地訓(xùn)練，我們做了一份現(xiàn)實(shí)生活中會(huì)遇到的問(wèn)題的列表。在這部分，我們列出了在我們的 DataHack 平臺(tái)上遇到的深度學(xué)習(xí)實(shí)踐問(wèn)題。
https://datahack.analyticsvidhya.com/contest/practice-problem-twitter-sentiment-analysis/
以種族主義和性別歧視為形式的仇恨言論已成為 twitter 的麻煩，把這類(lèi)推文與其他人隔離是很重要的工作。在這個(gè)實(shí)踐問(wèn)題中，我們提供了既包含正常又有仇恨推言論文的 Twitter 數(shù)據(jù)。作為數(shù)據(jù)科學(xué)家，你的任務(wù)是確定哪些推文是仇恨推文，哪些不是。
大?。? MB
記錄數(shù)量：31,962 條推文
https://datahack.analyticsvidhya.com/contest/practice-problem-age-detection/
對(duì)于所有深度學(xué)習(xí)愛(ài)好者來(lái)說(shuō)，這是一個(gè)令人著迷的挑戰(zhàn)。該數(shù)據(jù)集包含數(shù)千個(gè)印度演員的圖像，你的任務(wù)是確定他們的年齡。所有圖像都是手動(dòng)從視頻幀中剪切的，這導(dǎo)致演員的姿勢(shì)、表情、光照、年齡、分辨率、遮擋和妝容的高度不確定性。
大?。?8 MB（壓縮）
記錄數(shù)：訓(xùn)練集中的 19,906 幅圖像和測(cè)試集中的 6636 幅圖像
SOTA：深度學(xué)習(xí)——年齡檢測(cè)問(wèn)題的解決方案https://www.analyticsvidhya.com/blog/2017/06/hands-on-with-deep-learning-solution-for-age-detection-practice-problem/
https://datahack.analyticsvidhya.com/contest/practice-problem-urban-sound-classification/
這個(gè)數(shù)據(jù)集包含超過(guò) 8000 個(gè)、10 種類(lèi)別的來(lái)自城市的聲音片段，旨在介紹常見(jiàn)的音頻處理分類(lèi)方法。
大?。河?xùn)練集 3GB（壓縮），測(cè)試集 2 GB（壓縮）
記錄數(shù)量：來(lái)自 10 個(gè)種類(lèi)的 8732 個(gè)來(lái)自城市的標(biāo)注聲音片段（<= 4s）
原文鏈接：https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/
如果你喜歡這篇文章，記得給我們留個(gè)言點(diǎn)個(gè)贊，給編輯小哥哥小姐姐們鼓勵(lì)一下吧！
聯(lián)系客服
