开心六月综合激情婷婷|欧美精品成人动漫二区|国产中文字幕综合色|亚洲人在线成视频

ICML 2019最佳論文新鮮出爐！

今日，國際機器學(xué)習(xí)頂會ICML 2019于美國長灘市公布了本屆大會最佳論文結(jié)果：

本屆ICML兩篇最佳論文分別是：

• 《挑戰(zhàn)無監(jiān)督解耦表示中的常見假設(shè)》，來自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦；

• 《稀疏高斯過程回歸變分的收斂速度》，來自英國劍橋大學(xué)。
  

除此之外，大會還公布了七篇獲得提名獎(Honorable Mentions)論文。

據(jù)了解，今年ICML共提交3424篇論文，其中錄取774篇，論文錄取率為22.6%。錄取率較去年ICML 2018的25%有所降低。

論文錄取結(jié)果地址：

https://icml.cc/Conferences/2019/AcceptedPapersInitial?fbclid=IwAR0zqRJfPz2UP7dCbZ8Jcy7MrsedhasX13ueqkKl934EsksuSj3J2QrrRAQ

提交論文最多的子領(lǐng)域分別是：深度學(xué)習(xí)、通用機器學(xué)習(xí)、強化學(xué)習(xí)、優(yōu)化等

第一篇最佳論文的作者來自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦。

論文標題：挑戰(zhàn)無監(jiān)督解耦表示中的常見假設(shè)

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem

論文地址：

http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf

這是一篇大規(guī)模深入研究無監(jiān)督解耦表示(Disentangled Representation)的論文，對近年來絕大多數(shù)的非監(jiān)督解耦表示方法進行了探索、利用 2.5GPU 年的算力在 7 個數(shù)據(jù)集上訓(xùn)練了 12000 多個模型?；诖笠?guī)模的實驗結(jié)果，研究人員對這一領(lǐng)域的一些假設(shè)產(chǎn)生了質(zhì)疑，并為解耦學(xué)習(xí)的未來發(fā)展方向給出了建議。此外，研究人員還同時發(fā)布了研究中所使用的代碼和上萬個預(yù)訓(xùn)練模型，并封裝了 disentanglement_lib 供研究者進行實驗復(fù)現(xiàn)和更深入的探索。

論文摘要

無監(jiān)督學(xué)習(xí)解耦表示背后的關(guān)鍵思想是，真實世界數(shù)據(jù)是由一些變量的解釋因子生成的，這些因子可以通過無監(jiān)督學(xué)習(xí)算法恢復(fù)。在本文中，我們認真回顧了該領(lǐng)域的最新進展，并對一些常見假設(shè)提出挑戰(zhàn)。

我們首先從理論上證明，如果沒有對模型和數(shù)據(jù)的歸納偏置，解耦表示的無監(jiān)督學(xué)習(xí)基本上是不可能的。然后，我們在7個不同數(shù)據(jù)集上訓(xùn)練了超過12000個模型，涵蓋了最重要的方法和評估指標，進行了可重復(fù)的大規(guī)模實驗研究。

我們觀察到，雖然不同的方法都成功地執(zhí)行了相應(yīng)損失“鼓勵”的屬性，但如果沒有監(jiān)督，似乎無法識別出良好解耦的模型。此外，增加解耦似乎不會降低下游任務(wù)學(xué)習(xí)的樣本復(fù)雜度。

我們的研究結(jié)果表明，未來關(guān)于解耦學(xué)習(xí)的工作應(yīng)該明確歸納偏見和(隱式)監(jiān)督的作用，研究強制解耦學(xué)習(xí)表示的具體好處，并考慮覆蓋多個數(shù)據(jù)集的可重復(fù)的實驗設(shè)置。

本文從理論和實踐兩方面對這一領(lǐng)域中普遍存在的一些假設(shè)提出了挑戰(zhàn)。本研究的主要貢獻可概括如下:

• 我們在理論上證明，如果沒有對所考慮的學(xué)習(xí)方法和數(shù)據(jù)集產(chǎn)生歸納偏置，那么解耦表示的無監(jiān)督學(xué)習(xí)基本上是不可能的。

• 我們在一項可重復(fù)的大規(guī)模實驗研究中研究了當前的方法及其歸納偏置，該研究采用了完善的無監(jiān)督解耦學(xué)習(xí)實驗方案。我們實現(xiàn)了六種最新的無監(jiān)督解耦學(xué)習(xí)方法以及六種從頭開始的解耦方法，并在七個數(shù)據(jù)集上訓(xùn)練了超過12000個模型。

• 我們發(fā)布了disentanglement_lib，這是一個用于訓(xùn)練和評估解耦表示的新庫。由于復(fù)制我們的結(jié)果需要大量的計算工作，我們還發(fā)布了超過10000個預(yù)訓(xùn)練的模型，可以作為未來研究的基線。

• 我們分析實驗結(jié)果，并挑戰(zhàn)了無監(jiān)督解耦學(xué)習(xí)中的一些共識：

(i)雖然所有考慮的方法都證明有效確保聚合后驗的各個維度不相關(guān)，我們觀察到的表示維度是相關(guān)的

(ii)由于random seeds和超參數(shù)似乎比模型選擇更重要，我們沒有發(fā)現(xiàn)任何證據(jù)表明所考慮的模型可以用于以無監(jiān)督的方式可靠地學(xué)習(xí)解耦表示。此外，如果不訪問ground-truth標簽，即使允許跨數(shù)據(jù)集傳輸良好的超參數(shù)值，似乎也無法識別良好訓(xùn)練的模型。

(iii)對于所考慮的模型和數(shù)據(jù)集，我們無法驗證以下假設(shè)，即解耦對于下游任務(wù)是有用的，例如通過降低學(xué)習(xí)的樣本復(fù)雜性。

• 基于這些實證證據(jù)，我們提出了進一步研究的三個關(guān)鍵領(lǐng)域：

(i)歸納偏置的作用以及隱性和顯性監(jiān)督應(yīng)該明確：無監(jiān)督模型選擇仍然是一個關(guān)鍵問題。

(ii) 應(yīng)證明強制執(zhí)行學(xué)習(xí)表示的特定解耦概念的具體實際好處。

(iii) 實驗應(yīng)在不同難度的數(shù)據(jù)集上建立可重復(fù)的實驗設(shè)置。

第二篇最佳論文來自英國劍橋大學(xué)。

論文標題：《稀疏高斯過程回歸變分的收斂速度》

Rates of Convergence for Sparse Variational Gaussian Process Regression

作者：DavidR. Burt¹，Carl E. Rasmussen¹，Mark van der Wilk²

arXiv地址：

https://arxiv.org/pdf/1903.03571.pdf

論文摘要

自從許多研究人提出了對高斯過程后驗的變分近似法后，避免了數(shù)據(jù)集大小為N時 O(N³) 的縮放。它們將計算成本降低到O(NM²)，其中M≤N是誘導(dǎo)變量的數(shù)量。雖然N的計算成本似乎是線性的，但算法的真正復(fù)雜性取決于M如何增加以確保一定的近似質(zhì)量。

研究人員通過描述KL向后發(fā)散的上界行為來解決這個問題。證明了在高概率下，M的增長速度比N慢， KL的發(fā)散度可以任意地減小。

一個特別有趣的例子是，對于具有D維度的正態(tài)分布輸入的回歸，使用流行的 Squared Exponential 核M就足夠了。 研究結(jié)果表明，隨著數(shù)據(jù)集的增長，高斯過程后驗可以真正近似地逼近，并為如何在連續(xù)學(xué)習(xí)場景中增加M提供了具體的規(guī)則。

總結(jié)

研究人員證明了稀疏GP回歸變分近似到后驗變分近似的KL發(fā)散的界限，該界限僅依賴于先驗核的協(xié)方差算子的特征值的衰減。

這些邊界證明了直觀的結(jié)果，平滑的核、訓(xùn)練數(shù)據(jù)集中在一個小區(qū)域，允許高質(zhì)量、非常稀疏的近似。這些邊界證明了用M≤N進行真正稀疏的非參數(shù)推理仍然可以提供可靠的邊際似然估計和點后驗估計。

對非共軛概率模型的擴展，是未來研究的一個有前景的方向。

除了最佳論文外，本次大會還公布了7篇獲得榮譽獎的論文。

Analogies Explained: Towards Understanding Word Embeddings

作者：CarlAllen¹，Timothy Hospedales¹ ，來自愛丁堡大學(xué)。

論文地址：https://arxiv.org/pdf/1901.09813.pdf

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

作者：Po-WeiWang¹，Priya L. Donti^{1 2}，Bryan Wilder³，Zico Kolter^{1 4}，分別來自卡耐基梅隆大學(xué)、南加州大學(xué)、Bosch Center for Artificial Intelligence。  

論文地址：https://arxiv.org/pdf/1905.12149.pdf

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

作者：Umut ?im?ekli^?，L, event Sagun^?, Mert Gürbüzbalaban^?，分別來自巴黎薩克雷大學(xué)、洛桑埃爾科爾理工大學(xué)、羅格斯大學(xué)。

論文地址：https://arxiv.org/pdf/1901.06053.pdf

Towards A Unified Analysis of Random Fourier Features

作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic，分別來自牛津大學(xué)、倫敦國王學(xué)院。

論文地址：https://arxiv.org/pdf/1806.09178.pdf

Amortized Monte Carlo Integration

作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth，分別來自牛津大學(xué)和英屬哥倫比亞大學(xué)。

論文地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas，分別來自MIT媒體實驗室、DeepMind和普林斯頓大學(xué)。

論文地址：https://arxiv.org/pdf/1810.08647.pdf

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

作者：Wouter Kool, Herke van Hoof, Max Welling，分別來自荷蘭阿姆斯特丹大學(xué)，荷蘭ORTEC和加拿大高等研究所(CIFAR)。

論文地址：https://arxiv.org/pdf/1903.06059.pdf

本次大會還統(tǒng)計了收錄論文的領(lǐng)域分布情況：

提交論文最多的子領(lǐng)域分別是：深度學(xué)習(xí)、通用機器學(xué)習(xí)、強化學(xué)習(xí)、優(yōu)化等。

而早在上個月，Reddit網(wǎng)友就發(fā)表了他和他的公司對本次ICML 2019論文錄取情況的統(tǒng)計結(jié)果。

地址：

https://www.reddit.com/r/MachineLearning/comments/bn82ze/n_icml_2019_accepted_paper_stats/

今年，在所有錄取的論文中，谷歌無疑成為了最大贏家。

錄取論文總數(shù)排名(按研究所)

上表顯示了以研究所(包括產(chǎn)業(yè)界和學(xué)術(shù)界)為單位，錄取論文總數(shù)的排名。這項統(tǒng)計中至少有一位作者隸屬于某研究所，因此一篇論文可以出現(xiàn)多次且隸屬多個研究所。

排名地址：

https://i.redd.it/wdbw91yheix21.png

其中，藍色代表論文總數(shù)，綠色和紅色分別代表第一作者和通訊作者參與錄取論文的論文數(shù)量。并且，附屬機構(gòu)是手動合并到研究所的，例如Google Inc.、Google AI、Google UK都將映射到Google。

可以看到谷歌錄取論文的數(shù)量遠超其它研究所，位列第一；緊隨其后的是MIT、伯克利、谷歌大腦、斯坦福、卡內(nèi)基梅隆以及微軟。

作者還分別根據(jù)學(xué)界和產(chǎn)業(yè)界進行了統(tǒng)計Top 50排名。

排名統(tǒng)計可視化地址：

https://i.redd.it/37hxhsmfzix21.png

在學(xué)界排名中，MIT、加州伯克利分校、斯坦福和卡內(nèi)基梅隆奪冠前四，成為本屆錄取論文數(shù)的第一梯隊，且與第二梯隊拉開了一定差距。

國內(nèi)上榜的院校包括清華大學(xué)、北京大學(xué)、南京大學(xué)、香港中文大學(xué)。

排名可視化地址：

https://i.redd.it/wa6kjzmhzix21.png

在企業(yè)研究所Top 50排名中，谷歌無疑成為最大贏家：谷歌、谷歌大腦和谷歌DeepMind分別取得第一、第二和第四的好成績。微軟、Facebook和IBM成績也較優(yōu)異，位居第三、第五和第六。

而對于國內(nèi)企業(yè)，騰訊(Tencent)成績較好，位居第八名。

此外，從本屆ICML 2019錄取論文情況來看，還可以得到如下統(tǒng)計：

• 452篇論文（58.4％）純屬學(xué)術(shù)研究；

• 60篇論文（7.8％）來自工業(yè)研究機構(gòu)；

• 262篇論文（33.9％）作者隸屬于學(xué)術(shù)界和工業(yè)界。

總結(jié)上述的統(tǒng)計，我們可以得到如下結(jié)果：

• 77%的貢獻來自學(xué)術(shù)界；

• 23%的貢獻來自產(chǎn)業(yè)界。

參考鏈接：

https://icml.cc/Conferences/2019/ScheduleMultitrack?event=5268

https://twitter.com/CambridgeMLG/status/1138481294965387264

https://www.reddit.com/r/MachineLearning/comments/bn82ze/n_icml_2019_accepted_paper_stats/

https://icml.cc/Conferences/2019/AcceptedPapersInitial