說五個關(guān)鍵詞，你會想到誰？
花書作者，2018年圖靈獲獎?wù)?，銀灰卷發(fā)，theano，MILA，你心中的答案會是Yoshua Bengio么？
關(guān)于他的故事，且聽我細(xì)細(xì)道來。
作者&編輯 | 小滿&言有三
一頭銀灰相間的卷發(fā)，一對漫畫式的粗眉，思考時頻頻上揚，微笑時又極具表現(xiàn)力，他就是今天的主人公——Yoshua Bengio。
1 30秒了解Yoshua Bengio
Yoshua Bengio（約書亞·本吉奧）因深度學(xué)習(xí)工作與Geoffrey Hinton和Yann LeCun共同分享了2018年圖靈獎，被公認(rèn)為世界領(lǐng)先的AI專家和深度學(xué)習(xí)先驅(qū)。1964年，出生在法國巴黎，和Lecun童年生活在同一個城市的不同角落，現(xiàn)與Hinton一樣選擇生活在加拿大，擁有加拿大CIFAR AI主席一職。
Bengio大學(xué)就讀于麥吉爾大學(xué)“計算機工程學(xué)”專業(yè)，1986-1991年繼續(xù)修“計算機科學(xué)“到博士畢業(yè)，隨后一段時間在麻省理工學(xué)院做博士后研究員，1992年到美國AT&T貝爾實驗室LeCun小組做學(xué)習(xí)和視覺算法研究工作。
1993年起，他一直在蒙特利爾大學(xué)教書育人，負(fù)責(zé)計算機科學(xué)與運籌學(xué)方向。他也是蒙特利爾學(xué)習(xí)算法研究所（MILA）創(chuàng)始人和科學(xué)主任。MILA，一家獨立的非營利組織，世界上最大的深度學(xué)習(xí)研究小組，擁有來自地球上很多公司和AI創(chuàng)業(yè)公司的研究實驗室。
2 代表性研究論文
1、LeNet5卷積神經(jīng)網(wǎng)絡(luò)提出：LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
2、NLP模型：Bengio Y, Ducharme R, Vincent P, et al. A neural probabilistic language model[J]. Journal of machine learning research, 2003, 3(Feb): 1137-1155.
3、逐層訓(xùn)練方法：Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[C]//Advances in neural information processing systems. 2007: 153-160.
4、AI架構(gòu)：Bengio Y. Learning deep architectures for AI[J]. Foundations and trends? in Machine Learning, 2009, 2(1): 1-127.
5、Stacked denoising autoencoders提出：Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(Dec): 3371-3408.
6、Xavier初始化：Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.
7、ReLU激活函數(shù)使用：Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.
8、Theano框架：Bastien F, Lamblin P, Pascanu R, et al. Theano: new features and speed improvements[J]. arXiv preprint arXiv:1211.5590, 2012.
9、RNN訓(xùn)練問題：Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks[C]//International conference on machine learning. 2013: 1310-1318.
10、Maxout激活函數(shù)：Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.
11、生成對抗網(wǎng)絡(luò)GAN：Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.
12、機器翻譯：Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.
13、二值神經(jīng)網(wǎng)絡(luò)：Courbariaux M, Bengio Y, David J P. Binaryconnect: Training deep neural networks with binary weights during propagations[C]//Advances in neural information processing systems. 2015: 3123-3131.
14、三巨頭深度學(xué)習(xí)綜述：LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436.
15、image caption與attention： Xu K, Ba J, Kiros R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]//International conference on machine learning. 2015: 2048-2057.
16、深度學(xué)習(xí)教材：Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.
17、語音生成：Sotelo J, Mehri S, Kumar K, et al. Char2wav: End-to-end speech synthesis[J]. 2017.
Yoshua Bengio總的論文引用量為170000+，學(xué)術(shù)研究一直都很活躍，隨著深度學(xué)習(xí)持續(xù)火熱，引用量近幾年大幅度增加。
所有的論文，在以下GitHub項目中可以獲取，或者給公眾號發(fā)送關(guān)鍵詞消息“Bengio”，即可獲得下載鏈接。
https://github.com/longpeng2008/Awesome_DNN_Researchers
3 代表性個人成就
2009年ACFAS Urgel-Archambault獎
2017年加拿大勛章官員
2017加拿大皇家學(xué)會會員
2018加拿大AI協(xié)會終身成就獎
2018年圖靈獎
2019年Killam計算機科學(xué)獎
2019IEEE CIS神經(jīng)網(wǎng)絡(luò)先鋒獎，IEEE計算智能學(xué)會
4 AI修行，兄弟伴我左右
4.1、如有巧合，那一定是兄弟
上圖兩位AI大咖相似度99%，有沒有？
沒錯，一個普通家庭誕生了兩位成功的AI計算機科學(xué)家，Samy Bengio（Google Brain的機器學(xué)習(xí)科學(xué)家）與Yoshua Bengio。
Bengio兄弟倆出生在法國巴黎，沒有類似Hinton的學(xué)閥家族背景，父母是嬉皮士，從小就隨父母到處搬家。曾因父親服兵役的原因，1977年時搬家到了父母的出生地北非摩洛哥生活了一段時間，又因戰(zhàn)爭舉家搬回了法國生活了幾年，不久后移民到加拿大，開啟了新生活。輾轉(zhuǎn)幾次搬家，走過了世界的很多角落，父母為兄弟倆種下了人文主義的種子。Yoshua Bengio說：他有責(zé)任照顧生活在發(fā)展中國家的人。
4.2、興趣是最好的導(dǎo)師
Yoshua Bengio回憶在青少年時期，兄弟倆曾努力攢錢買下了，生命中第一臺共同小型計算機Atari 800，從此打開了計算機興趣的大門。他們用Basic語言編程，還將程序保存在磁帶上，那時軟盤還沒有出世。兄弟倆在大學(xué)期間都選擇了與計算機相關(guān)的專業(yè)，Yoshua在麥吉爾大學(xué)選擇了計算機工程，Samy在蒙特利爾大學(xué)修計算機科學(xué)。
短暫的分別后兄弟倆因“神經(jīng)網(wǎng)絡(luò)”又重新粘合到一起。研究生期間，接觸了AI教父Hinton有關(guān)深度學(xué)習(xí)理論的論文加上《平行分布處理》一書的上市，讓Yoshua瘋狂的愛上了AI和神經(jīng)網(wǎng)絡(luò)，激動地為Samy介紹，并開始了深度學(xué)習(xí)的博士研究。
兄弟二人在很少學(xué)者研究的領(lǐng)域中一起執(zhí)著著自己的眼光，“我當(dāng)時覺得其他人都是錯的，只有我是對的”，當(dāng)在AI低潮期時，兩人在相同的領(lǐng)域堅持著了各自的研究。幸運的是，加拿大政府幾十年一直投入基于好奇心的研究基金，即使在AI寒冬，也可以保證研究的"溫飽"，加上加拿大CIFAR最終確定下來的支持網(wǎng)絡(luò)，從心理上幫助Bengio兄弟二人專注選擇的方向。與Hinton一樣，選擇加拿大，因為CIFAR與自由。蒙特利爾大學(xué)和麥吉爾大學(xué)官宣有1500名AI研究員，人才集中度高于世界上任何其他地方。
4.3、短暫的分別，是為AI更好的發(fā)展
1999年到2007年，Samy選擇到瑞士做神經(jīng)網(wǎng)絡(luò)研究科學(xué)家，那里滿足他對深度學(xué)習(xí)的繼續(xù)探索，收獲了資助和博士生，身在異國，接觸著不同的學(xué)者，兄弟倆一直研究著共同的領(lǐng)域。有趣的是，他們有一位共同的博士生，先是在Samy下面做研究生，后轉(zhuǎn)到了Yoshua那里，后又跟著Samy一同做博士生。
2007年后，Samy加入了Google，也是兄弟倆研究生涯最重要的時刻，在Google，Samy獲取了更多數(shù)據(jù)和更高的計算機水平，輔助解決更大的機器學(xué)習(xí)模型。另一邊Yoshua一直在加拿大發(fā)展，并直言不加入工業(yè)界，他認(rèn)為AI人才流入大科技公司會阻礙這一領(lǐng)域的學(xué)術(shù)研究。一次采訪時，Yoshua說：“科技公司挖走了很多人才，造成了學(xué)術(shù)界人才短缺。對那些公司來說有好處，但對學(xué)術(shù)研究來說不是件好事。我能為全人類作貢獻(xiàn)，而不是為某一個公司賺錢?！?/p>
Google有Hinton，Lecun在Facebook，雖然Yoshua也擔(dān)任了幾家類似三星的企業(yè)學(xué)術(shù)顧問，但他更多的精力還是耕耘在學(xué)術(shù)界。你很少看到他為商業(yè)事件公開露面。很多學(xué)生都聽過Yoshua的課程，看過不少他的文章，眾所周知，牛人講課認(rèn)認(rèn)真真、實實在在、深入淺出，不灌水，不trick，簡直就是AI界的一股清流！
Yoshua想保留絕大多數(shù)精力去發(fā)展他創(chuàng)建的MILA和蒙特利爾的AI生態(tài)系統(tǒng)，想通過他的研究和對學(xué)生的輔導(dǎo)更直接地為公共利益做出貢獻(xiàn)。
5 年齡雖小，但貢獻(xiàn)不少
5.1、Bengio與AI界人物關(guān)系
論資排輩，自然是Hinton>Lecun>Bengio，還記得之前提到的AI鼻祖Hinton門下徒子徒孫遍地，AI界許多大神都和他有著千絲萬縷的關(guān)系，以下有個簡單的人物關(guān)系網(wǎng)。
Lecun是Hinton的博士后，當(dāng)年與美國飛人喬丹同名的學(xué)者M(jìn)icheal Jordan一心想去Hinton門下讀博士后卻被婉拒，在麻省理工學(xué)院時Bengio又是Jordan的得意門生，隨后Bengio在貝爾實驗室與LeCun成為同事。Hugo Larochelle在Bengio下面讀的博士，后成為Hinton的博士后；LeCun的一位博士生MarcAurelio Ranzato，后也成為的Hinton的博士后。不禁感嘆，貴圈不大，牛人總是帶著牛人走。
5.2、打響NLP第一槍
世界上數(shù)學(xué)最好的國家是美國么？不，法國人相對美國人的人口總數(shù)少很多很多，但歷史上出名的數(shù)學(xué)家與美國出名的數(shù)學(xué)家數(shù)量相當(dāng)。法國囊括52枚數(shù)學(xué)界最高獎項菲爾茨獎中的11枚，美國獲得了12枚。從小生活在法國的Bengio，有著高度抽象思維能力，為以后的發(fā)展埋下了很深的種子。
Bengio的一篇“A neural probabilistic language model”論文開創(chuàng)了神經(jīng)網(wǎng)絡(luò)語言模型的先河。其整體思路影響、啟發(fā)了之后的很多基于神經(jīng)網(wǎng)絡(luò)做NLP的paper，在工業(yè)界也得到了廣泛使用，還有梯度消失（gradient vanishing）的細(xì)致分析，word2vec的雛形，以及現(xiàn)很火的計算機翻譯（machine translation）都有Bengio的貢獻(xiàn)。
5.3、Theano的開發(fā)
Theano發(fā)于MILA，由Yoshua Bengio帶領(lǐng)了一大批高水平學(xué)生開發(fā)了這個優(yōu)化編譯器，用于操作和評估數(shù)學(xué)表達(dá)式，尤其是矩陣值表達(dá)式，符號計算圖的思想同樣來自于Theano。盡管它已停止發(fā)布，但這個庫啟發(fā)了之后多個庫的開發(fā)，直接基于它的庫有Keras，MXnet，Google的TensorFlow以及Berkeley的CGT等，可以說在同類型庫中是當(dāng)之不愧的鼻祖。
5.4、ICLR的創(chuàng)辦
ICLR是一種嶄新的會議形式，號稱“深度學(xué)習(xí)的頂級會議”。由Bengio與LeCun牽頭創(chuàng)辦創(chuàng)建，出發(fā)點就是希望能為深度學(xué)習(xí)提供一個專業(yè)化的交流平臺。之所以成為炙手可熱的無冕之王，并不只是因為創(chuàng)辦者的能量光環(huán)，最重要的原因它是Open Review的評審機制，任何論文都會公開姓名等信息，任何學(xué)者都可或匿名或?qū)嵜卦u價論文，開啟了公開透明的先河。自2013成立以來，已發(fā)出很多高質(zhì)量文章，可以說代表了深度學(xué)習(xí)最前沿的研究。這個會議，很Bengio！
Bengio在AI領(lǐng)域一直堅持不懈地做著自己堅信的東西，熬過了神經(jīng)網(wǎng)絡(luò)的凄風(fēng)冷雨，與Hinton、Lecun等人一同打造出了深度學(xué)習(xí)的今天。
AI江湖上稱Hinton是AI教主，始作俑者，開創(chuàng)先河；
Lecun是獨行俠，負(fù)責(zé)東搞西搞，工業(yè)學(xué)術(shù)兩不耽誤；
Bengio是金牌打手，堅守學(xué)術(shù)界陣地，做理論實驗支持。
三位大佬各具魅力，下一次還想我來扒哪位?
直播預(yù)告
有三AI紀(jì)念版撲克牌
今日網(wǎng)絡(luò)結(jié)構(gòu)
今日看圖猜技術(shù)
有三AI生態(tài)
轉(zhuǎn)載文章請后臺聯(lián)系
侵權(quán)必究
