來源 | 專知
所有著名的機器學(xué)習(xí)算法包括監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)，只有在一個共同的假設(shè)下才能很好地有效: 訓(xùn)練和測試數(shù)據(jù)遵循相同的分布。當(dāng)分布發(fā)生變化時，大多數(shù)統(tǒng)計模型必須從新收集的數(shù)據(jù)中重新構(gòu)建，對于某些應(yīng)用程序，這些數(shù)據(jù)可能是昂貴的或不可能獲得的。因此，有必要開發(fā)一種方法，通過利用相關(guān)領(lǐng)域的可用數(shù)據(jù)并在類似領(lǐng)域進一步使用它來減少獲取新標(biāo)記樣本的需要和工作量。這催生了一種新的機器學(xué)習(xí)框架，稱為“遷移學(xué)習(xí)”(transfer learning):這是一種學(xué)習(xí)環(huán)境，其靈感來自于人類在不同任務(wù)間推斷知識以提高學(xué)習(xí)效率的能力。盡管有大量不同的遷移學(xué)習(xí)場景，本綜述的主要目的是提供一個特定的、可以說是最流行的遷移學(xué)習(xí)子領(lǐng)域——領(lǐng)域自適應(yīng)——最新理論結(jié)果的概述。在這個子領(lǐng)域中，假設(shè)在訓(xùn)練和測試數(shù)據(jù)之間的數(shù)據(jù)分布是變化的，而學(xué)習(xí)任務(wù)是不變的。我們提供了一個關(guān)于領(lǐng)域適應(yīng)問題的現(xiàn)有結(jié)果的最新描述，它涵蓋了基于不同統(tǒng)計學(xué)習(xí)框架的學(xué)習(xí)范圍。https://arxiv.org/abs/2004.11829遷移學(xué)習(xí)背后的思想是由人類的學(xué)習(xí)能力所激發(fā)的，這種學(xué)習(xí)能力是在很少或沒有監(jiān)督的情況下根據(jù)先前獲得的知識進行的。毫不奇怪，這個概念并沒有在機器學(xué)習(xí)領(lǐng)域中被發(fā)明出來，因為“學(xué)習(xí)的轉(zhuǎn)移”這個概念在第一臺計算機出現(xiàn)之前就已經(jīng)被使用了，并且在20世紀(jì)早期的心理學(xué)領(lǐng)域的論文中也有出現(xiàn)。從統(tǒng)計的角度來看，這種學(xué)習(xí)場景不同于監(jiān)督學(xué)習(xí)，因為前者不假設(shè)訓(xùn)練和測試數(shù)據(jù)必須來自相同的概率分布。有人認為，這種假設(shè)在實踐中往往過于嚴(yán)格，因為在許多現(xiàn)實世界的應(yīng)用中，假設(shè)是在不同的環(huán)境中學(xué)習(xí)和部署的，并顯示出一個重要的轉(zhuǎn)變。在遷移移學(xué)習(xí)中經(jīng)常使用的一個典型例子是考慮一個垃圾郵件過濾任務(wù)，其中垃圾郵件過濾器是使用給定用戶的公司郵箱的任意分類算法來學(xué)習(xí)的。在這種情況下，由算法分析的絕大多數(shù)電子郵件很可能是專業(yè)性質(zhì)的，其中很少涉及被考慮的人的私人生活。再進一步設(shè)想這樣一種情況:同一用戶在個人計算機上安裝了郵箱軟件，并導(dǎo)入其公司郵箱的設(shè)置，希望它也能在其上正常工作。然而，這是不可能的，因為許多個人電子郵件可能看起來像垃圾郵件的算法學(xué)習(xí)純粹的專業(yè)通信，由于他們的內(nèi)容和附件文件的差異，以及電子郵件地址的不一致性。另一個說明性的例子是海洋學(xué)研究中的物種分類，在這種分類中，人們依靠對某一海域的視頻覆蓋來識別海洋棲息地的物種。例如，在地中海和印度洋，可以在錄像中找到的魚類很可能屬于同一科，盡管由于不同的氣候和進化背景，它們的實際外觀可能非常不同。在這種情況下，如果沒有專家的專門調(diào)整，在地中海視頻覆蓋上訓(xùn)練的學(xué)習(xí)算法很可能無法提供印度洋物種的正確分類。在這種應(yīng)用中，我們可能希望找到一種學(xué)習(xí)范式，這種學(xué)習(xí)范式能夠保持對不斷變化的環(huán)境的魯棒性，并通過類比和利用最初學(xué)習(xí)領(lǐng)域的知識來適應(yīng)手邊的新問題。為了解決這個問題，對新的算法的探索，能夠在一個訓(xùn)練樣本上學(xué)習(xí)，然后在一個測試樣本上有一個良好的表現(xiàn)，來自一個不同但相關(guān)的概率分布，從而產(chǎn)生了一個新的學(xué)習(xí)范式，稱為遷移學(xué)習(xí)。它的定義如下：表1: 本綜述中關(guān)于領(lǐng)域適應(yīng)的學(xué)習(xí)范圍的貢獻總結(jié)。(任務(wù))是指所考慮的學(xué)習(xí)問題;(框架)指定分析中使用的統(tǒng)計學(xué)習(xí)框架;(散度)是用來比較源分布和目標(biāo)分布的度量;(Link)表示源誤差與散度項之間的依賴關(guān)系;(Non-estim)表示在界限中存在一個不可估計的項。
在本篇綜述中，我們對領(lǐng)域自適應(yīng)問題的現(xiàn)有理論進行了概述，這種學(xué)習(xí)設(shè)置擴展了傳統(tǒng)的學(xué)習(xí)范式，使模型可以在來自不同但相關(guān)的概率分布的樣本上學(xué)習(xí)和部署。所引用的理論結(jié)果通常采取一種學(xué)習(xí)邊界的形式，其目標(biāo)是將一個模型在訓(xùn)練(也稱為源)域上的錯誤與測試(也稱為目標(biāo))域上的錯誤聯(lián)系起來。為此，我們注意到所提供的結(jié)果是非常直觀的，因為它們明確地引入了上述兩個錯誤之間的關(guān)系與它們的數(shù)據(jù)生成概率分布和相應(yīng)的標(biāo)記函數(shù)的相似性的依賴關(guān)系。因此，這種源域和目標(biāo)域之間的雙向關(guān)聯(lián)，通過比較兩個域的邊緣分布和樣本的可能標(biāo)記來描述這兩個域的無監(jiān)督鄰近性，通過尋找一個相對于它們具有低誤差的良好模型。在這一主題的大多數(shù)已發(fā)表的結(jié)果中，以這樣或那樣的方式保留了這種普遍的權(quán)衡，因此可以被視為現(xiàn)代領(lǐng)域適應(yīng)理論的基石。
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
