輸入無標簽，學習一個的錶達，以便應用其更高效地解决下遊任務（如分類：用錶示後，可以使用線性分類器）。

步驟

        第一步：學習一個好的（此時不知道下遊任務是什麼，這是自監督學習與半監督學習的區別）。

        第二步：使用和少量label並借助線性模型解决分類問題。

思路：使用無標簽數據的結構建立人工監督學習問題，然後用深度學習方法解决（在此過程中，也許會建立一個對下有任務有用的內在錶達）。

分類：自監督學習分為生成學習和對比學習。

生成學習

        生成人工標簽來預測，在這個過程中學習錶達。

【例】手寫數字識別

        第一步：生成人工標簽，學習錶達

        將圖像旋轉一定角度（如），以旋轉角作為人工標簽。用ConvNet預測旋轉角。然後把head去掉，得到embedding（）。

        第二步：添加手寫數字識別的分類頭（線性分類器），使用帶真實標簽的數據訓練這個分類頭。

        實驗證明使用線性分類器的效果很好。

對比學習

        找到一個錶達使得相似的輸入有相似度高的特征，不相似的輸入有相似度低的特征。

【例1】自然語言處理中的應用——尋找句子合適的錶達

        選取某一句子和其下一句（正樣本；認為相鄰的句子有相似的語義信息），外加隨機一個句子（負樣本；認為和句子有不同的語義信息），目標：

實際是最小化不相鄰句子的錶達的內積（相似度），最大化相鄰句子的錶達的內積（這裏的損失函數被稱為對比損失）。

【例2】將對比學習應用於圖像——SimCLR

原文鏈接：https://arxiv.org/pdf/2002.05709.pdf

        （1）使用數據增廣（隨機裁剪&縮放，random color distortion，random Gaussian blur）建立一張圖的兩個相關視圖：（生成正樣本）；

        （2）使用編碼器（如ResNet）得到，稱為embedding（對應）；

        （3）使用雙層MLP（）將轉換為（稱為projection head）；

        （4）損失函數：

        定義為和的餘弦相似度。選個圖像作為1個batch，加上其增廣為個圖像，計算相似度矩陣，其中。

對角元素（每個圖像和自身相似度最大），其餘正樣本之間為接近的數（每個圖像和其增廣的相似度接近最大值），其他地方數應該很小。

包含了相似度矩陣的第i行歸一化

正樣本之間的損失之和最小化；和均為和的相似度，理論上應該相同，但上面的歸一化導致不同，所以取平均。

        幾個結論：

        （1）數據增廣的組成很重要（混合使用多種增廣方案，比僅使用1種增廣方案效果好）；

        （2）大的batchsize和長的訓練時間有好處；

        （3）引入雙層MLP（）對最終結果有好處。