Entrée sans étiquette,Apprendre unExpression de, Pour l'appliquer Plus efficace Résoudre les tâches en aval （Par exemple, classification：AvecAprès représentation,Vous pouvez utiliser un classificateur linéaire）.

Étapes

        Première étape：Apprendre un bon（Je ne sais pas quelle est la tâche en aval pour le moment.,C'est la différence entre l'apprentissage auto - supervisé et l'apprentissage semi - supervisé.）.

        Deuxième étape：UtiliserEtPetite quantitélabelEt résoudre le problème de classification à l'aide d'un modèle linéaire.

Idées：Établissement d'un problème d'apprentissage supervisé par l'homme à l'aide d'une structure de données non étiquetées,Et ensuite résoudre le problème avec un apprentissage profond（Dans ce processus,Peut - être qu'il crée une expression interne utile pour la tâche suivante）.

Classification： L'apprentissage auto - supervisé est divisé en apprentissage génératif et en apprentissage comparatif. .

Apprentissage génératif

         Générer des étiquettes manuelles pour prévoir , Apprendre à s'exprimer dans ce processus .

【Exemple】Reconnaissance numérique manuscrite

        Première étape： Générer des étiquettes manuelles , Apprendre à exprimer

         Tourner l'image à un angle （Par exemple:）, Étiquette manuelle avec angle de rotation .AvecConvNet Angle de rotation prévu .Et mettreheadEnlevez,Je l'ai.embedding（）.

        Deuxième étape： Ajouter un en - tête de classification pour la reconnaissance manuscrite des chiffres （Classificateur linéaire）, Former cet en - tête de classification à l'aide de données réellement étiquetées .

         Les résultats expérimentaux montrent que le classificateur linéaire est très efficace. .

Apprentissage comparatif

         Trouver une expression qui rend les entrées similaires très similaires , Les entrées non similaires sont caractérisées par une faible similitude .

【Exemple1】 Application du traitement du langage naturel —— Trouver la bonne expression dans la phrase

         Choisissez une phrase Et sa prochaine phrase （Échantillon positif; Penser que les phrases adjacentes ont des informations sémantiques similaires ）, Plus une phrase aléatoire （Échantillon négatif; Les pensées et les phrases Il y a différentes informations sémantiques ）,Objectifs：

Est en fait de minimiser le produit intérieur de l'expression de phrases non contiguës （Similitude）, Maximiser le produit intérieur de l'expression des phrases adjacentes （ Ici, la fonction de perte est appelée perte de contraste ）.

【Exemple2】 Appliquer l'apprentissage par contraste aux images ——SimCLR

Lien vers le texte original：https://arxiv.org/pdf/2002.05709.pdf

        （1） Utilisation accrue des données （Culture aléatoire&Zoom,random color distortion,random Gaussian blur） Créer deux vues connexes d'un graphique ：（Générer un échantillon positif）;

        （2）Utilisation de l'encodeur（Par exemple:ResNet）Je l'ai.,Appeléembedding（Correspondant à）;

        （3）Utiliser une double coucheMLP（）Oui.Convertir en（Appeléprojection head）;

        （4）Fonction de perte：

        Défini comme suit:EtSimilitude cosinus de.Choisir Images pour 1- Oui.batch, Avec son élargissement à Images,Calculer la matrice de similarité,Parmi eux.

Éléments diagonaux（ Chaque image a la plus grande similitude avec elle - même ）, Entre les autres échantillons positifs Pour se rapprocherNombre de（ La similitude de chaque image avec son extension est proche du maximum ）, Les autres endroits devraient être petits. .

Contient la matrice de similarité iNormalisation des lignes

Réduction au minimum de la somme des pertes entre les échantillons positifs ;EtTousEtSimilitude, En théorie, ça devrait être pareil , Mais la normalisation ci - dessus conduit à la différence , Alors prenez la moyenne .

         Quelques conclusions ：

        （1） La composition élargie des données est importante （ Mélange de plusieurs options d'expansion , Plus que d'utiliser seulement 1 Le Programme d'expansion des semences fonctionne bien ）;

        （2）Grandebatchsize Et de longues séances d'entraînement ;

        （3） Introduction d'une double couche MLP（） Bon pour le résultat final .