Création de Turks mécaniques artificiels avec des modèles de langage préentraînés

Une grande partie du développement des systèmes d’apprentissage automatique dépend de l’étiquetage des données, où des centaines, voire des milliers de questions (telles que Est-ce une image d’un chat? et Est-ce que ce texte est offensant?) doivent être résolues afin de développer des ensembles de données autorisés sur lesquels les systèmes d’IA seront formés.

Bien que nous contribuions tous à ce processus à un moment donné, la majorité de ces tâches d’étiquetage sont effectuées contre rémunération par des travailleurs humains sur des plateformes telles qu’Amazon Mechanical Turk, où les annotateurs effectuent des tâches de classification mineures dans une économie de pièces.

Le développement de modèles serait moins coûteux si les modèles de langage préentraînés (PLM) pouvaient eux-mêmes effectuer certaines des tâches de intelligence humaine (HIT) plus basiques actuellement sous-traitées sur AMT et des plateformes similaires.

Des recherches récentes menées en Allemagne et par Huawei proposent cela, dans le document LMTurk: Few-Shot Learners as Crowdsourcing Workers.

Les modèles de langage effectuant un apprentissage à quelques exemples

Les auteurs suggèrent que les strates de tâches plus simples visées (par les travailleurs humains) sont analogues à l’apprentissage à quelques exemples, où un cadre automatisé doit prendre une décision sur une mini-tâche en fonction d’un petit nombre d’exemples qui lui sont fournis.

Ils proposent donc que les systèmes d’IA puissent apprendre efficacement à partir de PLM existants qui ont été formés à l’origine par des crowdworkers – que les connaissances fondamentales transmises des humains aux machines ont été effectivement acquises et que, lorsque ces connaissances sont relativement immuables ou empiriques d’une certaine manière, les cadres de modèles de langage automatisés peuvent potentiellement effectuer ces tâches eux-mêmes.

‘Notre idée de base est que, pour une tâche de traitement du langage naturel T, nous traitons les apprenants à quelques exemples comme des travailleurs non experts, ressemblant aux travailleurs de crowdsourcing qui annotent des ressources pour la technologie du langage humain. Nous sommes inspirés par le fait que nous pouvons considérer un travailleur de crowdsourcing comme un type d’apprenant à quelques exemples.’

Les implications incluent la possibilité que de nombreux vérités de base sur lesquelles les systèmes d’IA de l’avenir dépendent auront été dérivées d’humains il y a déjà plusieurs années, et seront ensuite traitées comme des informations prévalidées et exploitables qui ne nécessitent plus d’intervention humaine.

Emplois pour les modèles de langage moyen, semi-performants

Outre la motivation de réduire le coût des humains dans la boucle, les chercheurs suggèrent que l’utilisation de PLM « moyens » en tant que « véritables » Turks mécaniques fournit un travail utile pour ces systèmes « aussi ran », qui sont de plus en plus éclipsés par des modèles de langage à grande échelle et coûteux tels que GPT-3, qui sont trop chers et suréquipés pour de telles tâches.

‘Notre objectif dans cet article est de concevoir des méthodes qui utilisent plus efficacement les apprenants à quelques exemples actuels. C’est crucial car un nombre croissant de grands apprenants à quelques exemples sont formés; savoir comment les utiliser efficacement est donc une question importante. En particulier, nous voulons une alternative aux grands modèles difficiles à déployer.

‘Dans le même temps, nous voulons tirer pleinement parti des forces des PLM: leur polyvalence assure une applicabilité large sur les tâches; leur vaste stock de connaissances sur le langage et le monde (apprentissage en préformation) se manifeste dans l’efficacité des données des apprenants à quelques exemples, réduisant la consommation de main-d’œuvre et de temps dans l’annotation des données.’

Jusqu’à présent, les auteurs soutiennent que les apprenants à quelques exemples en traitement du langage naturel ont été traités comme des étapes interstitielles jetables sur la route menant à des systèmes de langage naturel de haut niveau qui sont beaucoup plus gourmands en ressources, et que ce travail a été effectué de manière abstraite et sans considération pour l’utilité potentielle de ces systèmes.

Méthode

Les auteurs proposent LMTurk (Modèle de langage en tant que Turk mécanique), dans un flux de travail où les entrées de cet HIT automatisé fournissent des étiquettes pour un modèle de traitement du langage naturel de niveau moyen.

Un modèle de concept de base pour LMTurk. Source: https://arxiv.org/pdf/2112.07522.pdf

Cette première itération repose sur des données « d’or » étiquetées par des humains à quelques exemples, où les Turks en chair et en os ont annoté des étiquettes pour un nombre limité de tâches, et les étiquettes ont été bien notées, soit via une surveillance humaine directe, soit via un vote de consensus. L’implication de ce schéma est que les forks ou les développements à partir de ce point de départ humain pourraient ne pas nécessiter d’entrée humaine supplémentaire plus tard.

Bien que les auteurs suggèrent des expériences ultérieures avec des modèles hybrides plus tard (où l’entrée humaine serait présente, mais grandement réduite), ils n’ont pas, pour les besoins de leur recherche, comparé les modèles LMTurk aux résultats équivalents des travailleurs HIT générés par des humains, considérant que les données étiquetées « d’or » sont elles-mêmes « une entrée humaine ».

Le PLM conçu pour effectuer les opérations de Turk a été adapté pour la tâche par P-Tuning, une méthode publiée par des chercheurs de Chine en 2021, qui a proposé des embeddings de prompt continus formables pour améliorer les performances des modèles de type GPT-3 sur les tâches de compréhension du langage naturel (NLU).

P-Tuning tente d’approfondir la puissance prédictive d’un modèle de type GPT, et son apparence de compréhension conceptuelle du langage, en incorporant des pseudo-prompts intégrés. Dans ce cas, la requête de démarrage est ‘La capitale de la Grande-Bretagne est un [x]’. Source: https://arxiv.org/pdf/2103.10385.pdf

Données et architecture

LMTurk a été évalué sur cinq ensembles de données: deux de l’arbre de sentiments de Stanford; le corpus de nouvelles d’AG; la reconnaissance de l’implication textuelle (RTE); et le corpus d’acceptabilité linguistique (CoLA).

Pour son modèle plus grand, LMTurk utilise les PLM publics ALBERT-XXLarge-v2 (AXLV2) comme modèle source pour la conversion en un Turk automatisé. Le modèle comporte 223 millions de paramètres (par opposition aux 175 milliards de paramètres dans GPT-3). AXLV2, observent les auteurs, s’est avéré capable de surpasser des modèles à plus grande échelle tels que 334M BERT-Large.

Pour un modèle plus agile, plus léger et déployable sur le bord, le projet utilise TinyBERT-General-4L-312D (TBG), qui comporte 14,5 millions de paramètres avec des performances comparables à BERT-base (qui comporte 110 millions de paramètres).

La formation avec des prompts a eu lieu sur PyTorch et HuggingFace pour AXLV2 sur 100 étapes de batch à une taille de batch de 13, à un taux d’apprentissage de 5e-4, en utilisant une décroissance linéaire. Chaque expérience a été originée avec trois graines aléatoires différentes.

Résultats

Le projet LMTurk exécute des modèles divers contre de nombreux sous-secteurs spécifiques du traitement du langage naturel, de sorte que les résultats complexes des expériences des chercheurs ne sont pas faciles à réduire à des preuves empiriques que LMTurk offre en soi une approche viable de réutilisation de scénarios d’apprentissage à quelques exemples historiques et d’origine humaine.

Cependant, à des fins d’évaluation, les auteurs comparent leur méthode à deux travaux antérieurs: Exploitation de questions de type Cloze pour la classification de texte à quelques exemples et l’inférence du langage naturel par les chercheurs allemands Timo Schick et Hinrich Schutze; et les résultats de Prompt-Based Auto, présentés dans Amélioration des modèles de langage préentraînés pour en faire de meilleurs apprenants à quelques exemples par Gao, Chen et Fisch (respectivement de Princeton et du MIT).

Résultats des expériences LMTurk, avec les chercheurs rapportant des performances ‘comparables’.

En résumé, LMTurk offre une ligne d’enquête relativement prometteuse pour les chercheurs qui cherchent à intégrer et à ancrer des données étiquetées « d’or » d’origine humaine dans des modèles de langage évoluant, de complexité moyenne, où les systèmes automatisés remplacent l’entrée humaine.

Comme pour la quantité relativement faible de travaux antérieurs dans ce domaine, le concept central repose sur l’immutabilité des données humaines d’origine, et la présomption que les facteurs temporels – qui peuvent représenter des obstacles importants au développement du traitement du langage naturel – ne nécessiteront pas d’intervention humaine supplémentaire à mesure que la lignée de la machine évolue.

Publié à l’origine le 30 décembre 2022