Recherche de site Web

Transformers pour le défi de traduction, de classification et de segmentation de la langue

Introduction

Le défi de traduire un texte d'une langue à une autre est l'un des piliers du traitement du langage naturel (TAL). Son objectif principal est de générer un texte dans la langue cible qui transmet fidèlement le sens voulu du matériel d'entrée. L'objectif de cette tâche est de prendre une déclaration en anglais en entrée et de produire sa traduction en français, ou dans toute autre langue de préférence. En raison de l'importance de la traduction linguistique dans le domaine du TAL, le modèle transformeur original a été créé en ayant cet objectif à l'esprit.

Les modèles dans le tableau ci-dessous qui utilisent des transformers et ont bien performé dans la tâche de traduction linguistique y sont listés. Afin d'améliorer le flux d'informations et de connaissances entre des personnes de divers horizons linguistiques, ces modèles jouent un rôle crucial. Lorsqu'on considère l'étendue de l'impact potentiel du NLP dans des domaines aussi variés que les affaires, la science, l'éducation et les interactions sociales, il est clair que la tâche de traduction linguistique est un sujet d'étude essentiel. Le tableau présente de nombreux modèles basés sur des transformers qui montrent un potentiel pour améliorer l'état de l'art dans ce domaine, ouvrant la voie à de nouvelles méthodes de traduction linguistique (Chowdhary & Chowdhary, 2020 ; Monroe, 2017 ; Hirschberg & Manning, 2015).

Prérequis

  1. Compétences de base en programmation : Familiarité avec Python et des bibliothèques comme PyTorch ou TensorFlow.
  2. Compréhension des bases du PNL : Concepts tels que la tokenisation, les embeddings et les modèles séquence-à-séquence.
  3. Connaissance des Transformers : Notions de base sur les mécanismes d'attention et l'architecture des transformers (par exemple, Encodeur-Décodeur).
  4. Préparation des jeux de données : Jeux de données nettoyés et étiquetés pour des tâches de traduction, de classification ou de segmentation.
  5. Ressources de calcul : Accès à des GPU ou TPU pour un entraînement et une inférence efficaces.
  6. Kits d'outils : Expérience avec Hugging Face Transformers ou des bibliothèques similaires pour les modèles pré-entraînés.

Transformer

En 2017, Vaswani et al. (Vaswani et al., 2017) ont proposé le premier modèle de transformateur, qui a depuis radicalement changé le paysage du traitement du langage naturel. Le paradigme du transformateur Vanilla a été développé dans le but express de traduire entre les langues. Le modèle de transformateur se distingue de ses prédécesseurs en ce qu'il inclut un module encodeur et un module décodeur, utilisant des processus d'attention multi-têtes et d'attention multi-têtes masquée.

Le contexte de la langue d'entrée est analysé par le module encodeur, tandis que le module décodeur génère la sortie dans la langue cible en appliquant les sorties de l'encodeur et en masquant l'attention multi-tête. La capacité du modèle transformeur à exécuter des calculs parallèles, ce qui permet le traitement des mots avec l'information positionnelle, est en partie responsable de son succès. Cela lui permet de gérer les dépendances à long terme, qui sont essentielles dans la traduction linguistique, et le rend exceptionnellement efficace pour traiter d'énormes quantités de texte.

XLM

C'est un modèle pour la pré-formation d'une langue qui peut être utilisé avec plus d'une langue. Les techniques supervisées et non supervisées sont utilisées pour construire le modèle. L'approche non supervisée s'est révélée très utile pour les tâches de traduction grâce à l'utilisation du Masked Language Modeling (MLM) et du Casual Language Modeling (CLM). Cependant, les défis de traduction ont été encore améliorés en utilisant la technique supervisée (Conneau & Lample, 2019). Grâce à sa capacité à exécuter des tâches de traitement du langage naturel dans différentes langues, le modèle XLM est devenu une ressource inestimable pour les applications multilingues. Le modèle XLM est largement utilisé dans le domaine du traitement du langage naturel en raison de son efficacité dans les missions de traduction.

BART

Le modèle pré-entraîné, connu sous le nom de BART (Transformers bidirectionnels et auto-régressifs), est principalement destiné à nettoyer le texte corrompu. Il comporte deux étapes de pré-entraînement : la première introduit une corruption par bruit dans le texte, tandis que la seconde se concentre sur la récupération du texte original à partir du texte corrompu. Pour générer, traduire et comprendre le texte avec une précision remarquable, BART utilise un modèle de traduction par transformateur qui inclut les modules d'encodage et de décodage (Lewis et al., 2020). Ses caractéristiques auto-régressives le rendent bien adapté à la génération séquentielle de tokens de sortie, et son approche bidirectionnelle lui permet d'apprendre à partir des tokens précédents et futurs. Ces caractéristiques font de BART un modèle adaptable à un large éventail d'applications en traitement du langage naturel.

Transformateur à commutateur

Le modèle Switch Transformer est un développement relativement récent dans le domaine du traitement du langage naturel (NLP), et il a suscité beaucoup d'intérêt en raison de sa précision et de sa polyvalence impressionnantes. Il possède un mécanisme de commutation et un système de routage basé sur les permutations comme ses deux principaux composants. Grâce au mécanisme de routage basé sur les permutations, le modèle peut développer une stratégie de routage qui décide quelles parties de la séquence d'entrée doivent être privilégiées.

Puisque le modèle peut décider dynamiquement quelles parties de la séquence privilégier pour chaque entrée, il peut traiter des entrées de différentes longueurs. Le modèle peut effectuer des tâches de classification et de segmentation grâce au mécanisme de gating. Le mécanisme de gating est entraîné à faire des prédictions basées sur une combinaison d'informations provenant de l'ensemble de la séquence d'entrée. Cela permet au modèle de réaliser des tâches de classification, où il prédit une étiquette pour l'ensemble de la séquence d'entrée, ainsi que des tâches de segmentation, où il prédit des étiquettes pour chaque partie individuelle de la séquence d'entrée. Cela est expliqué dans la section suivante sur la classification et la segmentation (Fedus et al., 2021).

Classification et segmentation

Le traitement du langage naturel (TLN) repose fortement sur la classification et la segmentation de texte pour automatiser l'organisation et l'analyse de grandes quantités de données textuelles. Des étiquettes ou labels sont appliqués au texte en fonction du contenu, tel que l'émotion, le sujet et le but. Des applications telles que le filtrage de contenu, la recherche d'information et les systèmes de recommandation peuvent bénéficier de cette méthode de classification de textes provenant de sources multiples. La segmentation de texte en morceaux significatifs tels que des phrases, des mots ou des sujets pour un traitement ultérieur est ce qu'est la segmentation de texte. Des applications importantes du traitement du langage naturel (TLN) reposent fortement sur ce processus, qui a été largement étudié et documenté (Chowdhary & Chowdhary, 2020 ; Kuhn, 2014 ; Hu et al., 2016).

Charformer

Ce modèle basé sur les transformateurs introduit la tokenisation de sous-mots basée sur le gradient (GBST), qui est une méthode légère pour apprendre directement des sous-mots latents à partir de caractères au niveau des octets. Le modèle, disponible en anglais et dans plusieurs autres langues, a montré des performances exceptionnelles dans les tâches de compréhension du langage, y compris la classification de documents textuels longs (Tay et al., 2022).

Source

Dans le domaine du traitement du langage naturel, les modèles pré-entraînés tels que BERT et GPT, qui sont entraînés sur de grands ensembles de données, sont devenus de plus en plus populaires. Cependant, le coût et l'impact environnemental liés au développement de ces modèles ont suscité des inquiétudes. Le Switch Transformer a été développé comme une solution à ces problèmes ; il permet d'obtenir un modèle plus complet sans augmenter significativement le coût computationnel. Un modèle avec des billions de paramètres est réalisé en remplaçant le réseau de neurones à propagation avant (FFN) par une couche de commutation contenant plusieurs FFN.

Le coût de calcul du transformateur Switch est cohérent avec celui des modèles précédents, même lorsque la taille du modèle augmente. En fait, le transformateur Switch a été testé sur 11 tâches différentes, avec des résultats impressionnants dans tous les domaines (Fedus et al., 2021). Cela inclut la traduction, la réponse aux questions, la classification et la synthèse.

GPT et variantes

Ces modèles peuvent être utilisés pour une variété de tâches de traitement du langage naturel (TAL), telles que la catégorisation, la segmentation, la réponse aux questions et la traduction. Parlons de GPT et de ses variantes. En se concentrant uniquement sur le bloc décodeur des transformateurs, les modèles Generative Pre-Trained Transformer (GPT) font progresser de manière significative l'utilisation des transformateurs dans le TAL. En combinant l'entraînement non supervisé et les techniques de réglage fin supervisé, GPT adopte une approche semi-supervisée de la compréhension du langage (Radford et al., 2018). Suite au succès du modèle GPT en 2019, un modèle basé sur un transformateur pré-entraîné appelé GPT-2 avec 1. 5 milliards de paramètres ont été introduits. Ce modèle a considérablement amélioré la version pré-entraînée des transformers (Radford et al., 2019). Dans les années suivantes (2020), la version pré-entraînée la plus avancée de GPT, connue sous le nom de GPT-3, a été mise à disposition. Elle comptait 175 milliards de paramètres. C'est dix fois la taille de tout modèle de langage non-épars précédent. Contrairement aux modèles pré-entraînés tels que BERT (Brown et al., 2020), GPT-3 montre de bonnes performances sur une variété de tâches sans nécessiter de mises à jour par gradient ou d'ajustement fin.

T5

Pour améliorer ses performances dans les tâches en aval de traitement du langage naturel (NLP), le modèle transformeur T5 — abréviation de « Text-to-Text Transfer Transformer » — a introduit un jeu de données appelé « Colossal Clean Crawled Corpus » (C4). T5 est un modèle polyvalent qui peut être entraîné pour effectuer de nombreuses tâches de traitement du langage naturel (NLP) en utilisant la même configuration. Après l'apprentissage préalable, le modèle peut être personnalisé pour une variété de tâches et atteint un niveau de performance équivalent à celui de divers modèles spécifiques à une tâche (Raffel et al., 2020).

Conclusion

Les transformateurs peuvent être utilisés pour traiter la traduction de langues. Ils excellent dans la modélisation de données séquentielles, telles que le langage naturel, et utilisent un mécanisme d'attention automatique pour transmettre des informations à travers les séquences d'entrée. Cela les rend particulièrement efficaces pour la modélisation de données séquentielles. Hugging Face, TensorFlow, PyTorch et Huawei ne sont que quelques exemples de bibliothèques et de modèles disponibles pour utiliser les transformateurs à des fins de traduction linguistique. Ces bibliothèques incluent des modèles de transformateurs pré-entraînés pour une variété d'applications de traduction de langues, en plus des outils pour l'ajustement fin et l'évaluation des performances des modèles.

Référence

Une enquête sur les Transformers : https://arxiv.org/abs/2106.04554

Merci d'apprendre avec la communauté Linux-Console.net.