Accueil High-Tech Google présente PaLM, son nouveau modèle de langage capable de programmer, d’expliquer...

Google présente PaLM, son nouveau modèle de langage capable de programmer, d’expliquer des blagues et de résoudre des problèmes mathématiques.

176
0

PARIS, 5 avr. (Bénin Actu/EP) –

Google a soumis PaLM (Pathways Language Model), son nouveau modèle de langage capable de programmer, de résoudre des problèmes mathématiques et d’expliquer des blagues avec un taux d’efficacité d’apprentissage qui le place au-dessus des autres modèles de langage créés à ce jour.

Google explique que le PaLM a été formé au modèle Pathwaysqui lui a permis d’entraîner efficacement un seul modèle avec plusieurs unités de traitement tensor (TPU) Pods, comme l’indique une déclaration sur son blog. Il est basé sur l’apprentissage « en quelques coups », qui réduit le nombre d’exemples nécessaires à la formation spécifique à une tâche pour s’adapter à une seule application.

Pour ce faire, une base de données a été utilisée avec 780 milliards de jetonsqui combine « un ensemble de données multilingues » en plus de l’anglaisy compris les documents Web, les livres, Wikipédia, les conversations et le code GitHub. Il existe également un vocabulaire « sans perte » qui « préserve tous les espaces », ce qui est noté comme « particulièrement important » pour la programmationet la division en octets des caractères Unicode qui ne se trouvent pas dans le vocabulaire.

Lire aussi:  Twitch va supprimer son application PC de bureau le 30 avril.

Cette nouvelle IA héberge 540 milliards de paramètresce qui dépasse les 175 milliards du GPT-3 d’OpenAI, le modèle de langage que Google cite comme pionnier en montrant que ceux-ci peuvent être utilisés pour l’apprentissage avec des « résultats impressionnants ».

Le nouveau modèle linguistique de Google combine 6.144 puces TPU v4 à l’adresse Chemins d’accèsLa « plus grande configuration TPU » utilisée dans l’histoire, a déclaré la société. PaLM atteint également une efficacité d’apprentissage de 57,8 % dans l’utilisation des flops matériels, « la plus élevée jamais atteinte pour des modèles de langage à cette échelle ».

Cela est rendu possible par une combinaison de « la stratégie de parallélisme et d’une reformulation du bloc de transformation » qui permet de calculer les couches d’attention et d’avance en parallèle, accélérant ainsi les « optimisations du compilateur TPU ».

« Le PaLM a fait la preuve de ses capacités révolutionnaires dans de nombreuses tâches très difficiles », affirme la société, qui a présenté plusieurs exemples allant de la compréhension et de la génération de langage au raisonnement et aux tâches liées à la programmation.

Lire aussi:  Prochainement dans la famille Google Pixel : les téléphones Pixel 7, la première montre de la marque et une tablette avec la puce Tensor.

L’un des tests que Google donne en exemple consiste à demander à PaLM de. de deviner un film à partir de quatre emojis : un robot, un insecte, une plante et la planète Terre. Parmi toutes les options (L.A. Confidential, Wall-E, Lion : The Professional, BIG et Rush), l’IA choisit la bonne : Wall-E.

Dans un autre cas, on lui demande de choisir dans une liste de mots deux mots associés à « trébucher » et il choisit aussi correctement « tomber » et « trébucher ».

L’IA est également capable de résoudre des problèmes mathématiques simples et même d’expliquer une blague en la contextualisant et en décomposant les éléments qui y apparaissent afin de lui donner un sens.

Enfin, Google note également que la PaLM est capable de programmer en traduisant du code « d’un langage à un autre », en écrivant du code basé sur « une description naturelle du langage » et en « réparant les erreurs de compilation ».

Article précédentL’Ukraine affirme que la Russie « regroupe ses troupes » et « concentre ses efforts » en vue d’une offensive sur le Donbas.
Article suivantL’UEFA lance la vente de billets pour la finale de la Ligue des champions féminine à Turin