L’Université des Émirats arabes unis (UAE) a récemment dévoilé son dernier projet open source, le Falcon-180B. Il s’agit d’un nouveau langage de modélisation de la logique (LLM) qui possède 180 milliards de paramètres et qui a été entraîné sur 3 500 milliards de jetons. Un jeton est une unité de texte, qui peut être un mot, un caractère ou un sous-mot.
Le lancement de Falcon 180B illustre notre dévouement à repousser les frontières de l’IA, et nous sommes ravis de partager son potentiel illimité avec le monde. Falcon 180B annonce une nouvelle ère d’IA générative, où le progrès scientifique potentiel est rendu disponible grâce au libre accès, ce qui permet d’alimenter les innovations de l’avenir
Dr Ebtesam Almazrouei, directrice exécutive et chercheuse en chef par intérim de l’unité transversale du TII consacrée à l’IA
Le modèle a été entraîné sur un corpus de texte multilingue, comprenant notamment l’anglais, le français, l’allemand, l’espagnol, le chinois et l’arabe.
Le Falcon 180B LLM est une contribution importante à la liste existante des modèles de langage open source. Il fait suite au lancement de ses homologues plus petits, les Falcon 1B, 7B et 40B, en juin dernier. La communauté Hugging Face AI a annoncé le lancement du Falcon 180B dans un billet de blog, et il a été publié sur Hugging Face Hub le 6 septembre.
Falcon 180B contre Llama 2 contre GPT 3.5
Ce LLM en open source est actuellement en tête du classement HuggingFace, surpassant Llama 2 de 2,5 fois en taille et utilisant quatre fois plus de puissance de calcul. En termes de MMLU, il surpasse également Llama 2 70B et GPT-3.5 d’OpenAI. Le langage utilise l’attention multi-requêtes (MQA) pour améliorer ses performances.
En outre, ce modèle d’IA a obtenu des résultats comparables à ceux du PaLM 2-Large de Google lors des évaluations impliquant HellaSwag, LAMBADA, WebQuestions, Winogrande, PIQA, ARC, BoolQ, CB, COPA, RTE, WiC, WSC et ReCoRD. Cependant, il n’a pas encore atteint les performances de GPT-4.
Les résultats obtenus montrent que le modèle est plus performant que le modèle Llama 2 de Meta, qui compte 175 milliards de paramètres et qui a été entraîné sur 3 000 milliards de jetons.
Il est également comparable au modèle PaLM 2 de Google, qui compte 190 milliards de paramètres et qui a été entraîné sur 4 000 milliards de jetons.
FAQ
Il est disponible dans l’écosystème Hugging Face, à partir de la version 4.33 de Transformers.
Vous pouvez l’essayer en visitant le lien suivant. Il vous suffit de saisir un texte d’entrée et de cliquer sur le bouton « Submit ». Vous verrez alors apparaître le texte généré par le modèle.
Falcon 180B peut être utilisé pour créer des chatbots intelligents et interactifs, capables de gérer des conversations naturelles et diversifiées.
Pour l’entraîner, vous avez besoin d’une puissance de calcul et de ressources considérables. Le processus d’entraînement a été réalisé jusqu’à 4096 GPU simultanément, en utilisant Amazon SageMaker pour un total d’environ 7 millions d’heures GPU. Vous pouvez suivre le tutoriel vidéo ci-dessous pour apprendre comment installer et utiliser Falcon 180B sur Amazon SageMaker.
