La start-up britannique Stability AI a récemment mené une série de tests pour comparer les performances des accélérateurs Intel Gaudi 2 à celles des Nvidia A100 et H100 en matière d’entraînement et d’inférence de modèles d’IA. Les résultats se sont avérés très prometteurs pour les puces d’Intel.
Pour cette analyse comparative, Stability AI a utilisé deux de ses modèles phares :
- Stable Diffusion 3, un modèle de génération d’images à partir de texte, dans sa version à 2 milliards de paramètres
- Stable Beluga 2.5, une version fine-tunée du modèle de langage Llama 2 70B
Stable Diffusion 3 : les Gaudi 2 plus rapides que les H100
Sur un cluster de 16 accélérateurs Gaudi 2, le système a pu traiter 927 images par seconde lors de l’entraînement de Stable Diffusion 3, soit 1,5 fois plus rapidement que les H100-80GB de Nvidia. En doublant la taille des lots, ce taux a même pu grimper à 1254 images/sec.
Avec 256 accélérateurs Gaudi 2, les puces d’Intel ont traité 3 fois plus d’images par seconde que les A100-80GB, pourtant réputés pour leur pile logicielle très optimisée.
En inférence, les Gaudi 2 offrent une vitesse similaire aux A100 avec PyTorch. Mais avec l’optimisation TensorRT, les A100 restent 40% plus rapides. Stability AI estime cependant pouvoir dépasser les A100 sur ce point en poussant l’optimisation.
Stable Beluga 2.5 : de bons résultats aussi pour le traitement du langage
Sur l’entraînement de Stable Beluga 2.5 avec 256 Gaudi 2, un débit moyen impressionnant de 116 777 jetons/seconde a été mesuré sans optimisation supplémentaire.
En inférence, chaque Gaudi 2 a généré 673 jetons/seconde, soit 28% plus rapidement que les 525 jetons/seconde des A100 avec TensorRT.
Un bon rapport prix/performances pour les accélérateurs Intel
Si les accélérateurs Nvidia restent très performants globalement, ceux d’Intel pourraient devenir une alternative redoutable. Ils ont déjà un avantage considérable : ils sont plus accessibles financièrement et les délais de livraison sont plus courts que pour les H100 ou A100.
Intel mise beaucoup sur ses accélérateurs Gaudi pour rattraper son retard sur Nvidia dans l’IA. La prochaine génération Gaudi 3, gravée en 5nm chez TSMC, devrait offrir 1,5 fois plus de performances que les Gaudi 2 et 4 fois plus en BFloat16. De quoi venir concurrencer frontalement les H100 et les futures puces AMD MI300X.