Microsoft défie l’IA avec MAI-Base-2 : performance inédite en 38 jours

Le géant de Redmond franchit une nouvelle étape dans la course à l’intelligence artificielle. Avec son dernier modèle MAI-Base-2, Microsoft démontre sa capacité à développer des systèmes ultra-performants en un temps record, grâce à une infrastructure matérielle colossale et des optimisations techniques poussées.

Un entraînement record grâce à une puissance de calcul hors norme

Le pré-entraînement de MAI-Base-2 s’est achevé en seulement 38 jours, mobilisant pour cela pas moins de 16 000 GPU Nvidia GB200. Cette prouesse technique illustre l’accélération vertigineuse du développement des modèles d’intelligence artificielle de dernière génération.

L’architecture repose sur le principe des experts mixtes (MoE), une approche qui permet d’optimiser l’utilisation des ressources de calcul. Sur les 2 800 milliards de paramètres que compte le modèle, seuls 80 milliards sont activés simultanément lors de son fonctionnement.

Des gains d’efficacité spectaculaires par rapport aux concurrents

Comparé à certains modèles rivaux, MAI-Base-2 affiche une sobriété remarquable en termes de calculs. Il nécessite entre 4,2 et 12,3 fois moins de FLOPs que ses concurrents pour atteindre des performances équivalentes.

Par rapport à son prédécesseur MAI-Base-1, l’amélioration est tout aussi impressionnante avec un gain d’efficacité de calcul compris entre 6,3 et 12,7. Ces progrès s’expliquent notamment par des choix architecturaux judicieux et des algorithmes optimisés.

Une architecture MoE qui change la donne

Le recours à une architecture d’experts mixtes constitue l’un des atouts majeurs de ce nouveau modèle. Cette approche permet de n’activer qu’une partie des neurones selon les données traitées, ce qui augmente l’utilisation effective des capacités de calcul de 24% à 35%.

L’optimiseur Muon, spécialement développé pour ce projet, réduit considérablement le coût des échanges entre processeurs graphiques. Il n’occupe que 2,1% du temps moyen d’une itération d’entraînement, permettant ainsi de maximiser le temps consacré aux calculs véritablement utiles.

Des données d’entraînement massives et diversifiées

Le corpus utilisé pour entraîner MAI-Base-2 atteint 50 000 milliards de tokens, soit une augmentation de 36% par rapport au modèle précédent. Cette masse de données a fait l’objet d’un traitement minutieux pour garantir qualité et diversité.

Microsoft a particulièrement soigné les processus de déduplication, classification et sélection. L’objectif : éviter les redondances et favoriser la richesse des informations assimilées par le modèle.

Intégration native des capacités vision-langage

Fait notable, 18% des données d’entraînement sont associées à des capacités vision-langage (VLM). Cette intégration dès le pré-entraînement confère au modèle des capacités multimodales natives, lui permettant de traiter aussi bien du texte que des images.

L’ensemble des données a été collecté et traité en interne par les équipes de Microsoft, sans recourir à la distillation d’autres modèles existants. Une approche qui garantit le contrôle total de la chaîne de développement.

Performance technique et utilisation des ressources

Les GPU mobilisés ont été utilisés en moyenne à 21% de leurs capacités théoriques, avec 89% du temps consacré à faire progresser effectivement l’entraînement. Ces chiffres témoignent d’une optimisation poussée de l’infrastructure.

Microsoft a mis un point d’honneur à respecter les normes d’accès aux données, notamment via l’utilisation d’un robot d’indexation compatible avec le fichier robots.txt. Une démarche qui s’inscrit dans une volonté de transparence et de respect des règles éthiques.

Prochaines étapes et disponibilité du modèle

Le post-entraînement de MAI-Base-2 est actuellement en cours. Cette phase vise à adapter le modèle à des tâches concrètes et spécifiques, afin de le rendre opérationnel pour des applications pratiques.

Microsoft ne s’arrête pas là : MAI-Base-3 est déjà en préparation. Le développement simultané de plusieurs générations de modèles illustre la stratégie agressive de l’entreprise dans le domaine de l’IA générative.

Une mise à disposition via Microsoft Foundry

Les poids du modèle seront accessibles aux partenaires via Microsoft Foundry, la plateforme de collaboration de l’entreprise. Toutefois, aucune information précise n’a été communiquée concernant le calendrier de déploiement, les conditions de licence ou les ressources matérielles nécessaires pour exploiter MAI-Base-2.

L’approche de Microsoft repose sur une maîtrise complète de la chaîne de développement, permettant d’ajuster conjointement les modèles et l’infrastructure. Cette stratégie vise à améliorer continuellement les performances tout en contrôlant les coûts de production.