Stockage IA : FlashBlade//EXA pulvérise les records avec 85 736 tokens par seconde

Dans l’univers de l’intelligence artificielle, la vitesse de traitement des données fait toute la différence. Alors que les projecteurs sont souvent braqués sur les processeurs graphiques, un autre élément crucial détermine les performances réelles des modèles : le stockage. Les derniers résultats du benchmark MLPerf Storage v3.0 viennent bouleverser les standards du secteur.

Des performances qui redéfinissent les standards

Le système FlashBlade//EXA vient d’établir un nouveau record lors des tests officiels de l’industrie. Avec un débit impressionnant de 85 736 tokens par seconde lors des tests de cache KV, cette solution repousse considérablement les limites connues jusqu’alors.

Ces chiffres ont été obtenus sur une charge de travail utilisant le modèle Llama 3.1 8B, en s’appuyant exclusivement sur le stockage. Une prouesse technique qui démontre l’évolution fulgurante des infrastructures dédiées à l’IA.

Le stockage, maillon essentiel de l’inférence IA

Contrairement aux idées reçues, les GPU et accélérateurs ne suffisent pas à garantir des performances optimales. La rapidité avec laquelle le système de stockage peut alimenter ces composants en données devient déterminante pour l’efficacité globale.

C’est précisément ce que Rob Lee d’Everpure met en lumière : « Les organisations qui repoussent les limites du développement de l’IA ont besoin d’une infrastructure capable d’offrir les niveaux les plus élevés de performance et d’évolutivité, sans compromis sur la fiabilité ni sur la simplicité opérationnelle. »

Des résultats variables selon les configurations

Le benchmark MLPerf Storage v3.0 a évalué plusieurs scénarios d’utilisation. Lorsque le système combine stockage et mémoire sur une charge 8B, les performances atteignent 67 642 tokens par seconde.

Pour les charges plus lourdes comme le modèle 70B fonctionnant uniquement sur stockage, le débit s’établit à 33 403 tokens par seconde. Des résultats qui restent remarquables compte tenu de la complexité des opérations.

L’infrastructure, clé de voûte des projets ambitieux

Les entreprises qui souhaitent exploiter pleinement le potentiel de l’intelligence artificielle doivent désormais considérer leur architecture de stockage comme un investissement stratégique. Performance, évolutivité, fiabilité et simplicité constituent les quatre piliers d’une infrastructure efficace.

Cette évolution technologique intervient dans un contexte où plusieurs acteurs renforcent leurs offres. Confluent améliore ses capacités de connexion pour les agents d’IA, tandis que Cypheme propose des solutions anti-contrefaçon et que Shortways intègre sa solution Smart Ticketing.