La semaine où les benchmarks d'IA ont pris un coup de vieux.
Et que devez-vous vraiment faire de ces nouveaux modèles ?
La semaine dernière, Sakana AI a fait une irruption fracassante dans l’IA avec son LLM orchestrateur(Sakana Fugu) et ses deux modèles(Fugu et Fugu Ultra).
Sur le papier, ils sont spectaculaires : un orchestrateur qui coordonne plusieurs modèles d’IA derrière une seule API et qui, selon les tableaux publiés par Sakana, égalerait Fable 5 et Mythos Preview d’Anthropic. L’idée est séduisante : contourner la concentration des fournisseurs par l’intelligence collective.
Sauf que, dans la vraie vie, les premiers testeurs indépendants rapportent autre chose.
Fugu Ultra : le benchmark ne raconte pas l’usage
Sakana Fugu n’est pas un modèle unique. C’est un orchestrateur. Vous envoyez une requête à un point d’entrée, et Fugu décide en interne quel(s) modèle(s) appeler, comment découper la tâche, et comment synthétiser les réponses.
Le concept est pertinent. Le problème, c’est ce qu’on ne voit pas.
> Orchestrateur : un système qui choisit et enchaîne plusieurs modèles spécialisés pour répondre à une demande, sans que l’utilisateur ait à le faire lui-même.
Vous ne savez pas quels modèles sont utilisés. Vous ne savez pas combien de tokens sont brûlés rien que pour coordonner la première action. Vous ne maîtrisez pas les coûts. Pour un développeur qui utilise déjà Claude Code, OpenCode ou Hermes Agent avec des agents et des modèles choisis explicitement, Fugu ressemble à un pas en arrière : on remplace le choix technique par un acte de foi.
Et les retours terrain confirment le doute.
Ethan Mollick, qui teste beaucoup d’outils créatifs en public, a fait tourner Fugu Ultra-high sur des scènes interactives et des shaders. Résultat : près de 30 minutes d’attente, une sortie qualifiée de « fine », mais qui ne matchait pas Fable en pratique. D’autres testeurs mentionnent une consommation de tokens élevée, une latence importante et des résultats inconsistants.
Ce n’est pas un échec. C’est un rappel.
Un benchmark est une photo. L’usage réel est un film.
Quand Sakana dit « on égale Fable », elle dit en réalité : « une équipe d’autres modèles publics arrive à rivaliser avec Fable sur certaines tâches de benchmark ».
C’est déjà intéressant. Ce n’est pas ce que le titre de presse laisse entendre.
—
Ornith-1.0 : le nouveau né open-source
Pendant ce temps, DeepReinforce a sorti Ornith-1.0, une famille de modèles open-source dédiée au code. Les annonces affirment qu’il approche, voire dépasse, Claude Opus 4.7 sur certains benchmarks de programmation.
Cette fois, on a une différence majeure : les poids sont publics. Vous pouvez télécharger les versions 9B ou 35B sur Hugging Face/Ollama. Des quantifications GGUF existent pour les faire tourner localement via Ollama. Vous n’avez pas à croire sur parole.
> GGUF : un format de modèle compressé qui permet de faire tourner un LLM sur une machine locale, même sans GPU très puissant.
Là où Fugu vous demande de confiance, Ornith vous donne la clé du capot.
Naturellement, les benchmarks de DeepReinforce sont probablement sélectionnés pour mettre le modèle en valeur. Mais le point n’est pas de savoir qui a le meilleur score. Le point, c’est que vous pouvez l’intégrer dans votre workflow, le mesurer sur vos propres tâches, et voir s’il vaut mieux qu’un modèle propriétaire pour ce que vous faites.
C’est rarement le leaderboard qui décide. C’est votre terminal.
—
Prometheus : 12 milliards de dollars, combien de démonstrations ?
Jeff Bezos a levé 12 Md$ pour Prometheus, une startup censée construire un « ingénieur général artificiel » pour le monde physique. Valorisation : 41 Md$. Objectifs affichés : aérospatial, automobile, puces.
Le montant est colossal. Les démonstrations publiques, en revanche, sont quasi absentes. À ce stade, Prometheus est davantage une thèse d’investissement qu’un produit que l’on peut évaluer.
Ce n’est pas un rejet. C’est une question honnête : avant d’appeler ça un tournant de l’IA industrielle, que peut-on vraiment faire avec aujourd’hui ?
—
Cette semaine, deux visions se sont affrontées.
D’un côté, des annonces spectaculaires : orchestrateurs qui battent des records, modèles industriels financés à coups de milliards. De l’autre, une réalité plus terre-à-terre : lenteur, coûts non maîtrisés, manque de transparence, absence de preuves d’usage.
La leçon n’est pas que ces outils sont inutiles. C’est qu’il ne faut plus accepter un benchmark comme preuve d’adoption.
❌ Ne pas croire un score sans l’avoir testé sur sa propre tâche.
❌ Ne pas confondre « accessible via API » et « maîtrisable en production ».
✅ Dans plusieurs cas métiers, privilégier ce qu’on peut auditer, héberger, mesurer et dans d’autres, s’en remettre aux modèles fermés qui prouvent leur supériorité.
—
As-tu testé Fugu Ultra, Ornith-1.0, ou un autre modèle récent sur une tâche réelle ?
Raconte ton ressenti en commentaire. Pas le benchmark officiel : le temps d’exécution, le coût, le nombre de tentatives nécessaires, et surtout si tu referais la même chose demain.