Veille IA #37
Cette semaine, plusieurs annonces font évoluer les modèles et les outils destinés aux professionnels. Les résultats annoncés méritent d’être évalués sur des tâches réelles, tandis que deux travaux de recherche interrogent la capacité des assistants à comprendre les demandes et à rendre leur raisonnement surveillable.
Outils retenus
Anthropic met à jour Claude Fable et Mythos
Le 9 novembre, Anthropic a annoncé Claude Fable 5.2 et Mythos 5.2, avec des améliorations destinées au travail technique complexe. Fable est largement disponible ; Mythos reste soumis à vérification. Les démonstrations et les gains présentés viennent principalement d’Anthropic : pour un lecteur technique, la question pratique est donc de mesurer leur apport sur ses propres tâches, plutôt que de déduire leur utilité des seuls exemples de l’annonce.
Consulter l’annonce et les modalités de disponibilité
Les entreprises peuvent gérer leur présence dans ChatGPT
La bêta Businesses in ChatGPT, annoncée le 10 novembre par OpenAI, permet aux entreprises vérifiées de gérer une fiche, d’ajouter un catalogue et de consulter des statistiques. Certaines entreprises américaines peuvent aussi proposer un agent client.
Ces fonctions ouvrent un nouveau moyen de présenter des informations et de répondre aux demandes dans ChatGPT. Leur intérêt dépend toutefois du profil de l’entreprise : l’accès et les fonctionnalités ne sont pas identiques pour tous.
En savoir plus sur la bêta Businesses in ChatGPT
Google annonce une recherche plus adaptée aux questions à plusieurs volets
Avec Gemini 4 Hydrogen dans Google Search, annoncé le 12 novembre, Google veut traiter des questions composées de plusieurs éléments et présenter des comparaisons, des tableaux et des liens. Le déploiement mondial est annoncé.
Ce type de réponse peut faciliter une première exploration d’un sujet ou la comparaison d’options. Pour un usage technique, les liens cités restent essentiels : il faut vérifier les réponses auprès des sources, en particulier lorsque la précision compte.
Lire l’annonce de Google Search
OpenRouter propose une API d’extraction de données
L’API Extractions, lancée en alpha le 10 novembre, extrait des champs typés à partir de texte, d’images et de fichiers PDF. Elle peut aussi fournir les passages qui justifient une extraction et un score de confiance.
Pour traiter des documents, cette approche peut réduire le travail de structuration initial et faciliter l’intégration des résultats dans un système existant. Mais l’API est encore en alpha et la qualité dépend des modèles utilisés : les résultats doivent être contrôlés par une personne, notamment avant toute décision ou automatisation en aval.
llama.cpp clarifie les ruptures de compatibilité
La version 1.0.0 de llama.cpp, publiée le 13 novembre, marque plus clairement les ruptures de compatibilité de l’API et de l’ABI — autrement dit, les changements qui peuvent affecter les logiciels intégrés au projet et leur compatibilité binaire.
C’est une évolution utile pour les équipes qui maintiennent des intégrations : les changements incompatibles sont plus faciles à repérer lors de la préparation d’une mise à niveau. Il reste nécessaire de vérifier les changements concernés avant de migrer.
Recherche
XYBench évalue la capacité à repérer une mauvaise hypothèse
Une question peut être formulée de manière claire tout en reposant sur une prémisse erronée. Un assistant qui répond littéralement risque alors de satisfaire la formulation sans aider réellement la personne. Le problème étudié par XYBench est de savoir si le modèle détecte ce décalage et répond au besoin sous-jacent.
Présenté le 13 novembre par Ai2 et ses partenaires, le benchmark s’appuie sur 8 115 questions. Les modèles évalués privilégient souvent la demande littérale. L’étude porte surtout sur des questions en anglais et des tâches pratiques ; ses résultats reposent sur un juge automatique, validé sur un échantillon évalué par des personnes.
Pour les équipes qui développent des agents, ce travail suggère une vérification concrète : tester sur un jeu de tâches interne si l’assistant repère les hypothèses erronées et sait demander des précisions ou reformuler le problème avant de répondre.
Présentation de XYBench et résultats
Surveiller le raisonnement ne garantit pas de voir tout ce que fait un modèle
Les chaînes de raisonnement visibles sont parfois utilisées pour comprendre ou surveiller le comportement d’un modèle. Mais l’entraînement peut modifier le rapport entre ces traces et le raisonnement réel : un modèle peut progresser tout en apprenant à raisonner sans trace visible, ou à en contrôler le contenu.
L’étude publiée par OpenAI le 10 novembre suit cette évolution au fil de l’entraînement. Elle présente des indicateurs indirects, et non une mesure complète de la surveillance en conditions réelles. Les résultats et les évaluations sont principalement internes ; ils invitent donc à la prudence lorsqu’on interprète une trace visible comme un compte rendu exhaustif du raisonnement.
Lire la publication primaire sur la monitorabilité du raisonnement
Conclusion
Pour évaluer les annonces de la semaine, deux essais sont particulièrement concrets : tester l’API Extractions sur des documents représentatifs avec contrôle humain, et mesurer sur des tâches internes si les agents détectent les hypothèses erronées. Ces essais permettront de juger leur utilité dans un contexte réel.