Veille IA #36

Cette semaine, les nouveautés invitent à regarder au-delà de la qualité d’une réponse isolée. Quel modèle choisir pour une tâche donnée ? Comment encadrer un agent ? Comment conserver un personnage au fil des retouches, ou vérifier qu’un service utilise bien le modèle annoncé ?

Les six outils retenus abordent ces questions sous des angles différents. Côté recherche, FlashProve et StateBench éclairent deux exigences complémentaires : pouvoir contrôler le calcul effectué et savoir si un modèle suit correctement une situation qui évolue.

Les outils retenus

Arete-27B : rendre les biais d’un modèle ouvert plus faciles à étudier

Nous Research a publié le 6 novembre Arete-27B, une variante de Qwen3.8-27B réentraînée pour modifier ses réponses aux questions politiques sensibles. Les poids sont proposés sous licence Apache 2.0 ; les données et l’évaluation sont également accessibles.

L’intérêt technique tient à cette ouverture. Pour étudier les biais d’un modèle, consulter quelques réponses ne suffit pas : il faut pouvoir examiner les données, comprendre l’évaluation et reproduire les résultats. Arete-27B fournit des éléments pour mener ce travail et envisager des adaptations.

Il faut toutefois distinguer une modification mesurée des réponses d’une neutralité générale. Les progrès rapportés reposent sur l’évaluation de Nous Research et restent à reproduire. Arete-27B constitue donc surtout un objet d’expérimentation sur les biais, avec des ressources accessibles pour en examiner les effets.

Fiche officielle et ressources · Annonce de Nous Research

OpenRouter Auto et Auto Code : évaluer le choix du modèle comme une partie du système

OpenRouter a annoncé le 6 novembre une reconstruction de son routeur général Auto, ainsi qu’une variante spécialisée pour la programmation, Auto Code. Le routage consiste à choisir le modèle auquel confier une demande. Ici, la sélection prend en compte la difficulté, les coûts, la disponibilité et le cache, dans les limites fixées par l’utilisateur.

Auto existait déjà : la nouveauté porte sur cette génération du routeur et sur sa déclinaison pour le code. Pour un lecteur technique, l’enjeu est concret. Le choix du modèle peut devenir une décision déléguée au service, qu’il faut alors évaluer au même titre que les autres composants d’un agent.

Le test le plus utile consiste à comparer Auto Code au modèle habituel sur quelques tâches réelles, en mesurant ensemble le coût et la réussite. Un coût inférieur n’a de valeur que si les tâches aboutissent avec une qualité suffisante. Les gains annoncés par OpenRouter donnent une raison de tester ; ils ne remplacent pas cette comparaison sur ses propres usages.

Annonce officielle

Mistral Studio : organiser l’exécution et les validations autour des agents

La mise à jour de Mistral Studio du 5 novembre ajoute des agents hébergés et des applications en préversion publique. Les workflows, c’est-à-dire les enchaînements d’étapes de traitement, passent quant à eux en disponibilité générale.

L’ensemble relie les données d’entreprise, les outils, les validations humaines et le suivi des exécutions. C’est cette articulation qui compte pour des usages comme une enquête d’incident ou un traitement documentaire : produire une réponse n’est qu’une étape du travail. Il faut aussi accéder aux bonnes informations, déclencher les actions prévues et permettre une intervention humaine.

Pour une équipe technique, Studio mérite donc d’être examiné comme un cadre d’exécution. L’évaluation peut porter sur la manière dont un processus est suivi et contrôlé, autant que sur la qualité du résultat final.

Ces fonctions sont disponibles sur Mistral Cloud. Les extensions aux déploiements privés sont annoncées pour fin novembre ; cette échéance reste distincte de la disponibilité actuelle.

Annonce officielle · Précisions sur la disponibilité

Images 2.6 : juger la création visuelle sur une série de retouches

Avec Images 2.6, annoncé le 4 novembre, OpenAI ajoute les GIF et améliore la cohérence entre les retouches. La mise à jour propose également Flare et Sunburst dans l’interface de programmation, avec des annotations et des sorties au format vectoriel SVG. Elle est disponible dans ChatGPT, Codex et l’API.

Le cas d’usage à retenir est la déclinaison d’un même produit ou personnage en plusieurs visuels et animations. Dans ce contexte, une image réussie ne suffit pas : il faut que les modifications successives conservent les caractéristiques attendues du sujet.

Un essai pertinent consiste donc à préparer une série de retouches sur un même visuel, puis à vérifier la continuité d’une étape à l’autre. La cohérence de la série est ici un critère plus utile que la seule impression produite par une image.

OpenAI annonce aussi une génération « 50 % plus rapide ». Ce chiffre reste une mesure de l’éditeur ; les nouvelles fonctions et la qualité des retouches peuvent être évaluées séparément.

Annonce officielle

Gemini Omni 1.2 Flash : produire puis corriger des clips courts

Google a présenté le 5 novembre Gemini Omni 1.2 Flash, qui porte la durée des vidéos à 15 secondes, renforce le suivi des références et améliore l’édition par conversation. Le tarif annoncé baisse de 30 % par rapport à la version 1.1.

Pour la production de clips courts, l’intérêt réside dans la possibilité de poursuivre le travail après une première génération : demander une correction, préciser une intention et vérifier que les références restent suivies. Cela place la capacité de révision au centre de l’évaluation.

Les limites signalées restent significatives : les mouvements rapides et la physique complexe demeurent imparfaits. Un test utile doit donc inclure les types de mouvements réellement nécessaires au projet, plutôt que de s’en tenir à des scènes simples.

Le service est accessible via l’API et AI Studio, avec des déploiements variables selon les applications.

Annonce officielle

GPT-6 Cyber : une spécialisation sécurité à accès restreint

Annoncé le 5 novembre, GPT-6 Cyber est spécialisé dans la recherche, la validation et la correction de vulnérabilités. Son entraînement inclut le respect du périmètre autorisé.

Son intérêt concerne les équipes de sécurité disposant d’un accès. Le lancement est limité à certains clients Daybreak Red approuvés, via l’API et Codex : il ne s’agit donc pas d’un outil immédiatement accessible à toutes les équipes.

Sur le plan technique, la proposition couvre plusieurs étapes du travail de sécurité, de l’identification d’un problème à sa correction. Pour les utilisateurs autorisés, l’évaluation devra examiner cette chaîne complète, notamment la validation des vulnérabilités signalées et le respect du périmètre défini. Les performances publiées proviennent principalement d’OpenAI et doivent être lues dans ce cadre.

Annonce officielle

Recherche

FlashProve : vérifier que le fournisseur exécute le modèle promis

Lorsqu’un service annonce utiliser un modèle donné, comment vérifier que ses réponses proviennent bien de ce modèle ? La question devient délicate si le fournisseur souhaite garder ses poids confidentiels.

Présenté par Anthropic le 2 novembre, FlashProve explore une réponse cryptographique : fournir une preuve du calcul effectué sans révéler les poids du modèle. Le prototype démontre cette possibilité sur Llama 4 Maverick.

Ce que cela pourrait changer en pratique, c’est la manière d’auditer un service d’IA. Une preuve du calcul apporterait un élément de contrôle sur le modèle réellement exécuté. Elle ne prouverait toutefois ni que la réponse est vraie, ni qu’elle est adaptée à l’usage : vérifier l’exécution et évaluer la qualité restent deux questions différentes.

Les contraintes du prototype sont fortes. Il repose sur du calcul entier, un choix déterministe des tokens — les unités de texte produites par le modèle — et un contexte limité à 1 024 tokens. Le surcoût de calcul graphique mesuré atteint 70 à 95 fois celui de l’exécution de référence. Enfin, le code rapide ne bénéficie pas entièrement de garanties formelles.

FlashProve est donc une démonstration expérimentale d’une possibilité d’audit, dont le coût et les restrictions limitent encore l’usage.

Publication primaire

StateBench : suivre ce qui a changé, pas seulement retrouver ce qui a été dit

Un agent peut retrouver une information dans un historique sans savoir si elle est encore valable. Dès qu’une valeur est modifiée plusieurs fois, mémoriser les messages ne suffit plus : il faut maintenir une représentation correcte de la situation actuelle.

C’est le problème étudié par StateBench, présenté par Ai2 dans un préprint du 2 novembre. Les auteurs construisent quatre niveaux de difficulté, allant d’une valeur fixe à des échanges entre variables, pour tester le suivi des changements.

Les résultats montrent que les modèles avancés échouent davantage lorsque les chaînes de modifications s’allongent. Des architectures récurrentes ou hybrides progressent fortement avec un entraînement ciblé.

L’enseignement pratique porte sur l’évaluation des agents. Tester leur capacité à retrouver un passage ne permet pas, à lui seul, de savoir s’ils peuvent suivre une tâche qui évolue. Il faut aussi vérifier qu’ils utilisent la dernière valeur valide, après plusieurs changements.

La portée des résultats reste circonscrite : les tâches sont synthétiques et comportent un nombre fixe d’entités. Elles ne reproduisent pas toute la complexité d’une conversation ouverte, mais isolent une difficulté utile à mesurer.

Article primaire · Explication du laboratoire

À mettre à l’épreuve

Deux essais ressortent de cette sélection : comparer Auto Code à son modèle habituel sur des tâches réelles, en suivant coût et réussite ; puis tester Images 2.6 sur une série de retouches où le même produit ou personnage doit rester reconnaissable.

Les travaux de recherche rappellent, eux, deux critères à garder dans ses évaluations : vérifier ce qu’un service exécute réellement et mesurer si un agent suit correctement les changements au fil d’une tâche.