ATALAS LE BLOG
Changer de modèle IA en production sans casser un processus métier

Votre fournisseur retire un modèle IA ? Préparez les tests de non-régression, les critères de bascule et le plan de repli avant de migrer votre application.
Quand votre fournisseur retire un modèle IA, ne changez pas simplement son nom dans la configuration. Rejouez d’abord les mêmes dossiers avec l’ancien et le nouveau, bloquez la bascule si une règle métier critique échoue, puis exposez une petite partie du trafic au nouveau modèle. Et si l’ancien modèle doit disparaître, préparez un repli qui fonctionne sans lui : une file manuelle, un mode lecture seule ou un autre modèle déjà testé.
Un modèle plus récent peut produire des réponses plus convaincantes tout en cassant une intégration : un champ disparaît, une date change de format, ou l’agent appelle un outil dans un cas où il devait s’abstenir. Le sujet à tester n’est donc pas « quel modèle est le meilleur ? », mais « le processus tient-il encore ses engagements ? ».
Définissez ce qui n’a pas le droit de changer
Prenez un seul processus. Pour un assistant qui classe des demandes entrantes, notez ce que le logiciel attend : catégories autorisées, référence du dossier, réponse en cas de pièce manquante et règle d’escalade. Ajoutez les actions interdites, par exemple écrire dans le CRM ou envoyer un message sans validation. Une nouvelle version peut proposer un autre style ; elle ne peut pas s’arroger un droit de plus. Faites imposer ces limites par l’application, pas uniquement par le texte des consignes.
Conservez la configuration actuelle : modèle et version, consignes, schéma de sortie, outils autorisés, limites de délai et méthode de reprise. Notez aussi les processus qui partagent cette configuration. Si le prestataire a annoncé un retrait, relevez la date de fin et les conditions de maintien de votre déploiement dans sa documentation. La date d’annonce n’est pas forcément la date où votre appel API cessera de répondre.
Comparez sur vos dossiers, avant d’ouvrir le trafic
- Constituez un lot rejouable avec des dossiers ordinaires et des cas rares mais coûteux : pièce absente, langue inhabituelle, client mal identifié, outil momentanément indisponible. Utilisez des données autorisées et minimisées. Pour chaque cas sensible, écrivez ce que le système doit faire et ce qu’il ne doit jamais faire.
- Rejouez les mêmes entrées avec les deux versions. Gardez le contexte, les outils et les paramètres comparables ; si le nouveau modèle exige un nouveau schéma ou de nouvelles consignes, versionnez la configuration complète et testez-la comme un ensemble. Pour les actions externes, utilisez des outils simulés ou un environnement isolé. Rejouez plusieurs fois les cas critiques : un succès unique ne suffit pas.
- Demandez au responsable métier d’examiner les écarts. Mesurez aussi la part des sorties utilisables par le logiciel, le délai des cas les plus lents et le coût par dossier accepté, en incluant les reprises humaines. Pour calculer ce dernier, partez de la méthode de coût réel des agents IA.
| Constat | Décision |
|---|---|
| Une action interdite est tentée ou un cas critique n’est plus escaladé | Bloquer la bascule. Corriger le contrôle applicatif et rejouer tous les cas touchés. |
| Les règles critiques passent, mais le logiciel rejette un format | Garder l’ancien chemin tant qu’il est disponible. Corriger le schéma ou le code qui lit la sortie et retester de bout en bout. |
| Les contrôles passent sur le lot et les seuils de délai et de coût sont tenus | Exposer un segment peu risqué, avec un responsable et un seuil d’arrêt prédéfinis. |
| L’ancien modèle disparaît avant que le nouveau soit prêt | Passer en mode dégradé pour les dossiers concernés. Élargir seulement après un test concluant. |
L’absence d’erreur critique sur un petit lot est une condition de passage, pas une preuve que le risque est nul. Les cas comptent autant que leur nombre.
Répétez le retour arrière avant la bascule
Un test en parallèle envoie une copie contrôlée des entrées au nouveau modèle sans que sa réponse soit utilisée pour décider ou écrire. Un déploiement sur un petit segment laisse le nouveau chemin traiter un sous-ensemble réel, après validation des essais. Ne doublez jamais les écritures pendant un test et ne supposez pas qu’un retour arrière annulera une action déjà effectuée : il faut prévoir séparément comment la corriger.
Exemple fictif : une PME teste un nouvel assistant de qualification sur 80 dossiers, dont 12 situations exigeant un transfert à un humain. Le nouveau traite plus vite les cas simples mais omet deux transferts obligatoires. L’équipe bloque le lancement, rend le transfert indépendant du modèle lorsque les pièces sont absentes, puis rejoue le lot. Si l’ancien service est retiré avant le feu vert, les dossiers ambigus vont en file manuelle ; les autres conservent un chemin déjà testé.
Fixez le budget avec quatre postes : préparation et annotation du lot, adaptation de l’intégration, double exécution temporaire et relecture des exceptions. Pour la double exécution, multipliez le nombre de dossiers du test par leur coût d’appel réel sur chaque configuration, puis ajoutez le temps humain au coût chargé. Pour le délai, identifiez les dépendances : disponibilité de l’environnement de test, temps du responsable métier et date de retrait. Évitez de chiffrer en nombre de jours tant que ces trois éléments ne sont pas connus. Le guide de budget d’un projet IA sur mesure aide à séparer ces postes.
Décidez avant que le fournisseur décide pour vous
Chez Atalas, nous recommandons de n’autoriser une bascule que lorsque le responsable métier a signé les critères et qu’un opérateur a répété le repli. La prochaine action : prenez un processus en service et écrivez en une page le modèle actuel, la date limite, trois échecs bloquants, le nom de la personne qui peut interrompre la bascule et le chemin qui reste disponible sans le modèle d’origine. Si plusieurs outils métier sont concernés et qu’il est difficile de reproduire les incidents sans effet réel, le Studio IA Atalas peut vous aider à cadrer le banc d’essai et la bascule.
Questions fréquentes
Changer de version chez le même fournisseur exige-t-il un test ? Oui, dès qu’un logiciel ou une décision métier dépend de la sortie. Testez en priorité les règles de validation, le format attendu et les appels d’outils.
Combien de dossiers faut-il rejouer ? Aucun nombre universel. Couvrez chaque famille de cas importante, y compris les exceptions rares qui bloquent la mise en service. Complétez le lot avec des incidents réels autorisés lorsqu’ils apparaissent.
Peut-on comparer les modèles uniquement avec un score automatique ? Non. Utilisez les contrôles automatiques pour les formats, seuils et actions interdites ; faites contrôler par le métier les écarts ambigus et les cas qui engagent une décision.
Que faire si l’ancienne version a déjà été retirée ? Utilisez votre dernier lot de résultats approuvés comme référence si vous l’avez conservé. Réduisez le périmètre, désactivez les actions risquées et prévoyez un traitement manuel pendant que le remplaçant est testé.