Routage de modèles
Politique qui choisit le modèle ou le fournisseur adapté à chaque requête selon des critères mesurables.
AvancéSources vérifiées le .
Le routage de modèles est la logique qui choisit quel modèle ou fournisseur traitera une requête. La décision peut dépendre de la tâche, du coût, de la latence, de la confidentialité, des limites de débit et de la disponibilité.
Définition complète
Un routeur reçoit une requête, applique des règles puis l'envoie vers une cible compatible. La règle la plus simple utilise un modèle par défaut et un fallback en cas d'erreur. Une politique plus avancée classe la demande, impose une fenêtre de contexte minimale, filtre les fournisseurs autorisés ou privilégie le meilleur rapport coût qualité observé.
Le routage améliore la résilience et limite le vendor lock-in, mais il déplace une partie de la complexité dans la couche d'infrastructure. Les différences de formats, de capacités, de modération et de sortie structurée doivent être testées. Les journaux doivent aussi enregistrer la cible réellement utilisée pour attribuer le coût et diagnostiquer les écarts.
Analogie pour comprendre
Un standard téléphonique dirige chaque appel vers le bon service selon le sujet, la disponibilité et la priorité. Le numéro d'entrée reste le même, mais la personne ou l'équipe qui répond peut changer.
En pratique
Une première politique peut séparer les tâches courtes, les longs contextes et les actions sensibles. Chaque route garde une cible principale, un fallback compatible et une limite de coût. Le suivi porte ensuite sur la réussite, la latence, le coût réel et les différences de qualité par route.
Termes liés
Pour aller plus loin
Sources primaires
Questions fréquentes
Le fallback est une règle de secours déclenchée après un échec. Le routage couvre la décision complète, y compris le choix initial selon la tâche, le coût, la latence ou les contraintes de données.
Non. Deux modèles peuvent suivre des formats ou des consignes différemment. Une route fiable exige des contrats de sortie, des évaluations et des fallbacks compatibles avec le même besoin.