Une interface commune pour appeler, router et gouverner plusieurs fournisseurs de modèles depuis un SDK ou un proxy.
LiteLLM est une bibliothèque Python et un proxy central qui proposent une interface unifiée compatible avec des formats OpenAI pour plusieurs fournisseurs de modèles.
LiteLLM devient utile dès que plusieurs modèles, applications ou équipes partagent une même couche d'accès. Le SDK garde l'intégration légère dans une application Python. Le proxy apporte une gouvernance centralisée, avec davantage de responsabilités d'exploitation.
Développeurs, entrepreneurs techniques et équipes qui veulent changer de modèle, centraliser les accès ou limiter leur dépendance à un seul fournisseur.
Le SDK et le proxy sont disponibles en open source. Les coûts des fournisseurs de modèles et de l'infrastructure restent à ta charge.
Prix vérifié le
LiteLLM est une bibliothèque Python et un proxy central qui proposent une interface commune pour appeler plusieurs fournisseurs de modèles.
Le SDK s'intègre directement dans une application Python, tandis que le proxy crée une passerelle centralisée entre tes applications et les fournisseurs.
Cette couche commune facilite le routage, les retries et les fallbacks lorsque plusieurs modèles doivent servir une même application.
Elle ne gomme pas les différences entre les fournisseurs. Les capacités, paramètres, erreurs et politiques de données varient selon les fournisseurs, donc chaque parcours critique mérite un test réel.
Une API compatible avec des formats OpenAI simplifie l'appel de plusieurs fournisseurs sans réécrire toute la couche cliente.
Le routeur distribue les requêtes entre plusieurs déploiements selon les règles définies par l'équipe.
Les échecs peuvent déclencher une nouvelle tentative ou un repli vers un autre modèle configuré.
Le proxy centralise le suivi des dépenses et permet d'appliquer des budgets par usage.
Le proxy peut distribuer des clés virtuelles, contrôler les accès et appliquer du rate limiting.
Des hooks permettent d'ajouter des contrôles, des journaux et des règles autour des appels.
Une interface commune réduit la quantité de code à adapter lorsqu'un fournisseur ou un modèle change.
Une application peut basculer vers un autre déploiement lorsque le modèle principal devient indisponible.
Le proxy regroupe les clés virtuelles, les budgets, le rate limiting et les hooks dans une même passerelle.
Le SDK convient quand une application Python contrôle directement ses appels et que la gouvernance reste locale.
Le proxy devient pertinent quand plusieurs applications partagent les mêmes accès, budgets et règles de routage.
Une intégration fournisseur directe reste plus simple quand une seule application utilise un seul modèle sans besoin de gouvernance centralisée.
Fournisseurs de modèles compatibles, applications Python et services capables d'appeler une API au format OpenAI.
LiteLLM réduit le code spécifique à un fournisseur, mais les capacités, paramètres, erreurs et politiques de données restent différents. Le changement devient plus simple, sans devenir automatique.
Le SDK vit dans une application Python. Le proxy sert de passerelle commune à plusieurs applications et centralise les clés virtuelles, les budgets, le routage et le rate limiting.
Oui, le routeur documente les nouvelles tentatives et les fallbacks entre plusieurs déploiements. Leur comportement doit rester testé sur les cas réels de l'application.
Non. LiteLLM orchestre les appels vers les fournisseurs configurés, tandis que leurs modèles, tarifs et politiques continuent de s'appliquer.
Les formations et accompagnements payants du LABO IA t’aident à créer des applications, systèmes et workflows pour ton activité ou tes clients.
Crée ton compte gratuit dans LE SAS pour consulter le catalogue des programmes, offres et workshops.
Créer mon compte gratuit