LLM APIs
Introduction
Afin qu'un agent puisse communiquer avec un LLM, il a besoin d'avoir une connexion configurée pour ce LLM.
Pour connecter votre agent à un fournisseur LLM cloud (OpenAI, Gemini, ..), il est prérequis d'avoir un compte chez le fournisseur ainsi qu'une clé d'API.
Pour les fournisseurs "self-hosted" (Ollama, vLLM, ...), seule l'URL de l'API est généralement requise pour communiquer avec le LLM.
Sur cette page, nous allons voir comment configurer un fournisseur LLM cloud ou local, que l'on pourra par la suite assigner à un agent.
Pré-requis: avoir une clé d'API chez un fournisseur cloud avec un compte disposant d'un minimum de crédit.
ou
Une instance Ollama (ou vLLM) avec au moins un modèle de chat supporté par l'application.
TIP
Pour plus d'informations sur la création, référez-vous à la section Ressources en fin de page.
OpenAI et Gemini
Pour ajouter une configuration LLM cloud, cliquer sur "+ Ajouter" puis entrez un nom, sélectionnez un fournisseur et entrez votre clef d'API.
Ollama
Pour les LLM locaux tel que Ollama ou vLLM, il vous faudra fournir au minimum une URL vers laquelle envoyer les requetes.
WARNING
⚠️ Il est fortement conseillé de sécuriser l'accès aux endpoints HTTP de votre LLM afin d'éviter les utilisations non voulues de celui-ci par des acteurs externes.
La configuration permet d'ajouter un token d'authentification sous n'importe quel format. Ce token, s'il est présent, est envoyé dans un header "Authorization" lors des requêtes HTTP au LLM.
Voilà, votre configuration est maintenant créée et vous pouvez l'utiliser pour paramétrer votre agent.