Pourquoi on-premise
Trois raisons reviennent chez nos clients. La conformité d'abord : la nLPD encadre les communications de données personnelles à l'étranger, et les API d'IA américaines compliquent l'analyse pour les secteurs sensibles — santé, fiduciaire, secteur public. Les secrets d'affaires ensuite : un contrat, un brevet ou un dossier client n'a rien à faire dans le prompt d'un service tiers. La maîtrise enfin : un modèle auto-hébergé ne change pas de comportement du jour au lendemain parce qu'un fournisseur a mis à jour son API.
Choisir le modèle
Les modèles open-weights — Llama, Mistral, Qwen et leurs dérivés — couvrent aujourd'hui la grande majorité des cas d'usage d'entreprise : extraction, classification, synthèse, questions-réponses sur corpus documentaire. La bonne démarche n'est pas de viser le plus gros modèle, mais le plus petit qui réussit votre tâche : un modèle de 8 à 30 milliards de paramètres, éventuellement quantisé, tourne sur un serveur GPU unique et suffit très souvent. On dimensionne à partir d'un jeu d'évaluation, pas d'un benchmark public.
RAG avant fine-tuning
Le réflexe « il faut entraîner le modèle sur nos données » est presque toujours prématuré. Le RAG — retrieval-augmented generation — apporte la connaissance métier au moment de la requête, reste à jour sans réentraînement, et surtout permet de citer les sources : dans un contexte réglementé, une réponse sans référence vérifiable est inutilisable. Nous réservons le fine-tuning aux cas où le format de sortie ou le ton doivent être profondément adaptés.
Isolation et gouvernance
Un LLM interne est un composant d'infrastructure comme un autre : réseau isolé ou dans vos murs, contrôle d'accès par rôle, journalisation des requêtes, et inscription du traitement dans votre registre nLPD. Pour les environnements validés — pharma notamment — la qualification s'inscrit dans le cadre GAMP 5, avec un dossier de tests reproductibles.
Les pièges classiques
- Sous-estimer l'évaluation — sans jeu de test métier, impossible de savoir si le système régresse à chaque changement de modèle.
- Surdimensionner le GPU — commencer petit, mesurer, puis grandir ; l'inverse coûte cher et n'apporte rien.
- Oublier le cycle de vie — un modèle se met à jour, se réévalue et se remplace : prévoyez-le dès l'architecture.
Par où commencer
Un atelier de cadrage d'une demi-journée suffit généralement à identifier le premier cas d'usage rentable, le niveau de confidentialité requis et l'infrastructure cible. C'est exactement le format de notre phase de cadrage.