Pourquoi payer au token quand on peut faire tourner sa propre IA ?
Nous avons fait passer nos charges d’IA à fort volume des API facturées au token vers nos propres serveurs GPU. Avec environ 430 millions de tokens par mois, un prix fixe coûte bien moins cher, et nos données restent sous notre contrôle. Les modèles locaux n’atteignent pas encore le niveau des modèles de pointe, c’est pourquoi nous utilisons les deux.
Nous avons toujours investi dans les meilleurs outils d’IA disponibles, notamment OpenAI, Anthropic et d’autres fournisseurs de premier plan. Ce sont d’excellents outils, et nous continuons à les utiliser là où ils sont pertinents. Mais l’IA est rapidement devenue partie intégrante de notre production quotidienne : elle génère désormais chaque jour des données structurées, des textes, des résumés et des classifications pour notre activité, et les transmet directement à nos systèmes, y compris notre ERP. Plus nos processus reposaient sur l’IA, plus nous consommions de tokens, et les coûts augmentaient mois après mois. Pour nos charges de travail principales à fort volume, la décision a donc été prise : faire tourner l’IA sur notre propre infrastructure dédiée.
Au cours des derniers mois, nous avons construit, géré et maintenu cette infrastructure. Ce rapport présente ce que cela a réellement demandé : trouver des serveurs dans un marché où les GPU se font rares, ce que cela coûte par rapport à un paiement au token, comment le système fonctionne, comment nous le sécurisons, ce que nous avons appris en chemin et la direction que nous comptons prendre.
Coûts, disponibilité et choix du bon hébergement
Le premier défi n’était pas technique. Il s’agissait tout simplement de trouver un serveur.
L’IA a créé une demande énorme en matériel GPU. Les grandes entreprises et les laboratoires d’IA achètent et louent de la capacité GPU à très grande échelle, et les entreprises plus petites en ressentent directement les effets. Lorsque nous avons commencé nos recherches, de nombreux hébergeurs n’avaient aucun serveur GPU adapté disponible, d’autres annonçaient de longs délais d’attente, et ceux qui étaient disponibles affichaient des prix extraordinairement élevés. Les rapports du secteur publiés en 2026 décrivent la même situation : hausse des prix de location des GPU, délais de livraison de plusieurs mois pour les nouveaux GPU haut de gamme et prix des serveurs toujours en hausse.
Il nous fallait plus que du simple matériel. Nos critères étaient les suivants :
Un GPU dédié, réservé à nous seuls, avec un accès complet à la carte plutôt qu’à une partie partagée.
Un prix mensuel fixe, pour que les coûts restent prévisibles, quel que soit notre niveau d’utilisation.
Un centre de données fiable avec une disponibilité garantie de 99,9 % et un support professionnel.
Suffisamment de mémoire et de stockage pour faire tourner côte à côte de grands modèles de langage, des modèles d’embedding et nos propres données.
Nous avons finalement trouvé des serveurs dédiés répondant à tous ces critères : des GPU NVIDIA professionnels et performants, avec un contrat mensuel à prix fixe.
La comparaison des coûts : tokens ou prix fixe
C’est ici que la décision devient évidente. Notre plateforme traite actuellement environ 100 millions de tokens par semaine, soit environ 430 millions de tokens par mois.
Voici ce que coûterait ce même volume avec les API d’IA commerciales, à leurs prix standard publiés (novembre 2026) :
Option | Prix par million de tokens (entrée / sortie) | Estimation par mois | Estimation par an |
|---|---|---|---|
Claude Sonnet 5.5 (Anthropic) | 2 $ / 10 $ | ~1 540 $ | ~18 500 $ |
GPT-6.2 Sol (OpenAI) | 2 $ / 10 $ | ~1 540 $ | ~18 500 $ |
Claude Opus 5.5 (Anthropic) | 4 $ / 20 $ | ~3 090 $ | ~37 000 $ |
GPT-6.2 Astra (OpenAI) | 8 $ / 40 $ | ~6 170 $ | ~74 100 $ |
Mode de calcul : environ 430 millions de tokens par mois, en supposant 80 % d’entrée et 20 % de sortie, ce qui correspond à notre charge de travail. Si la part de sortie était plus élevée, les coûts d’API le seraient aussi. Les prix sont des prix catalogue standard, hors remises et hors taxes.
Ce que montrent les chiffres :
Notre serveur fonctionne avec un prix mensuel fixe nettement inférieur même aux options intermédiaires de ce tableau, et qui ne représente qu’une petite fraction de ce que coûteraient les meilleurs modèles.
Avec une API, chaque requête supplémentaire coûte plus cher. Sur notre serveur, une utilisation accrue ne coûte rien de plus tant que le matériel n’est pas pleinement exploité, et il ne l’est pas.
Le coût est prévisible. Pas de factures surprises en cas de pic d’utilisation, et aucune exposition aux changements de prix d’un fournisseur.
Pour être honnêtes : les plus petits modèles cloud, les moins chers, coûtent moins par token. Mais ce sont des modèles bien plus petits, ils devraient être testés pour nos tâches, et chaque requête enverrait malgré tout nos données à un tiers.
Ce que nous avons construit
Deux serveurs GPU dédiés, installés et sécurisés de A à Z : système d’exploitation, accès, pare-feu et monitoring.
Des modèles d’IA open-weight qui tournent directement sur le GPU.
Notre propre plateforme d’IA, « Merkur » : un tableau de bord qui nous permet de démarrer et d’arrêter des modèles, de gérer les clés d’accès, de suivre l’utilisation et les coûts, de gérer des prompts versionnés et d’examiner les résultats de l’IA.
Une interface standard unique pour toutes les applications : faire passer un outil existant d’un fournisseur externe à notre serveur se résume le plus souvent à un changement de configuration.
Confidentialité et sécurité
La confidentialité et la sécurité ont été intégrées dès le premier jour :
Protection des données : pour ces charges de travail, les données des candidats et des clients sont traitées sur des serveurs qui nous sont réservés et ne sont jamais partagées avec des fournisseurs d’IA. L’installation a été conçue en tenant compte du RGPD et de la loi suisse sur la protection des données.
Accès renforcé : connexions uniquement par clé, pare-feu stricts et protection contre les intrusions.
Analyse des vulnérabilités et tests d’intrusion pour identifier les faiblesses de manière proactive. Une analyse s’exécute automatiquement chaque nuit et les résultats apparaissent directement dans notre tableau de bord.
Monitoring et alertes instantanées pour détecter les problèmes tôt et réagir avant que les utilisateurs ne soient touchés.
Appliquer les correctifs à l’heure des attaques permanentes
Gérer nos propres serveurs signifie que personne ne les met à jour à notre place, et la menace est bien réelle. L’année 2026 a montré que même les logiciels les plus utilisés et les plus fiables ne sont pas à l’abri :
NGINX (mai 2026) : une faille critique surnommée « NGINX Rift », cachée dans le code depuis environ 16 ans, a été attaquée quelques jours seulement après sa publication. NGINX est l’un des serveurs web les plus utilisés au monde.
PHP (octobre 2026) : deux failles critiques dans PHP lui-même, connues sous le nom de « PHP2Shell », ont été activement exploitées dans le monde entier peu après avoir été rendues publiques. Elles permettaient à des attaquants de prendre le contrôle à distance de serveurs web non corrigés, mettant en danger des millions de sites web.
Java (novembre 2026) : une faille critique dans l’environnement d’exécution Java, « Java4Shell », a été divulguée en même temps que la mise à jour de sécurité de novembre d’Oracle. Elle pouvait permettre à des attaquants d’exécuter leur propre code dans des applications Java.
Le noyau Linux, les plateformes de conteneurs et les bibliothèques système reçoivent eux aussi des correctifs de sécurité chaque mois.
Le schéma est toujours le même : dès qu’une faille est publique, les attaquants passent à l’action en quelques jours. La seule véritable protection consiste à appliquer les correctifs rapidement et systématiquement. Notre approche :
Les mises à jour de sécurité sont appliquées régulièrement, et les correctifs critiques dès leur publication.
Chaque couche est couverte : le système d’exploitation et le noyau, le serveur web, les langages de programmation et les frameworks, les bases de données et tous les conteneurs dans lesquels tourne la plateforme.
Les mises à jour sensibles sont planifiées. Les mises à jour du pilote GPU, du noyau système et de la plateforme de conteneurs sont testées puis installées lors de fenêtres de maintenance planifiées, car une seule mise à jour de pilote défectueuse peut mettre le GPU hors service.
Des analyses nocturnes montrent ce qui reste ouvert, afin que rien ne soit oublié et que chaque point critique soit traité.
Notre bot d’alerte
Nous avons développé notre propre bot qui surveille la plateforme 24 h/24. Dès qu’une requête passant par notre passerelle d’IA échoue, par exemple parce qu’un modèle ne répond pas ou qu’une application envoie des requêtes invalides, le bot envoie une alerte détaillée dans le chat de notre équipe. Les mêmes alertes apparaissent dans une cloche de notifications au sein de notre tableau de bord. Les problèmes nous parviennent en quelques secondes, où que nous soyons, au lieu d’être découverts des heures plus tard par un utilisateur.
Local ne veut pas dire « de pointe »
Il est important d’être honnête sur un point : faire tourner l’IA en local ne signifie pas que nous sommes au niveau des modèles de pointe.
Les modèles propriétaires les plus avancés de fournisseurs comme OpenAI et Anthropic sont entraînés avec des ressources colossales et restent en tête sur les tâches les plus difficiles, comme le raisonnement complexe, le code exigeant et les travaux longs en plusieurs étapes. Les modèles open source que nous utilisons sont plus petits et, pour ces tâches, ils ne sont pas à la hauteur.
Mais pour nos charges de travail principales, les modèles ouverts offrent la qualité dont nous avons besoin. C’est pourquoi nous utilisons les deux : les modèles cloud de pointe là où ils apportent le plus de valeur, et notre propre infrastructure pour le travail quotidien à fort volume.
L’écart évolue d’ailleurs en notre faveur. Tous les quelques mois, de nouveaux modèles ouverts plus performants sont entraînés et publiés, atteignant souvent le niveau que seuls les modèles fermés avaient un ou deux ans plus tôt. À chaque fois, notre workflow local s’améliore : nous pouvons tester un nouveau modèle sur nos propres tâches et l’adopter sans changer notre infrastructure, nos applications ni nos coûts.
Développements futurs
Conception du système et montée en charge
La plateforme a été conçue dès le départ pour pouvoir évoluer. Les prochaines étapes consistent à répartir la charge sur les deux serveurs, à traiter davantage de requêtes en parallèle sur chaque GPU et à utiliser des modèles plus petits et spécialisés pour les tâches simples, afin que le grand modèle reste disponible pour les tâches exigeantes.
Récupération et gestion des données
À mesure que davantage de données métier transitent par la plateforme, les protéger devient aussi important que les traiter. Nos priorités :
Des sauvegardes automatiques et chiffrées, stockées en dehors du serveur, sur un site distinct en Europe.
Des tests de restauration réguliers, car une sauvegarde ne compte qu’une fois qu’elle a été restaurée avec succès.
Des règles claires pour le cycle de vie des données : ce qui est conservé, pendant combien de temps, qui peut y accéder et quand c’est supprimé, conformément au RGPD.
Un plan de reprise documenté, afin qu’après une panne matérielle, la plateforme puisse être remise en service rapidement et de manière définie.
Déploiement sans interruption
Aujourd’hui, certaines mises à jour nécessitent encore un bref redémarrage, c’est pourquoi nous les planifions dans des fenêtres de maintenance. L’objectif est un déploiement sans interruption : la nouvelle version démarre à côté de l’ancienne, est vérifiée automatiquement et ne prend en charge le trafic qu’une fois qu’elle fonctionne correctement. En cas de problème, le trafic reste sur l’ancienne version. Nous pouvons ainsi livrer des améliorations et des correctifs de sécurité à tout moment, sans que nos utilisateurs ni l’ERP ne s’en aperçoivent.
Plus loin : un cluster GPU local
Aujourd’hui, nous louons des serveurs dédiés. À long terme, nous envisageons notre propre cluster GPU : plusieurs GPU fonctionnant ensemble comme un seul système. Un cluster nous permettrait de faire tourner des modèles plus grands et plus performants, de traiter beaucoup plus de requêtes simultanément et de continuer à fonctionner même lorsqu’une machine est en maintenance ou tombe en panne. Combiné à des modèles ouverts toujours meilleurs chaque année, cela nous rapprocherait encore de la qualité des modèles de pointe, tout en gardant nos données entièrement sous notre contrôle.
L’opportunité et le moment de cette étape dépendront de l’évolution de notre utilisation et du marché des GPU. Mais les bases que nous avons posées, notre propre plateforme et l’expérience de l’IA en production, rendent cette prochaine étape possible.
Ce que nous avons appris
La mémoire GPU est un budget. Chaque modèle doit mériter sa place.
Petits réglages, grands effets. Un seul paramètre peut décider si les résultats sont fiables ou aléatoires.
Les prompts sont du code. Versionnez-les, testez-les, relisez-les.
Mesurer avant d’optimiser. Vérifiez si un meilleur prompt suffit avant d’investir dans le fine-tuning.
Un système en production change tout. Dès que d’autres systèmes dépendent de votre serveur, chaque redémarrage doit être planifié.
La sécurité ne s’arrête jamais. Correctifs, analyses et monitoring sont un travail quotidien, pas une configuration ponctuelle.
Le résultat
Le meilleur des deux mondes : l’IA cloud de pointe là où elle apporte le plus de valeur, et notre propre infrastructure dédiée pour le travail quotidien. Pour nos charges de travail à fort volume, cela signifie des coûts plus bas et prévisibles, un contrôle total sur nos données et aucune dépendance envers un seul fournisseur d’IA, sur une plateforme conçue pour évoluer avec nous.
Faire tourner l’IA de cette manière n’a rien de plug and play. Trouver le matériel a été difficile, et l’exploiter exige chaque jour une véritable expertise et de la discipline. Mais nous prendrions la même décision sans hésiter.
Comment votre entreprise aborde-t-elle l’IA : cloud, infrastructure propre ou un mélange des deux ? Nous serions ravis de savoir comment d’autres s’y prennent.