Entraîner son IA en local

« Entraîner une IA sur mon sujet » peut désigner trois opérations très différentes. L'une coûte des millions d'euros, les deux autres tiennent sur un PC de joueur. Avant de toucher à une ligne de code, il faut savoir laquelle on vise, parce que le mauvais choix mène à des semaines de travail pour un modèle qui invente toujours les réponses.

Ce qu'est un LLM, en une minute

Un LLM (Large Language Model) est un réseau de neurones entraîné à prédire le mot suivant. À force de lire des milliers de milliards de mots, il a encodé dans ses poids — des milliards de nombres — une quantité énorme de connaissances et la capacité de suivre des instructions.

Deux étapes produisent les modèles qu'on télécharge :

1. Pré-entraînement : le modèle lit une fraction d'Internet, des livres, du code. Il apprend la langue et les faits. On obtient un modèle base, qui complète du texte mais ne « discute » pas.
2. Post-entraînement : on lui apprend à répondre à des consignes, à tenir une conversation, à refuser certaines demandes. On obtient un modèle instruct ou chat.

Pour les mécanismes de base et les usages courants, l'article l'IA pour les développeurs pose le décor.

Les trois façons de spécialiser un modèle

Entraîner un modèle depuis zéro sur « le potager » produirait un modèle incapable d'écrire une phrase correcte : il faut des milliards de mots juste pour apprendre la langue. Oubliez cette option. On part toujours d'un modèle existant.

Le RAG : donner une bibliothèque au modèle

RAG signifie Retrieval-Augmented Generation. Le principe :

Question de l'utilisateur
        │
        ▼
Recherche des passages pertinents dans VOS documents
        │
        ▼
Prompt = consignes + passages trouvés + question
        │
        ▼
LLM → réponse fondée sur les passages, avec sources

Le modèle ne « sait » rien de plus. On lui met sous les yeux, à chaque question, les pages utiles de votre documentation. C'est un examen à livre ouvert.

Forces : les connaissances se mettent à jour en ajoutant un fichier, les réponses peuvent citer leurs sources, et les hallucinations chutent fortement quand la recherche trouve le bon passage.

Faiblesses : si la recherche rate le bon passage, la réponse est mauvaise. Le modèle ne change ni de ton ni de façon de raisonner.

Le fine-tuning : changer le comportement du modèle

Le fine-tuning poursuit l'entraînement sur vos exemples (question → réponse idéale). Les poids changent.

Le fine-tuning est excellent pour :

• imposer un style, un ton, un format de réponse (toujours une liste d'étapes, toujours en tutoyant…)
• apprendre un vocabulaire métier et des façons de raisonner propres au domaine
• rendre un petit modèle aussi bon qu'un gros sur une tâche étroite
• apprendre à exploiter correctement des documents fournis (et à dire « je ne sais pas »)

Il est médiocre pour injecter des faits précis. C'est le point que la plupart des tutoriels passent sous silence. Montrer une fois au modèle que « la tomate se sème en février-mars sous abri » ne garantit pas qu'il le ressortira correctement, ni qu'il n'inventera pas une date pour l'aubergine. Pour qu'un fait soit mémorisé de façon fiable, il faut le présenter de nombreuses fois, sous de nombreuses formulations, avec un risque de dégrader les connaissances générales du modèle.

Quelle approche pour quel besoin

Mon avis, après plusieurs essais : pour « une IA qui sait tout ce qu'il faut savoir sur un sujet et répond correctement », commencez par le RAG. Il donne 80 % du résultat en une soirée. Ajoutez ensuite un fine-tuning pour ce que le RAG ne corrige pas : ton, structure des réponses, meilleure exploitation des passages, refus hors sujet. La combinaison des deux est ce qui donne les assistants les plus fiables.

Le plan de la formation

Chapitre 2  Matériel et environnement      → la machine est prête
Chapitre 3  Choisir le modèle de base      → une référence mesurée
Chapitre 4  Préparer les données           → corpus propre + jeu de Q/R
Chapitre 5  Construire le RAG              → assistant v1
Chapitre 6  Fine-tuner en QLoRA            → modèle spécialisé
Chapitre 7  Évaluer                        → on sait ce qui marche vraiment
Chapitre 8  Déployer et itérer             → modèle servi par Ollama

Le fil rouge : un assistant potager

On va construire un assistant capable de répondre à des questions comme :

• « Quand semer les carottes en pleine terre dans le nord de la France ? »
• « Mes feuilles de tomate jaunissent par le bas, que faire ? »
• « Qu'est-ce que je peux planter à côté des poireaux ? »

Le sujet est volontairement simple et bien documenté. Remplacez-le par le vôtre : la méthode est identique pour la documentation interne d'une entreprise, un règlement sportif ou un domaine technique.

Un mot sur les données

Entraîner en local a un avantage énorme : rien ne sort de votre machine. Si votre domaine touche à des données personnelles ou confidentielles, c'est souvent la seule option acceptable. Les implications juridiques sont traitées dans RGPD et IA.

On n'entraîne pas un LLM chez soi, on le spécialise. Le RAG apporte les connaissances, le fine-tuning apporte le comportement. Garder cette séparation en tête évite l'erreur la plus fréquente : fine-tuner pendant des jours en espérant que le modèle apprenne des faits qu'un simple RAG lui aurait donnés en une heure.