Ministral 3 14B · Programme de Français FWB · Serveur IA
Test RAG comparatif · Ollama + AnythingLLM · PDF brut (N0) · TXT converti (N1) · Markdown (N2)
Fiche du test
| Modèle | Ministral 3 14B |
|---|---|
| Éditeur | Mistral AI |
| Quantisation | Q4_K_M · ~9 Go |
| Environnement | Ollama + AnythingLLM |
| Embedding | AnythingLLM natif (all-MiniLM · CPU) |
| Corpus | Programme de Français FWB |
| Niveaux | N0 (PDF brut) · N1 (TXT) · N2 (Markdown) |
| Machine | Serveur IA |
|---|---|
| CPU | Ryzen 5 9600X |
| RAM | 32 Go |
| GPU | RX 9060 XT · 16 Go VRAM |
| OS | Linux Mint 22 |
| Scores moyens | N0 | N1 | N2 |
|---|---|---|---|
| Moyenne | 3,67 / 5 | 3,17 / 5 | 4,00 / 5 |
| Vitesse | ~30-31 tok/s (stable) | ||
Résultats par question
| Q | Type | N0 | N1 | N2 |
|---|---|---|---|---|
| Q1 | Compétences de cycle | 3/5 | 2/5 | 3/5 |
| Q2 | Objectif du programme | 4/5 | 3/5 | 5/5 |
| Q3 | Approche en lecture | 4/5 | 4/5 | 4/5 |
| Q4 | Piège culturel | 3/5 | 3/5 | 3/5 |
| Q5 | Piège anti-hallucination | 5/5 | 4/5 | 4/5 |
| Q6 | Différenciation pédagogique | 3/5 | 3/5 | 5/5 |
| Moyenne | 3,67 | 3,17 | 4,00 |
Comportement notable · Q2 · 5/5 en N2
La formule centrale du programme est restituée avec sa référence de page précise, sans paraphrase, sans approximation. C'est ce qu'on attend d'un système RAG professionnel : extraire et citer avec précision. Premier modèle de la série à atteindre ce niveau sur cette question.
Comportement notable · Q4 · même lacune, gestion différente
Comme les autres modèles testés, Ministral 3 14B ne reconnaît pas le terme désignant une matière scolaire spécifique au contexte local. Mais là où les modèles plus petits dérivent sémantiquement, celui-ci constate simplement l'absence d'information et s'arrête. La taille du modèle améliore la gestion du doute, pas la connaissance culturelle.
Signal à surveiller · régression N1 atypique
Sur Q1 et Q2, le niveau N1 (TXT converti) produit des réponses moins riches que N0 (PDF brut). Ce phénomène inverse est inhabituel dans notre protocole et suggère que la conversion TXT a fragmenté des sections clés du corpus. Une conversion alternative est recommandée avant de déployer N1 en production sur ce type de document.
Enseignements
16 Go VRAM : stabilité totale en session
Le modèle tient entièrement en mémoire GPU. Résultat : 30-31 tok/s constants sans dégradation progressive. Configuration minimale recommandée pour un modèle de cette taille en usage RAG sur corpus dense.
La qualité de conversion N1 conditionne les résultats
La régression N1 sur ce corpus invite à tester une conversion TXT alternative avant de conclure que ce niveau est insuffisant. Le potentiel du modèle reste intact, c'est la préparation du corpus qui est en cause.
N2 : deux 5/5, aucune hallucination
Premier modèle de la série à combiner citations précises avec références de page et aucune hallucination sur 18 réponses. Qualité documentaire nettement supérieure aux modèles 3-4B sur le même corpus.
Gestion du doute bien supérieure aux petits modèles
Sur les questions sans réponse dans le corpus, le modèle constate l'absence et s'arrête sans générer de contenu plausible non documenté. Comportement RAG plus fiable et plus sûr pour un usage professionnel.
Verdicts
N0 · ★★★☆☆ · Limité · résultats corrects mais inférieurs aux attentes pour un 14B
3,67/5 en moyenne. Le modèle produit des réponses exploitables mais reste en deçà du Ministral 3 8B sur ce corpus. Supervision recommandée. Usage avec vérification systématique des réponses.
N1 · ★★★☆☆ · Limité · régression atypique à investiguer
3,17/5 en moyenne. Niveau le plus faible de la série sur ce corpus. La régression par rapport à N0 est inhabituelle et probablement liée à la qualité de conversion TXT. Ne pas conclure à une limite du modèle avant un nouveau test avec une conversion alternative.
N2 · ★★★★☆ · Pertinent · usage professionnel accompagné envisageable
4,00/5 avec deux 5/5 et aucune hallucination sur 18 réponses. La préparation Markdown révèle le potentiel réel du modèle. Usage professionnel accompagné envisageable sur corpus bien structuré.
Ressources
Corpus et questionnaires utilisés · page Téléchargements
Votre organisation envisage de déployer de l'IA locale ? Comptoir Open Source accompagne les PME, associations et institutions dans la mise en place d'une infrastructure IA locale open source : sélection des modèles, configuration matérielle, déploiement des outils. comptoiropensource.org