IA LAB

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
====== Ministral 3 14B · Programme de Français FWB · Serveur IA ======

Test RAG comparatif · Ollama + AnythingLLM · PDF brut (N0) · TXT converti (N1) · Markdown (N2)

{{ :wiki:test-ia.webp |}}

{{:wiki:mistral-logo-color-black.png?200|}}

===== Fiche du test =====

^ Modèle         ^ Ministral 3 14B                       ^
| Éditeur        | Mistral AI                            |
| Quantisation   | Q4_K_M · ~9 Go                        |
| Environnement  | Ollama + AnythingLLM                  |
| Embedding      | AnythingLLM natif (all-MiniLM · CPU)  |
| Corpus         | Programme de Français FWB             |
| Niveaux        | N0 (PDF brut) · N1 (TXT) · N2 (Markdown) |

^ Machine        ^ Serveur IA                            ^
| CPU            | Ryzen 5 9600X                         |
| RAM            | 32 Go                                 |
| GPU            | RX 9060 XT · 16 Go VRAM               |
| OS             | Linux Mint 22                         |

^ Scores moyens  ^ N0        ^ N1        ^ N2        ^
| Moyenne        | 3,67 / 5  | 3,17 / 5  | 4,00 / 5  |
| Vitesse        | ~30-31 tok/s (stable)               ||

===== Résultats par question =====

^ Q  ^ Type                        ^ N0    ^ N1    ^ N2    ^
| Q1 | Compétences de cycle        | 3/5   | 2/5   | 3/5   |
| Q2 | Objectif du programme       | 4/5   | 3/5   | 5/5   |
| Q3 | Approche en lecture         | 4/5   | 4/5   | 4/5   |
| Q4 | Piège culturel              | 3/5   | 3/5   | 3/5   |
| Q5 | Piège anti-hallucination    | 5/5   | 4/5   | 4/5   |
| Q6 | Différenciation pédagogique | 3/5   | 3/5   | 5/5   |
| **Moyenne** |                | **3,67** | **3,17** | **4,00** |

<WRAP round info>
**Comportement notable · Q2 · 5/5 en N2**

La formule centrale du programme est restituée avec sa référence de page précise, sans paraphrase, sans approximation. C'est ce qu'on attend d'un système RAG professionnel : extraire et citer avec précision. Premier modèle de la série à atteindre ce niveau sur cette question.
</WRAP>

<WRAP round info>
**Comportement notable · Q4 · même lacune, gestion différente**

Comme les autres modèles testés, Ministral 3 14B ne reconnaît pas le terme désignant une matière scolaire spécifique au contexte local. Mais là où les modèles plus petits dérivent sémantiquement, celui-ci constate simplement l'absence d'information et s'arrête. La taille du modèle améliore la gestion du doute, pas la connaissance culturelle.
</WRAP>

<WRAP round alert>
**Signal à surveiller · régression N1 atypique**

Sur Q1 et Q2, le niveau N1 (TXT converti) produit des réponses moins riches que N0 (PDF brut). Ce phénomène inverse est inhabituel dans notre protocole et suggère que la conversion TXT a fragmenté des sections clés du corpus. Une conversion alternative est recommandée avant de déployer N1 en production sur ce type de document.
</WRAP>

===== Enseignements =====

<WRAP round box>
**16 Go VRAM : stabilité totale en session**

Le modèle tient entièrement en mémoire GPU. Résultat : 30-31 tok/s constants sans dégradation progressive. Configuration minimale recommandée pour un modèle de cette taille en usage RAG sur corpus dense.
</WRAP>

<WRAP round box>
**La qualité de conversion N1 conditionne les résultats**

La régression N1 sur ce corpus invite à tester une conversion TXT alternative avant de conclure que ce niveau est insuffisant. Le potentiel du modèle reste intact, c'est la préparation du corpus qui est en cause.
</WRAP>

<WRAP round box>
**N2 : deux 5/5, aucune hallucination**

Premier modèle de la série à combiner citations précises avec références de page et aucune hallucination sur 18 réponses. Qualité documentaire nettement supérieure aux modèles 3-4B sur le même corpus.
</WRAP>

<WRAP round box>
**Gestion du doute bien supérieure aux petits modèles**

Sur les questions sans réponse dans le corpus, le modèle constate l'absence et s'arrête sans générer de contenu plausible non documenté. Comportement RAG plus fiable et plus sûr pour un usage professionnel.
</WRAP>

===== Verdicts =====

<WRAP round box>
**N0 · ★★★☆☆ · Limité · résultats corrects mais inférieurs aux attentes pour un 14B**

3,67/5 en moyenne. Le modèle produit des réponses exploitables mais reste en deçà du Ministral 3 8B sur ce corpus. Supervision recommandée. Usage avec vérification systématique des réponses.
</WRAP>

<WRAP round box>
**N1 · ★★★☆☆ · Limité · régression atypique à investiguer**

3,17/5 en moyenne. Niveau le plus faible de la série sur ce corpus. La régression par rapport à N0 est inhabituelle et probablement liée à la qualité de conversion TXT. Ne pas conclure à une limite du modèle avant un nouveau test avec une conversion alternative.
</WRAP>

<WRAP round box>
**N2 · ★★★★☆ · Pertinent · usage professionnel accompagné envisageable**

4,00/5 avec deux 5/5 et aucune hallucination sur 18 réponses. La préparation Markdown révèle le potentiel réel du modèle. Usage professionnel accompagné envisageable sur corpus bien structuré.
</WRAP>

===== Ressources =====

[[:telechargements|Corpus et questionnaires utilisés · page Téléchargements]]
----

<WRAP round tip>
**Votre organisation envisage de déployer de l'IA locale ?** Comptoir Open Source accompagne les PME, associations et institutions dans la mise en place d'une infrastructure IA locale open source : sélection des modèles, configuration matérielle, déploiement des outils. [[https://comptoiropensource.org|comptoiropensource.org]]
</WRAP>