IA LAB

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
====== Ministral 3 8B · Programme de Français FWB · Serveur IA Light ======

Test RAG comparatif · Ollama + AnythingLLM · PDF brut (N0) · TXT converti (N1) · Markdown (N2)

{{ :wiki:test-ia.webp |}}

{{:wiki:mistral-logo-color-black.png?200|}}

===== Fiche du test =====

^ Modèle         ^ Ministral 3 8B                        ^
| Éditeur        | Mistral AI                            |
| Quantisation   | Q4_K_M · ~5 Go                        |
| Environnement  | Ollama + AnythingLLM                  |
| Embedding      | AnythingLLM natif (all-MiniLM · CPU)  |
| Corpus         | Programme de Français FWB             |
| Niveaux        | N0 (PDF brut) · N1 (TXT) · N2 (Markdown) |

^ Machine        ^ Serveur IA Light                      ^
| CPU            | Ryzen 5 3600                          |
| RAM            | 16 Go                                 |
| GPU            | RTX 3050 · 8 Go VRAM                  |
| OS             | Linux Mint 22                         |

^ Scores moyens  ^ N0        ^ N1        ^ N2        ^
| Moyenne        | 4,17 / 5  | 4,17 / 5  | 4,67 / 5  |
| Vitesse        | ~16,2 – 17,6 tok/s (stable)         ||

===== Résultats par question =====

^ Q  ^ Type                        ^ N0    ^ N1    ^ N2    ^
| Q1 | Compétences de cycle        | 3/5   | 3/5   | 3/5   |
| Q2 | Objectif du programme       | 4/5   | 4/5   | 5/5   |
| Q3 | Approche en lecture         | 4/5   | 4/5   | 5/5   |
| Q4 | Piège culturel              | 5/5   | 5/5   | 5/5   |
| Q5 | Piège anti-hallucination    | 5/5   | 5/5   | 5/5   |
| Q6 | Différenciation pédagogique | 4/5   | 4/5   | 5/5   |
| **Moyenne** |                | **4,17** | **4,17** | **4,67** |

<WRAP round info>
**Comportement notable · Q4 et Q5 · 5/5 sur les trois niveaux**

Le modèle ne fabrique aucune information sur les deux questions pièges, quel que soit le niveau de préparation du corpus. En N1, il va même plus loin en distinguant la notion de période et d'heure dans le contexte FWB. C'est le comportement anti-hallucination le plus solide observé parmi les modèles testés sur ce corpus.
</WRAP>

<WRAP round info>
**Comportement notable · Q2 et Q3 · progression N0 vers N2**

Sur les deux questions les plus discriminantes du protocole, la qualité des réponses progresse clairement avec la préparation du corpus. En N2, le modèle cite les sections du programme avec précision et structure ses réponses autour des grands principes pédagogiques du référentiel. La conversion Markdown du corpus produit un gain mesurable et reproductible.
</WRAP>

<WRAP round alert>
**Point d'attention · temps de génération sur les longues réponses**

Sur Q6, les temps de réponse atteignent 56 à 57 secondes sur les trois niveaux. Ce plafond s'explique par la densité des réponses générées et la limite de bande passante de la RTX 3050 à 8 Go VRAM. Le débit reste stable mais la génération de contenus longs est perceptiblement plus lente que sur les configurations avec plus de VRAM.
</WRAP>

===== Enseignements =====

<WRAP round box>
**8 Go VRAM : suffisant pour un modèle 8B en usage RAG**

Le modèle tient entièrement en mémoire GPU sur la RTX 3050. La vitesse se maintient entre 16 et 18 tok/s sur toute la session sans dégradation progressive. Configuration viable pour un déploiement RAG sur corpus dense en contexte associatif ou scolaire.
</WRAP>

<WRAP round box>
**Longues réponses : plafond à surveiller**

Les questions nécessitant une synthèse étendue atteignent 56 secondes de génération. Ce délai reste acceptable en usage monoposte mais pourrait devenir problématique en accès partagé multi-utilisateurs. Un modèle plus petit ou une limite de tokens de sortie peut corriger ce point.
</WRAP>

<WRAP round box>
**N0 et N1 à parité : base solide dès le PDF brut**

Contrairement aux modèles 3B testés précédemment, Ministral 3 8B produit des résultats équivalents en N0 et N1 sur ce corpus. La préparation TXT n'apporte pas de régression. Le gain de N2 est net et régulier sur toutes les questions.
</WRAP>

<WRAP round box>
**Meilleurs scores 8B de la série sur ce corpus**

Avec 4,17 en N0/N1 et 4,67 en N2, ce test établit les meilleures moyennes observées sur un modèle 8B dans le cadre du test sur le programme de Français FWB. La taille du modèle combinée à la VRAM dédiée produit un rapport qualité/vitesse cohérent pour un usage professionnel accompagné.
</WRAP>

===== Verdicts =====

<WRAP round box>
**N0 · ★★★★☆ · Pertinent · base documentaire solide dès le PDF brut**

4,17/5 en moyenne. Le modèle s'appuie correctement sur le corpus sans fabrication et produit des réponses structurées dès le niveau brut. Supervision recommandée sur les questions à fort ancrage culturel local.
</WRAP>

<WRAP round box>
**N1 · ★★★★☆ · Pertinent · parité avec N0 · pas de régression observée**

4,17/5 en moyenne, identique au N0. La conversion TXT ne dégrade pas les résultats sur ce corpus, contrairement à ce qui a été observé sur d'autres modèles de la série. Usage avec supervision recommandé.
</WRAP>

<WRAP round box>
**N2 · ★★★★★ · Très pertinent · usage professionnel accompagné envisageable**

4,67/5 avec quatre 5/5 et aucune hallucination sur 18 réponses. Meilleur score de la série. Un usage professionnel accompagné est envisageable sur ce corpus en N2. Supervision maintenue sur les questions sans réponse dans le document.
</WRAP>

===== Ressources =====

[[:telechargements|Corpus et questionnaires utilisés · page Téléchargements]]
----

<WRAP round tip>
**Votre organisation envisage de déployer de l'IA locale ?** Comptoir Open Source accompagne les PME, associations et institutions dans la mise en place d'une infrastructure IA locale open source : sélection des modèles, configuration matérielle, déploiement des outils. [[https://comptoiropensource.org|comptoiropensource.org]]
</WRAP>