Pourquoi le 14B préfère N0 sur ce corpus

Le manuel Nextcloud est un document technique dense mais bien structuré nativement en PDF. Le modèle 14B, dont la fenêtre d'attention est large, exploite efficacement la mise en page d'origine. La conversion TXT fragmente les tableaux et listes d'options sans en préserver la hiérarchie. Le Markdown induit des hallucinations de type administrateur sur Q2 et Q6, où le modèle sort du périmètre utilisateur pour produire du contenu technique plausible non documenté.

Pourquoi le 3B préfère N1 sur ce corpus

À l'inverse du 14B, le modèle 3B bénéficie de la sobriété apportée par le format TXT. La conversion linéarise le document et réduit le bruit visuel du PDF. Pour un modèle de cette taille qui opère sur des chunks courts, ce format produit moins de sur-interprétation. Le Markdown sur-stimule le modèle qui comble ses lacunes avec davantage d'assurance, amplifiant les dérives.

Le 8B produit le profil le plus stable mais pas le meilleur score

3,33/5 constant sur N0, N1 et N2 : aucune régression, aucun gain. Ce profil plat signale que les limites sont structurelles (chunking, sections non récupérées) et non liées au format de préparation.

Le Markdown amplifie les dérives sur les petits modèles

Le 3B en N2 produit davantage d'hallucinations qu'en N0 ou N1 sur ce corpus technique. C'est l'inverse du comportement observé sur le corpus FWB. La structuration Markdown sur-stimule le modèle de 3B en contexte de corpus IT dense.

phi4-mini : progression quasi nulle avec la préparation documentaire

+0,33 points sur 5 entre N0 et N2. C'est le gain le plus faible de toute la série IA LAB. Le modèle répond principalement depuis ses données d'entraînement, ignorant le corpus injecté. Le RAG n'améliore pas significativement ses performances sur ce corpus.

Anti-hallucination : comportements très divergents selon le modèle

Sur Q5, le 8B refuse correctement en N0 et N2 (5/5), le 14B refuse avec prudence (4/5), le 3B sort hors périmètre en proposant des outils tiers, et phi4-mini répond avec des commandes GPG sans signaler qu'il sort du corpus. Quatre comportements différents sur la même question.

La vitesse du 14B : atout réel sur corpus technique dense

29 à 32 tok/s constants sur la RX 9060 XT 16 Go, même sur les réponses de 73 secondes. Sur un corpus de cette densité, la vitesse est un critère pertinent pour un déploiement en contexte d'accompagnement multi-utilisateurs.

★★★★☆ · Ministral 3 14B · N0 · Pertinent sous conditions · meilleur score de la série

4,00/5 en N0 · cinq questions correctement traitées sur six · hallucinations administrateur en N2 à éviter · régression N1 documentée. Le PDF brut est le seul niveau recommandé sur ce corpus. Angle mort persistant sur Q2 : supervision indispensable avant tout déploiement autonome.

★★★☆☆ · Ministral 3 8B · N0/N2 · Limité · profil stable, angles morts structurels

3,33/5 constant sur les trois niveaux · comportement anti-hallucination exemplaire en N0 et N2 · deux angles morts (Q2 et Q4) non résolus par aucun niveau de préparation. Recommandé pour une aide technique de premier niveau avec supervision humaine.

★★★☆☆ · Ministral 3 3B · N1 · Limité · seul choix viable sur config 4 Go VRAM

3,67/5 en N1 · le format TXT produit une sobriété bénéfique sur corpus technique · le Markdown amplifie les dérives, à éviter sur ce type de corpus. Usage acceptable en assistance documentaire simple avec opérateur humain.

★★☆☆☆ · phi4-mini 3.8B · tous niveaux · Non adapté à ce corpus

2,33/5 au mieux · progression quasi nulle avec la préparation documentaire · sorties hors périmètre non signalées sur Q5 · bug d'inversion en N2. Non recommandé pour un usage RAG sur corpus technique IT, quel que soit le contexte matériel.