N0 meilleur niveau : un résultat contre-intuitif

Le PDF brut surpasse les deux formats préparés sur ce test. Le corpus Nextcloud est dense et bien structuré nativement, ce qui suffit à AnythingLLM pour extraire les bons chunks sans préparation supplémentaire. La conversion TXT et la structuration Markdown n'apportent pas de gain, et le Markdown introduit des dérives supplémentaires.

Profil en V sur Q3 et Q4

Deux questions produisent le même schéma : N0 excellent, N1 défaillant, N2 en récupération. Ce profil en V signale une instabilité du pipeline RAG sur le corpus TXT pour ces sections précises, plutôt qu'une limite du modèle. La même question obtient 4/5 en N0 et 1/5 en N1 uniquement parce que le chunk n'a pas été fourni.

Hallucinations administrateur en N2

Les dérives N2 sur Q2 et Q6 sont d'un type particulier : le modèle ne fabrique pas de fausses informations Nextcloud, il répond à côté du corpus en produisant des contenus techniques corrects mais issus de son entraînement général (administration serveur, configuration PHP, WebRTC). Ces réponses sont difficiles à détecter sans connaître le périmètre exact du corpus testé.

Vitesse remarquable pour un 14B

Entre 29 et 32 tok/s sur la RX 9060 XT 16 Go, le modèle tourne à une vitesse fluide et constante sur l'ensemble de la session. Avec 16 Go de VRAM, le modèle est chargé entièrement sur GPU sans débordement sur la RAM système, ce qui explique la stabilité du débit même sur les réponses les plus longues (Q6 N2, 73 secondes de génération).

N0 · ★★★★☆ · Pertinent sous conditions · résultats solides avec refus honnêtes

4,0/5 en moyenne. Le modèle restitue correctement les procédures techniques denses et adopte une posture de refus claire sur les questions sans réponse dans le corpus. L'angle mort persistant sur Q2 et la dépendance à la qualité des chunks RAG imposent une supervision avant déploiement en conditions réelles.

N1 · ★★★☆☆ · Limité · usage avec supervision uniquement · défaillance RAG sur deux questions

3,0/5 en moyenne. Le recul important par rapport au N0 est principalement dû à l'absence de chunks pertinents pour Q3 et Q4. La posture anti-hallucination reste bonne mais les contraintes RAG sont trop importantes pour un usage sans supervision.

N2 · ★★★☆☆ · Limité · usage avec supervision uniquement · hallucinations administrateur

3,3/5 en moyenne. Le Markdown améliore la récupération RAG sur Q3 et Q4 par rapport au N1, mais introduit des hallucinations de type administrateur sur Q2 et Q6. Les réponses techniques produites sont plausibles et non documentées dans le corpus. Supervision indispensable.