14B vs 8B sur le même corpus et le même embedding : le volume de paramètres paye sur la prudence

Le 14B se distingue du 8B par un comportement plus prudent face aux données manquantes. Là où le 8B hallucine 34 périodes en N0 sur Q5, le 14B admet son ignorance sur les trois niveaux. Cette sobriété épistémique est un avantage concret en contexte RAG pédagogique, où une réponse fausse mais crédible est plus dangereuse qu'un aveu de limitation.

N0 meilleur niveau global : résultat contre-intuitif à nuancer

Avec 3,67/5, N0 obtient le meilleur score moyen du test – résultat inhabituel qui contraste avec le test 8B où N1 dominait. Ce renversement s'explique en partie par le comportement du 14B sur Q4 en N0 : plus structuré et moins dans la confusion totale qu'un modèle plus petit. Le score N0 doit cependant être lu avec prudence : la question Q5 reste sans réponse ancrée, et les performances N0/N1 sont très proches (3,67 vs 3,50). La conversion TXT demeure recommandée en pratique pour la fiabilité sur les données tabulaires.

N2 instable : Markdown contre-productif sur les sections à tableaux d'attendus

Le niveau N2 (3,33/5) obtient le score le plus bas malgré de meilleures performances sur Q3 et Q6. La dégradation provient essentiellement de Q1, où le chunking Markdown fragmente les tableaux d'attendus annualisés qui constituent le coeur du référentiel. Ce résultat confirme le constat du test 8B : la conversion Markdown introduit une complexité structurelle que le retrieval bge-m3 gère moins bien sur les sections tabulaires denses.

Q4 : comportement légèrement meilleur en 14B qu'en 8B, mais problème de fond identique

Le 8B obtenait 1/5 sur Q4 sur tous les niveaux en confondant systématiquement les croisements interdisciplinaires avec la section “Éveil aux langues” du primaire. Le 14B fait légèrement mieux (2/5 en N0 et N2, 3/5 en N1) en produisant des réponses plus structurées et en identifiant partiellement les bonnes articulations (ECA, EAM, ErE DD en N1). La confusion de fond reste néanmoins présente sur les trois niveaux. Ce comportement partagé entre les deux modèles pointe vers un problème de retrieval structurel sur ce corpus plutôt qu'une limite propre au modèle.

N0 · ★★★★☆ · Pertinent sous conditions · meilleur score du test · usage avec supervision

3,67/5 en moyenne. Le 14B gère le PDF brut sans hallucination, ce qui le distingue favorablement du 8B. Q2 parfaite, Q1 et Q3 solides, Q6 bien couverte. Les faiblesses restent Q5 (données tabulaires non récupérées) et Q4 (confusion éveil primaire / croisements secondaire). Usage avec supervision recommandé sur ces deux types de questions.

N1 · ★★★☆☆ · Limité · fiable sur les sections rédigées · usage avec supervision

3,50/5 en moyenne. La conversion TXT améliore légèrement Q4 par rapport à N0, mais n'apporte pas de gain sur Q5. Profil homogène et prévisible. Recommandé comme niveau de déploiement de base pour ce corpus, avec supervision active sur les données chiffrées et les croisements disciplinaires.

N2 · ★★★☆☆ · Limité · profil inégal · excellent sur la pédagogie, faible sur les référentiels tabulaires

3,33/5 en moyenne. La préparation Markdown produit les meilleures réponses du test sur Q3 et Q6, mais dégrade significativement Q1. Ce profil inégal le rend moins fiable que N0 et N1 pour un usage généraliste. Recommandé uniquement pour des interrogations ciblées sur les sections méthodologiques et pédagogiques du programme, avec supervision systématique sur toute question portant sur les attendus annualisés ou les données horaires.