IA LAB

Cette page est en lecture seule. Vous pouvez afficher le texte source, mais ne pourrez pas le modifier. Contactez votre administrateur si vous pensez qu'il s'agit d'une erreur.
====== Ministral 3 14B · Logiciel libre (Wikipedia) · Serveur IA · Test W1 ======

Test RAG · Protocole W (Web) · Ingestion URL · Embedding bge-m3

{{ :wiki:test-ia.webp |}}

{{:wiki:mistral-logo-color-black.png?200|}}

===== Fiche du test =====

^ Modèle         ^ Ministral 3 14B                                              ^
| Éditeur        | Mistral AI                                                   |
| Environnement  | Ollama + AnythingLLM                                         |
| Embedding      | bge-m3 (BAAI) · réglages par défaut                          |
| Protocole      | W (Web) · ingestion via URL                                  |
| Source         | https://fr.wikipedia.org/wiki/Logiciel_libre                 |
| Date de récupération | 04/06/2025                                             |
| Type de contenu | Page encyclopédique · Wikipedia FR                         |
| Langue         | Français                                                     |

^ Machine        ^ Serveur IA                                                   ^
| CPU            | Ryzen 5 9600X                                                |
| RAM            | 32 Go                                                        |
| GPU            | RX 9060 XT · 16 Go VRAM                                     |
| OS             | Linux Mint 22                                                |

===== Vérification de l'ingestion =====

^ Paramètre            ^ Valeur observée                                          ^
| Chunks générés       | Non accessible via l'interface AnythingLLM               |
| Qualité du scraping  | Bonne à très bonne (évaluée via les réponses)            |
| Observations         | Contenu riche et structuré · sections bibliographiques et références internes bien ingérées · pas d'artefacts détectés |

===== Questions et réponses =====

==== G1 - Résumé global ====

**Question :** Fais un résumé structuré du contenu de ce document.

**Réponse (Ministral 3 14B) :**

Le modèle produit un résumé en 9 sections : définition et philosophie du logiciel libre (4 libertés, origine GNU, Stallman), distinction logiciel libre / open source, modèles économiques et adoption institutionnelle (marché français, circulaire Ayrault, socle interministériel), promotion et éducation (événements, livre jeunesse Ada & Zangemann), enjeux et controverses (surveillance, brevets, débat politique), références et sources, exemples concrets de succès économiques, notes terminologiques (privateur vs propriétaire, confusion anglophone free), et liens avec d'autres mouvements (culture libre, matériel libre).

**Évaluation :** Le scraping couvre l'ensemble de la page, y compris les sections bibliographiques et les références externes intégrées au HTML de Wikipedia. Aucun artefact détecté. La réponse est structurée, exhaustive et cohérente avec le contenu réel de la page.

**Temps de réponse :** 62,15 s · 27,22 tok/s

----


==== G2 - Thèmes principaux ====

**Question :** Quels sont les trois thèmes principaux abordés dans ce document ? Justifie chaque choix en une phrase.

**Réponse (Ministral 3 14B) :**

  - **Philosophie et valeurs du logiciel libre** le document insiste sur les libertés fondamentales et la critique des logiciels propriétaires, en s'appuyant sur Stallman et la FSF, avec une distinction claire entre mouvement social et approche technique.
  - **Modèles économiques et adoption institutionnelle**, les documents soulignent la croissance du marché (chiffres France), l'adoption publique (circulaire Ayrault, socle interministériel) et les modèles alternatifs documentés par l'AFUL et l'APRIL.
  - **Inclusion, diversité et enjeux sociétaux**, le texte aborde la sous-représentation des femmes, les initiatives correctives (Outreachy, Contributor Covenant) et les débats sur la surveillance et les brevets logiciels.

**Évaluation :** Les deux premiers thèmes sont pertinents et bien hiérarchisés. Le troisième (inclusion/diversité) correspond à une section réelle de la page Wikipedia, mais sa désignation comme « thème principal » traduit une légère sur-représentation de ce contenu dans le retrieval. La réponse expose les références internes du RAG (CONTEXT 0, 1, 2, 3), voir point critique ci-dessous.

**Temps de réponse :** 17,10 s · 26,26 tok/s

----


==== G3 - Piège anti-hallucination ====

**Question :** Le document mentionne-t-il des critiques formulées par Linus Torvalds à l'égard de Richard Stallman ? Si oui, lesquelles ?

**Réponse (Ministral 3 14B) :**

Aucune critique directe de Linus Torvalds envers Richard Stallman n'est mentionnée dans les documents fournis. Le texte évoque la collaboration entre les deux figures (combinaison de Linux et GNU) et le contexte historique de la création de Linux en 1991, sans référence à un désaccord ou à des propos polémiques.

**Évaluation :** Réponse correcte et sobre. Le modèle refuse d'inventer un conflit pourtant bien documenté dans d'autres sources, et reste strictement dans les limites du corpus. Comportement attendu sur un piège anti-hallucination.

**Temps de réponse :** 6,22 s · 26,69 tok/s

----


==== S1 - Extraction directe ====

**Question :** Quelle est la définition des quatre libertés fondamentales du logiciel libre telle qu'elle apparaît dans le document ?

**Réponse (Ministral 3 14B) :**

La FSF définit un logiciel libre comme celui qui confère à ses utilisateurs quatre libertés numérotées de 0 à 3 : liberté d'exécuter le programme pour tous les usages (0), liberté d'étudier et d'adapter (1), liberté de redistribuer des copies (2), liberté d'améliorer et de distribuer les améliorations (3). Des conditions complémentaires sont citées : irrévocabilité des libertés, accessibilité du code source sous forme compilée, possibilité de combiner des logiciels libres entre eux, tolérance pour certaines restrictions mineures (mentions de licence).

**Évaluation :** Les quatre libertés sont correctement restituées avec leur numérotation. Les guillemets dans la réponse présentent les formulations comme des citations directes, une vérification sur la page source confirme qu'il s'agit bien du texte verbatim et non d'une paraphrase mise entre guillemets.

**Temps de réponse :** 16,25 s · 26,65 tok/s

----


==== S2 - Synthèse ====

**Question :** Quelles sont les principales différences entre logiciel libre et open source telles qu'elles sont présentées dans le document ?

**Réponse (Ministral 3 14B) :**

Le modèle distingue cinq axes : (1) fondement philosophique (mouvement social vs approche technique), (2) terminologie et objectifs (liberté vs efficacité, ambiguïté de free), (3) approche des licences (copyleft strict via GPL vs flexibilité BSD), (4) positionnement des acteurs (FSF/Stallman vs OSI), (5) harmonisation pratique (convergence fréquente des licences libres et open source, avec exceptions). Une citation est signalée comme non explicitement présente dans le texte mais évoquée : « L'open source est un mouvement technique, le logiciel libre est un mouvement social ».

**Évaluation :** Réponse solide et nuancée. La section « harmonisation » apporte une profondeur au-delà de la simple opposition. La prudence du modèle sur la citation non explicite est notable.

**Temps de réponse :** 46,87 s · 25,96 tok/s

----


==== S3 - Inférence ====

**Question :** Sur la base du document, pourquoi le choix du terme « logiciel libre » plutôt que « open source » est-il selon certains acteurs un enjeu politique et non seulement technique ?

**Réponse (Ministral 3 14B) :**

Le modèle développe sept axes : (1) valeurs éthiques et philosophiques (mouvement social, libertés des utilisateurs face aux logiciels privateurs), (2) opposition aux modèles de pouvoir et de surveillance (espionnage, restrictions cachées dans les logiciels propriétaires), (3) lutte pour la démocratie numérique (liberté, égalité, fraternité, références aux principes révolutionnaires français), (4) débat sur les licences et la propriété (copyleft vs licences permissives récupérables par des acteurs propriétaires), (5) opposition aux monopoles et aux brevets logiciels, (6) représentation et diversité (lien entre logiciel libre et inclusion sociale), (7) impact de la terminologie elle-même (le mot « libre » comme prise de position). La réponse cite l'émission *Ce soir (ou jamais !)* (2013) avec Jérémie Zimmermann et Jacques Attali.

**Évaluation :** C'est la réponse la plus aboutie du test. Le modèle produit une inférence réelle à partir du corpus : il articule terminologie, philosophie, licences, pouvoir et démocratie de façon cohérente. La mention de l'émission télévisée est un détail précis et vérifiable. Aucune hallucination détectée.

**Temps de réponse :** 77,55 s · 25,20 tok/s

----


===== Points critiques =====

<WRAP round alert>
**Point critique · citations partiellement paraphrasées sur S1**
 
La vérification sur la page source confirme une restitution inégale des quatre libertés. Les libertés 0 et 1 sont fidèlement restituées : « la liberté d'exécuter le programme, pour tous les usages » et « la liberté d'étudier le fonctionnement du programme, et de l'adapter à ses besoins » correspondent au texte Wikipedia. Les libertés 2 et 3 sont en revanche des paraphrases présentées entre guillemets : la liberté 2 omet la formulation « donc d'aider son voisin » et la liberté 3 remplace « publier des améliorations, pour en faire profiter toute la communauté » par « distribuer ces améliorations au public ». Il ne s'agit pas d'hallucination — le sens est préservé, mais de reformulations inexactes mises entre guillemets. Ce comportement justifie une vigilance systématique sur les citations verbatim dans les tests W, indépendamment de la qualité globale du scraping.
</WRAP>

===== Comportements notables =====

<WRAP round info>
**Comportement notable · G3 · résistance solide au piège anti-hallucination**

Le modèle refuse d'inventer un conflit Torvalds/Stallman pourtant documenté hors corpus, et se limite strictement au contenu ingéré. Ce comportement est cohérent avec ce qui a été observé sur les tests N0/N1/N2 : Ministral 3 14B adopte une sobriété épistémique fiable face aux données absentes du corpus.
</WRAP>

<WRAP round info>
**Comportement notable · S3 · inférence de haut niveau sur un corpus encyclopédique**

La question d'inférence produit la réponse la plus développée et la plus structurée du test. Le modèle articule des dimensions absentes de la question (licences, brevets, démocratie numérique, inclusion) en les ancrant dans le corpus. Ce résultat montre que le protocole W sur une page Wikipedia dense peut produire des réponses de qualité comparable aux tests sur corpus préparés, au moins sur les questions ouvertes.
</WRAP>

<WRAP round info>
**Comportement notable · qualité du scraping évaluée indirectement**

En l'absence d'indicateur de chunks dans l'interface, la qualité du scraping a été évaluée via le contenu des réponses. La couverture est large : sections philosophiques, historiques, économiques, bibliographiques et références externes sont toutes représentées. La page Wikipedia FR sur le logiciel libre est entièrement en HTML statique, ce qui explique un scraping complet sans artefact de JavaScript dynamique ou de lazy loading.
</WRAP>

===== Enseignements =====

<WRAP round box>
**Le protocole W est viable sur une page Wikipedia FR bien structurée**

Ce premier test W confirme qu'AnythingLLM peut ingérer une page Wikipedia française complète et produire des résultats de qualité comparable aux tests sur corpus préparés. La page Logiciel libre est un cas favorable : HTML statique, contenu dense et structuré, absence de JavaScript dynamique. Ce résultat ne préjuge pas du comportement sur des pages institutionnelles plus légères ou des articles de presse avec navigation JS.
</WRAP>

<WRAP round box>
**La limite structurelle d'AnythingLLM 1.12.1 sur les métadonnées de chunks pénalise la reproductibilité**

L'impossibilité d'accéder au nombre de chunks depuis l'interface est une limite concrète pour la documentation des tests W. Sans ce chiffre, il est impossible de caractériser précisément la granularité de l'ingestion ni de comparer deux versions d'une même page. Ce point doit être signalé dans chaque article W jusqu'à ce qu'une solution de contournement soit identifiée (accès via API AnythingLLM, log système, ou autre).
</WRAP>

<WRAP round box>
**Le prompt système par défaut expose les références CONTEXT et doit être corrigé**

La fuite systématique des références CONTEXT 0/1/2/3 dans les réponses est un problème de configuration, pas une limite du modèle. Un prompt système personnalisé interdisant cette exposition est nécessaire pour tout usage en production ou pour des tests dont les réponses seront publiées telles quelles.
</WRAP>

<WRAP round box>
**Wikipedia FR est une source de référence utile pour calibrer le protocole W**

La stabilité dans le temps, la richesse du contenu, le HTML statique et la disponibilité sur web.archive.org font de Wikipedia un corpus de calibration idéal pour le protocole W. Les futurs tests W sur des sources moins prévisibles (institutionnelles, presse, documentation technique) pourront être comparés à ce test de référence.
</WRAP>

===== Verdict =====

<WRAP round box>
**Test W1 · ★★★★☆ · Résultats solides sur corpus encyclopédique · configuration à affiner**

Les six questions produisent des réponses cohérentes, sans hallucination détectée, avec une inférence de haut niveau sur S3. La qualité du scraping est bonne à très bonne pour une page Wikipedia HTML statique. Deux points de configuration doivent être corrigés avant les prochains tests : la fuite des références CONTEXT dans les réponses (prompt système) et l'absence d'indicateur de chunks dans l'interface (contournement à identifier). Le protocole W est validé comme approche complémentaire au protocole N0/N1/N2 pour des sources web stables.
</WRAP>

===== Reproductibilité =====

^ Paramètre             ^ Valeur                                                    ^
| URL                   | https://fr.wikipedia.org/wiki/Logiciel_libre              |
| Date de récupération  | 04/06/2026                                                |
| Archive               | https://web.archive.org/web/*/https://fr.wikipedia.org/wiki/Logiciel_libre |

===== Ressources =====

[[:telechargements|Corpus et questionnaires utilisés · page Téléchargements]]
----

<WRAP round tip>
**Votre organisation envisage de déployer de l'IA locale ?** Comptoir Open Source accompagne les PME, associations et institutions dans la mise en place d'une infrastructure IA locale open source : sélection des modèles, configuration matérielle, déploiement des outils. [[https://comptoiropensource.org|comptoiropensource.org]]
</WRAP>