Test RAG · Protocole W (Web) · Ingestion URL · Embedding bge-m3

Question : Fais un résumé structuré du contenu de ce document.

Réponse (Ministral 3 14B) :

Le modèle produit un résumé en 9 sections : définition et philosophie du logiciel libre (4 libertés, origine GNU, Stallman), distinction logiciel libre / open source, modèles économiques et adoption institutionnelle (marché français, circulaire Ayrault, socle interministériel), promotion et éducation (événements, livre jeunesse Ada & Zangemann), enjeux et controverses (surveillance, brevets, débat politique), références et sources, exemples concrets de succès économiques, notes terminologiques (privateur vs propriétaire, confusion anglophone free), et liens avec d'autres mouvements (culture libre, matériel libre).

Évaluation : Le scraping couvre l'ensemble de la page, y compris les sections bibliographiques et les références externes intégrées au HTML de Wikipedia. Aucun artefact détecté. La réponse est structurée, exhaustive et cohérente avec le contenu réel de la page.

Temps de réponse : 62,15 s · 27,22 tok/s

Question : Quels sont les trois thèmes principaux abordés dans ce document ? Justifie chaque choix en une phrase.

Réponse (Ministral 3 14B) :

1. Philosophie et valeurs du logiciel libre le document insiste sur les libertés fondamentales et la critique des logiciels propriétaires, en s'appuyant sur Stallman et la FSF, avec une distinction claire entre mouvement social et approche technique.
2. Modèles économiques et adoption institutionnelle, les documents soulignent la croissance du marché (chiffres France), l'adoption publique (circulaire Ayrault, socle interministériel) et les modèles alternatifs documentés par l'AFUL et l'APRIL.
3. Inclusion, diversité et enjeux sociétaux, le texte aborde la sous-représentation des femmes, les initiatives correctives (Outreachy, Contributor Covenant) et les débats sur la surveillance et les brevets logiciels.

Évaluation : Les deux premiers thèmes sont pertinents et bien hiérarchisés. Le troisième (inclusion/diversité) correspond à une section réelle de la page Wikipedia, mais sa désignation comme « thème principal » traduit une légère sur-représentation de ce contenu dans le retrieval. La réponse expose les références internes du RAG (CONTEXT 0, 1, 2, 3), voir point critique ci-dessous.

Temps de réponse : 17,10 s · 26,26 tok/s

Question : Le document mentionne-t-il des critiques formulées par Linus Torvalds à l'égard de Richard Stallman ? Si oui, lesquelles ?

Réponse (Ministral 3 14B) :

Aucune critique directe de Linus Torvalds envers Richard Stallman n'est mentionnée dans les documents fournis. Le texte évoque la collaboration entre les deux figures (combinaison de Linux et GNU) et le contexte historique de la création de Linux en 1991, sans référence à un désaccord ou à des propos polémiques.

Évaluation : Réponse correcte et sobre. Le modèle refuse d'inventer un conflit pourtant bien documenté dans d'autres sources, et reste strictement dans les limites du corpus. Comportement attendu sur un piège anti-hallucination.

Temps de réponse : 6,22 s · 26,69 tok/s

Question : Quelle est la définition des quatre libertés fondamentales du logiciel libre telle qu'elle apparaît dans le document ?

Réponse (Ministral 3 14B) :

La FSF définit un logiciel libre comme celui qui confère à ses utilisateurs quatre libertés numérotées de 0 à 3 : liberté d'exécuter le programme pour tous les usages (0), liberté d'étudier et d'adapter (1), liberté de redistribuer des copies (2), liberté d'améliorer et de distribuer les améliorations (3). Des conditions complémentaires sont citées : irrévocabilité des libertés, accessibilité du code source sous forme compilée, possibilité de combiner des logiciels libres entre eux, tolérance pour certaines restrictions mineures (mentions de licence).

Évaluation : Les quatre libertés sont correctement restituées avec leur numérotation. Les guillemets dans la réponse présentent les formulations comme des citations directes, une vérification sur la page source confirme qu'il s'agit bien du texte verbatim et non d'une paraphrase mise entre guillemets.

Temps de réponse : 16,25 s · 26,65 tok/s

Question : Quelles sont les principales différences entre logiciel libre et open source telles qu'elles sont présentées dans le document ?

Réponse (Ministral 3 14B) :

Le modèle distingue cinq axes : (1) fondement philosophique (mouvement social vs approche technique), (2) terminologie et objectifs (liberté vs efficacité, ambiguïté de free), (3) approche des licences (copyleft strict via GPL vs flexibilité BSD), (4) positionnement des acteurs (FSF/Stallman vs OSI), (5) harmonisation pratique (convergence fréquente des licences libres et open source, avec exceptions). Une citation est signalée comme non explicitement présente dans le texte mais évoquée : « L'open source est un mouvement technique, le logiciel libre est un mouvement social ».

Évaluation : Réponse solide et nuancée. La section « harmonisation » apporte une profondeur au-delà de la simple opposition. La prudence du modèle sur la citation non explicite est notable.

Temps de réponse : 46,87 s · 25,96 tok/s

Question : Sur la base du document, pourquoi le choix du terme « logiciel libre » plutôt que « open source » est-il selon certains acteurs un enjeu politique et non seulement technique ?

Réponse (Ministral 3 14B) :

Le modèle développe sept axes : (1) valeurs éthiques et philosophiques (mouvement social, libertés des utilisateurs face aux logiciels privateurs), (2) opposition aux modèles de pouvoir et de surveillance (espionnage, restrictions cachées dans les logiciels propriétaires), (3) lutte pour la démocratie numérique (liberté, égalité, fraternité, références aux principes révolutionnaires français), (4) débat sur les licences et la propriété (copyleft vs licences permissives récupérables par des acteurs propriétaires), (5) opposition aux monopoles et aux brevets logiciels, (6) représentation et diversité (lien entre logiciel libre et inclusion sociale), (7) impact de la terminologie elle-même (le mot « libre » comme prise de position). La réponse cite l'émission *Ce soir (ou jamais !)* (2013) avec Jérémie Zimmermann et Jacques Attali.

Évaluation : C'est la réponse la plus aboutie du test. Le modèle produit une inférence réelle à partir du corpus : il articule terminologie, philosophie, licences, pouvoir et démocratie de façon cohérente. La mention de l'émission télévisée est un détail précis et vérifiable. Aucune hallucination détectée.

Temps de réponse : 77,55 s · 25,20 tok/s

Corpus et questionnaires utilisés · page Téléchargements