Compar:IA
Améliorer la qualité des modèles de langage conversationnels
sur les usages francophones et sensibiliser les citoyens à l’IA générative
et ses enjeux
Le problème
Les modèles de langage (LLM) actuels sont majoritairement entraînés sur des données anglo-saxonnes. Cela soulève un enjeu majeur : comment garantir la place des langues et cultures française, francophone et européenne dans les imaginaires collectifs de demain ?
En parallèle, des questions juridiques complexes émergent : respect du droit d’auteur, gestion des données personnelles et répartition équitable de la valeur générée par ces technologies.
Une double problématique à résoudre :
1️⃣ Accès aux données en français :
- Comment les données en français peuvent-elles améliorer les performances des modèles ?
- Comment évaluer leur capacité à "bien parler" français et à refléter la culture locale ?
2️⃣ Évaluation humaine des modèles :
- Les tests spécifiques à la langue et à la culture française restent rares, coûteux et complexes.
- La majorité des corpus d'évaluation sont en anglais, risquent de biaiser les résultats et ne répondent pas toujours aux besoins des utilisateurs francophones.
Ces défis nécessitent des solutions concrètes pour renforcer l’intégration et l’efficacité des modèles en français tout en garantissant leur conformité éthique et juridique.
La bonne idée
L’arène Compar:IA, arène francophone de classement des modèles par préférences humaines, consiste à comparer grâce à un dispositif interactif et ludique les réponses générées par différents modèles à une invite donnée. Un utilisateur pose une question en français et obtient des réponses de deux LLM anonymes. Il vote pour le modèle qui fournit la réponse préférée et se voit ainsi révélée l’identité des modèles.
Ce dispositif de crowdsourcing inspiré de la plateforme « chatbot arena » (LMSYS) permet de constituer des jeux de données de préférences humaines sur des tâches réelles, en français, utilisables pour l’alignement des modèles et d’autres usages émergents. Ces jeux de données seront mis à la disposition des acteurs de l’écosystème académique et industriel du TAL.
Les chiffres :
Depuis début octobre :
- Plus de 10 000 votes
- Environ 30 000 questions posées
À propos
Compar:IA est porté par le Ministère de la Culture.
- Porteur : Ministère de la Culture
- Cheffe de produit : Lucie TERMIGNON
- Donner un accès simple et gratuit à plusieurs modèles d’IA conversationnels open source et propriétaires.
- Informer sur les caractéristiques des modèles et l’impact environnemental des discussions.
- Collecter les préférences, constituer et partager les jeux de données à des fins de recherche et d’alignement.
- Faible part des données en français dans les corpus d’entraînement des grands modèles de langue.
- Difficile objectivation des biais culturels et linguistiques portés par les modèles de langage.
- Forte médiatisation des sujets d’IA générative mais relativement faible appropriation.