Compar:IA
Comparer la pertinence de grands modèles de langage en langue française
Utilisable
91 modèles testés depuis le lancement
Utilisé
4000 heures audio traitées par mois
6 500 utilisateurs partout en France
Utile
Division par deux du temps de travail de retranscription
(3 à 4h par heure d’audition vs 6 à 7h avant)
Impactant
Contribution à la modernisation judiciaire, renforcement de la souveraineté numérique ministérielle, réduction du Shadow IA, sécurisation des données sensibles
Quand l'IA parle français avec un accent anglais
Imaginez que vous appreniez à parler le français en lisant principalement des livres en anglais, et une toute petite proportion de livres en français. Vous parlerez français, mais avec des tournures bizarres, des références culturelles décalées, et des erreurs de compréhension. C'est le problème des intelligences artificielles actuelles avec de nombreuses langues européennes. Les grands modèles de langage (LLM) actuels sont entraînés sur des données essentiellement anglo-saxonnes, créant des biais linguistiques et culturels. D'autre part, l'évaluation humaine des modèles sur des tâches en français reste coûteuse et complexe : les corpus d'évaluation existants sont également majoritairement en anglais et ne reflètent pas forcement nos usages francophones.
Face à ce constat, le Ministère de la Culture a développé Compar:IA, une plateforme publique permettant de tester et comparer des modèles d'IA conversationnelle en français tout en constituant un commun numérique pour l'écosystème.
Comment ça fonctionne ?
Compar:IA fonctionne selon le principe suivant :
- Comparaison à l'aveugle : l'utilisateur soumet une question à deux modèles anonymes parmi plus de 20 modèles
- Expression de préférence : l'utilisateur choisit la meilleure réponse
- Révélation et information : l'identité des modèles est dévoilée avec leurs caractéristiques (nom, taille, impact environnemental, etc.)
- Constitution d'un commun : les questions et préférences alimentent des jeux de données open source.
Et surtout : toutes ces questions et préférences sont partagées en open source pour aider à améliorer les IA pour tout le monde.
À propos
Informations clés
- Porteur : L'Atelier Numérique du Ministère de la Culture
- Sponsors : DINUM, Ministère de la Culture
- Phase : Disponible (lancé en janvier 2024)
Accès
Site web
compar:IA — Accès libre sans inscription
Fiche technique
- Code source : GitHub
- Technologies : Kubernetes, Python, Gradio, FastAPI, Svelte
- Code source ouvert : Jeux de données disponibles en open source sous licences ouvertes. Lien vers les données ouvertes
Contact
Quel impact pour moi ?
Si vous êtes citoyen, Compar:IA vous permet de tester et de participer concrètement à l'amélioration des intelligences artificielles en français. En quelques clics, vous contribuez à créer un bien commun numérique européen tout en comprenant mieux comment fonctionnent ces technologies.
Si vous travaillez en entreprise ou dans l'administration, la plateforme vous donne accès à un classement transparent et actualisé des modèles d'IA. Vous pouvez évaluer ces modèles sur vos propres cas d'usage et disposer de données pour éclairer le choix des bons outils.
Si vous êtes chercheur, vous accédez librement à des données de préférences humaines en français, précieuses pour mener des recherches sur l'évaluation des IA et collaborer avec d'autres équipes européennes.
Pour l'Europe dans son ensemble, Compar:IA contribue à notre souveraineté numérique en évitant de dépendre uniquement de données extra-européennes. Le projet préserve la diversité culturelle de nos langues et crée des ressources partagées et ouvertes, accessibles à tous.