Giada Pistilli

giadap

AI & ML interests

Principal Ethicist @ HF

Recent Activity

Reacted to malhajar's post with 🔥 9 days ago
🇫🇷 Lancement officiel de l'OpenLLM French Leaderboard : initiative open-source pour référencer l’évaluation des LLMs francophones Après beaucoup d’efforts et de sueurs avec Alexandre Lavallee, nous sommes ravis d’annoncer que le OpenLLMFrenchLeaderboard est en ligne sur Hugging Face (space url: https://huggingface.co/spaces/le-leadboard/OpenLLMFrenchLeaderboard) la toute première plateforme dédiée à l’évaluation des grands modèles de langage (LLM) en français. 🇫🇷✨ Ce projet de longue haleine est avant tout une œuvre de passion mais surtout une nécessité absolue. Il devient urgent et vital d'oeuvrer à plus de transparence dans ce domaine stratégique des LLM dits multilingues. La première pièce à l'édifice est donc la mise en place d'une évaluation systématique et systémique des modèles actuels et futurs. Votre modèle IA français est-il prêt à se démarquer ? Soumettez le dans notre espace, et voyez comment vous vous comparez par rapport aux autres modèles. ❓ Comment ça marche : Soumettez votre LLM français pour évaluation, et nous le testerons sur des benchmarks de référence spécifiquement adaptés pour la langue française — notre suite de benchmarks comprend : - BBH-fr : Raisonnement complexe - IFEval-fr : Suivi d'instructions - GPQA-fr : Connaissances avancées - MUSR-fr : Raisonnement narratif - MATH_LVL5-fr : Capacités mathématiques - MMMLU-fr : Compréhension multitâche Le processus est encore manuel, mais nous travaillons sur son automatisation, avec le soutien de la communauté Hugging Face. @clem , on se prépare pour une mise à niveau de l’espace ? 😏👀 Ce n'est pas qu'une question de chiffres—il s'agit de créer une IA qui reflète vraiment notre langue, notre culture et nos valeurs. OpenLLMFrenchLeaderboard est notre contribution personnelle pour façonner l'avenir des LLM en France.
View all activity

Articles

Organizations

Hugging Face's profile picture Society & Ethics's profile picture BigScience Workshop's profile picture BigScience Data's profile picture HuggingFaceM4's profile picture Huggingface Projects's profile picture Stable Diffusion Dreambooth Concepts Library's profile picture Stable Diffusion Bias Eval's profile picture llm-values's profile picture Bias Leaderboard Development's profile picture Journalists on Hugging Face's profile picture Women on Hugging Face's profile picture Big Science Social Impact Evaluation for Bias and Stereotypes's profile picture

giadap's activity

upvoted an article 6 months ago
view article
Article

Reports on the Hub: A First Look at Self-governance in Open Source AI Development

By frimelle
8
upvoted an article 7 months ago