1048 39 151

Clémentine Fourrier

clefourrier

http://clefourrier.github.io

AI & ML interests

None yet

Recent Activity

updated a collection about 8 hours ago

Leaderboards and benchmarks ✨

liked a Space about 8 hours ago

MLSB/leaderboard2024

updated a Space about 11 hours ago

science/README

View all activity

Articles

BigCodeBench: Benchmarking Large Language Models on Solving Practical and Challenging Programming Tasks

Jun 18

• 42

Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens tokens and 11 languages

May 24

• 25

CyberSecEval 2 - A Comprehensive Evaluation Framework for Cybersecurity Risks and Capabilities of Large Language Models

May 24

• 21

Let's talk about LLM evaluation

May 23

• 134

Introducing the Open Arabic LLM Leaderboard

May 14

• 73

Introducing the Open Leaderboard for Hebrew LLMs!

May 5

• 32

Bringing the Artificial Analysis LLM Performance Leaderboard to Hugging Face

May 3

• 13

Improving Prompt Consistency with Structured Generations

Apr 30

• 57

Introducing the Open Chain of Thought Leaderboard

Apr 23

• 25

The Open Medical-LLM Leaderboard: Benchmarking Large Language Models in Healthcare

Apr 19

• 120

Introducing the LiveCodeBench Leaderboard - Holistic and Contamination-Free Evaluation of Code LLMs

Apr 16

• 14

Introducing the Chatbot Guardrails Arena

Mar 21

• 4

Introducing ConTextual: How well can your Multimodal model jointly reason over text and image in text-rich scenes?

Mar 5

• 4

TTS Arena: Benchmarking Text-to-Speech Models in the Wild

Feb 27

• 36

Introducing the Red-Teaming Resistance Leaderboard

Feb 23

• 13

Introducing the Open Ko-LLM Leaderboard: Leading the Korean LLM Evaluation Ecosystem

Feb 20

• 3

NPHardEval Leaderboard: Unveiling the Reasoning Abilities of Large Language Models through Complexity Classes and Dynamic Updates

Feb 2

• 3

Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases

Jan 31

• 3

The Hallucinations Leaderboard, an Open Effort to Measure Hallucinations in Large Language Models

Jan 29

• 17

A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard

Jan 12

• 6

Open LLM Leaderboard: DROP deep dive

Dec 1, 2023

• 4

Overview of natively supported quantization schemes in 🤗 Transformers

Sep 12, 2023

• 11

What's going on with the Open LLM Leaderboard?

Jun 23, 2023

• 21

Introduction to Graph Machine Learning

Jan 3, 2023

• 16

Organizations

clefourrier's activity

updated a collection about 8 hours ago

Leaderboards and benchmarks ✨

Collection

Cool leaderboard spaces collection for models across modalities! Text, vision, audio, ... • 79 items • Updated about 8 hours ago • 90

liked a Space about 8 hours ago

Running

🏅

Leaderboard2024

updated a Space about 11 hours ago

Running

🐠

README

New activity in open-llm-leaderboard/open_llm_leaderboard 1 day ago

FLAG - `newsbang/Homer-v0.5-Qwen2.5-7B` MATH contamination

#1022 opened 7 days ago by

fblgit

Reacted to thomwolf's post with 🧠🔥 2 days ago

Post

1461

Interesting long read from @evanmiller-anthropic on having a better founded statistical approach to Language Model Evaluations:
https://www.anthropic.com/research/statistical-approach-to-model-evals

Worth a read if you're into LLM evaluations!

Cc @clefourrier

1 reply

New activity in open-llm-leaderboard/open_llm_leaderboard 3 days ago

My model isn't showing up in the Pending Queue??

#1025 opened 4 days ago by

qingy2019

upvoted an article 5 days ago

Article

Halo: Open Source Health Tracking with Wearables

•

8 days ago

• 83

New activity in open-llm-leaderboard/open_llm_leaderboard 6 days ago

Are you willing to be a model evaluation mentor?

#1023 opened 6 days ago by

cdcv

New activity in AtlaAI/judge-arena 6 days ago

What are Meta-Llama-3.1-Instruct "Turbo" models?

#4 opened 6 days ago by

m-ric

New activity in HuggingFaceFW/fineweb 7 days ago

Rename README.md to WILSON.md

#54 opened 7 days ago by

bazike

Reacted to malhajar's post with 🔥 7 days ago

Post

3933

🇫🇷 Lancement officiel de l'OpenLLM French Leaderboard : initiative open-source pour référencer l’évaluation des LLMs francophones

Après beaucoup d’efforts et de sueurs avec Alexandre Lavallee, nous sommes ravis d’annoncer que le OpenLLMFrenchLeaderboard est en ligne sur Hugging Face (space url: le-leadboard/OpenLLMFrenchLeaderboard) la toute première plateforme dédiée à l’évaluation des grands modèles de langage (LLM) en français. 🇫🇷✨

Ce projet de longue haleine est avant tout une œuvre de passion mais surtout une nécessité absolue. Il devient urgent et vital d'oeuvrer à plus de transparence dans ce domaine stratégique des LLM dits multilingues. La première pièce à l'édifice est donc la mise en place d'une évaluation systématique et systémique des modèles actuels et futurs.

Votre modèle IA français est-il prêt à se démarquer ? Soumettez le dans notre espace, et voyez comment vous vous comparez par rapport aux autres modèles.

❓ Comment ça marche :
Soumettez votre LLM français pour évaluation, et nous le testerons sur des benchmarks de référence spécifiquement adaptés pour la langue française — notre suite de benchmarks comprend :

- BBH-fr : Raisonnement complexe
- IFEval-fr : Suivi d'instructions
- GPQA-fr : Connaissances avancées
- MUSR-fr : Raisonnement narratif
- MATH_LVL5-fr : Capacités mathématiques
- MMMLU-fr : Compréhension multitâche

Le processus est encore manuel, mais nous travaillons sur son automatisation, avec le soutien de la communauté Hugging Face.

@clem , on se prépare pour une mise à niveau de l’espace ? 😏👀

Ce n'est pas qu'une question de chiffres—il s'agit de créer une IA qui reflète vraiment notre langue, notre culture et nos valeurs. OpenLLMFrenchLeaderboard est notre contribution personnelle pour façonner l'avenir des LLM en France.