Hugging Face's logo

Spaces:
Auto-Arena
/
Leaderboard
Running

App Files Community
1
isakzhang commited on
Commit
872fcfa
•
1 Parent(s): 6204efe

update design

Browse files
Files changed (8) hide show
  1. README.md +1 -1
  2. app.py +88 -2
  3. src/display/__pycache__/about.cpython-39.pyc +0 -0
  4. src/display/about.py +2 -1
  5. src/leaderboard/__pycache__/load_results.cpython-39.pyc +0 -0
  6. src/leaderboard/load_results.py +13 -1
  7. src/results/auto-arena-llms-results-20240531.csv +200 -0
  8. src/results/auto-arena-llms-results-chinese-20240531.csv +196 -0
README.md CHANGED
@@ -1,5 +1,5 @@
1
  ---
2
- title: SeaExam Leaderboard
3
  emoji: 🥇
4
  colorFrom: blue
5
  colorTo: yellow
 
1
  ---
2
+ title: Auto-Arena Leaderboard
3
  emoji: 🥇
4
  colorFrom: blue
5
  colorTo: yellow
app.py CHANGED
@@ -23,14 +23,17 @@ def restart_space():
23
  API.restart_space(repo_id="Auto-Arena/Leaderboard")
24
 
25
 
26
- csv_path = f"./src/results/auto-arena-llms-results-20240529.csv"
 
27
  df_results = load_data(csv_path)
 
28
 
29
  all_columns = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
30
  show_columns = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
31
  TYPES = ['number', 'markdown', 'str', 'str', 'str', 'str', 'number']
32
 
33
  df_results_init = df_results.copy()[show_columns]
 
34
 
35
  def update_table(
36
  hidden_df: pd.DataFrame,
@@ -88,7 +91,7 @@ with demo:
88
 
89
  with gr.Tabs(elem_classes="tab-buttons") as tabs:
90
  # the first tab
91
- with gr.TabItem("🏅 Overall", elem_id="llm-benchmark-Sum", id=0):
92
  # meta-info
93
  with gr.Row():
94
  with gr.Column():
@@ -124,6 +127,8 @@ with demo:
124
  # column_widths=["20%", "6%", "8%", "6%", "8%", "8%", "6%", "6%", "6%", "6%", "6%"],
125
  )
126
 
 
 
127
  hidden_leaderboard_table_for_search = gr.components.Dataframe(
128
  value=df_results_init,
129
  # elem_id="leaderboard-table",
@@ -167,6 +172,87 @@ with demo:
167
  leaderboard_table,
168
  )
169
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
170
  # with gr.TabItem("📝 About", elem_id="llm-benchmark-tab-table", id=1):
171
  # gr.Markdown(LLM_BENCHMARKS_TEXT, elem_classes="markdown-text")
172
 
 
23
  API.restart_space(repo_id="Auto-Arena/Leaderboard")
24
 
25
 
26
+ csv_path = f"./src/results/auto-arena-llms-results-20240531.csv"
27
+ csv_path_chinese = f"./src/results/auto-arena-llms-results-chinese-20240531.csv"
28
  df_results = load_data(csv_path)
29
+ df_results_chinese = load_data(csv_path_chinese)
30
 
31
  all_columns = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
32
  show_columns = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
33
  TYPES = ['number', 'markdown', 'str', 'str', 'str', 'str', 'number']
34
 
35
  df_results_init = df_results.copy()[show_columns]
36
+ df_results_chinese_init = df_results_chinese.copy()[show_columns]
37
 
38
  def update_table(
39
  hidden_df: pd.DataFrame,
 
91
 
92
  with gr.Tabs(elem_classes="tab-buttons") as tabs:
93
  # the first tab
94
+ with gr.TabItem("English", elem_id="llm-benchmark-Sum", id=0):
95
  # meta-info
96
  with gr.Row():
97
  with gr.Column():
 
127
  # column_widths=["20%", "6%", "8%", "6%", "8%", "8%", "6%", "6%", "6%", "6%", "6%"],
128
  )
129
 
130
+ gr.Markdown("The \"Cost\" column is calculated as USD / Million tokens of output.")
131
+
132
  hidden_leaderboard_table_for_search = gr.components.Dataframe(
133
  value=df_results_init,
134
  # elem_id="leaderboard-table",
 
172
  leaderboard_table,
173
  )
174
 
175
+ with gr.TabItem("Chinese", elem_id="llm-benchmark-Sum", id=1):
176
+ # meta-info
177
+ with gr.Row():
178
+ with gr.Column():
179
+ search_bar = gr.Textbox(
180
+ placeholder=" 🔍 Search for models you are interested in (separate multiple models with `;`) and press ENTER...",
181
+ show_label=False,
182
+ elem_id="search-bar",
183
+ )
184
+ # with gr.Row():
185
+ # with gr.Column():
186
+ # type_query = gr.CheckboxGroup(
187
+ # choices=["🟢 base", "🔶 chat"],
188
+ # value=["🔶 chat" ],
189
+ # label="model types to show",
190
+ # elem_id="type-select",
191
+ # interactive=True,
192
+ # )
193
+ with gr.Column():
194
+ open_query = gr.CheckboxGroup(
195
+ choices=["open", "closed"],
196
+ value=["open", "closed"],
197
+ label="open-source OR closed-source models?",
198
+ elem_id="open-select",
199
+ interactive=True,
200
+ )
201
+
202
+ leaderboard_table = gr.components.Dataframe(
203
+ value = df_results_chinese,
204
+ datatype = TYPES,
205
+ elem_id = "leaderboard-table",
206
+ interactive = False,
207
+ visible=True,
208
+ # column_widths=["20%", "6%", "8%", "6%", "8%", "8%", "6%", "6%", "6%", "6%", "6%"],
209
+ )
210
+
211
+ gr.Markdown("The \"Cost\" column is calculated as USD / Million tokens of output.")
212
+
213
+ hidden_leaderboard_table_for_search = gr.components.Dataframe(
214
+ value=df_results_chinese_init,
215
+ # elem_id="leaderboard-table",
216
+ interactive=False,
217
+ visible=False,
218
+ )
219
+
220
+ search_bar.submit(
221
+ update_table,
222
+ [
223
+ # df_avg,
224
+ hidden_leaderboard_table_for_search,
225
+ # shown_columns,
226
+ #type_query,
227
+ open_query,
228
+ # filter_columns_type,
229
+ # filter_columns_precision,
230
+ # filter_columns_size,
231
+ # deleted_models_visibility,
232
+ search_bar,
233
+ ],
234
+ leaderboard_table,
235
+ )
236
+
237
+ #for selector in [type_query, open_query]:
238
+ for selector in [open_query]:
239
+ selector.change(
240
+ update_table,
241
+ [
242
+ # df_avg,
243
+ hidden_leaderboard_table_for_search,
244
+ # shown_columns,
245
+ #type_query,
246
+ open_query,
247
+ # filter_columns_type,
248
+ # filter_columns_precision,
249
+ # filter_columns_size,
250
+ # deleted_models_visibility,
251
+ search_bar,
252
+ ],
253
+ leaderboard_table,
254
+ )
255
+
256
  # with gr.TabItem("📝 About", elem_id="llm-benchmark-tab-table", id=1):
257
  # gr.Markdown(LLM_BENCHMARKS_TEXT, elem_classes="markdown-text")
258
 
src/display/__pycache__/about.cpython-39.pyc CHANGED
Binary files a/src/display/__pycache__/about.cpython-39.pyc and b/src/display/__pycache__/about.cpython-39.pyc differ
 
src/display/about.py CHANGED
@@ -24,7 +24,7 @@ SUB_TITLE = """<h2 align="center" id="space-title">Automating LLM Evaluations wi
24
  # What does your leaderboard evaluate?
25
  INTRODUCTION_TEXT = """
26
  This leaderboard is from a completely automated large language model (LLM) evaluation framework by employing various LLM agents in peer-battles and committee discussions.
27
- You can find more details from the [project page](https://auto-arena.github.io/) and our [paper]().
28
  """
29
 
30
  # For additional details such as datasets, evaluation criteria, and reproducibility, please refer to the "📝 About" tab.
@@ -50,4 +50,5 @@ CITATION_BUTTON_TEXT = r"""
50
 
51
  CONTACT_TEXT = f"""
52
  ## Contact
 
53
  """
 
24
  # What does your leaderboard evaluate?
25
  INTRODUCTION_TEXT = """
26
  This leaderboard is from a completely automated large language model (LLM) evaluation framework by employing various LLM agents in peer-battles and committee discussions.
27
+ You can find more details from the [project page](https://auto-arena.github.io/) and our [paper](https://arxiv.org/abs/2405.20267).
28
  """
29
 
30
  # For additional details such as datasets, evaluation criteria, and reproducibility, please refer to the "📝 About" tab.
 
50
 
51
  CONTACT_TEXT = f"""
52
  ## Contact
53
+ We are open to collaborations! If you don't see your model on the leaderboard and hope to include it, all you need to do is providing an API key and reaching out to us at: zrc.esther@gmail.com, l.bing@alibaba-inc.com, saike.zwx@alibaba-inc.com. We will also regularly maintain the leaderboard by adding mainstream popular models and altering the peer-battle questions to prevent data contamination.
54
  """
src/leaderboard/__pycache__/load_results.cpython-39.pyc CHANGED
Binary files a/src/leaderboard/__pycache__/load_results.cpython-39.pyc and b/src/leaderboard/__pycache__/load_results.cpython-39.pyc differ
 
src/leaderboard/load_results.py CHANGED
@@ -26,7 +26,7 @@ def get_model_size(model_name, precision: str = "BF16", revision: str = "main"):
26
  return model_size
27
 
28
 
29
- def make_clickable_model(model_name, link=None):
30
  if len(model_name.split("/")) == 2:
31
  link = "https://huggingface.co/" + model_name
32
  return (
@@ -35,6 +35,18 @@ def make_clickable_model(model_name, link=None):
35
  return model_name
36
 
37
 
 
 
 
 
 
 
 
 
 
 
 
 
38
  def load_data(data_path):
39
  columns = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
40
  columns_sorted = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
 
26
  return model_size
27
 
28
 
29
+ def make_clickable_model_hf(model_name, link=None):
30
  if len(model_name.split("/")) == 2:
31
  link = "https://huggingface.co/" + model_name
32
  return (
 
35
  return model_name
36
 
37
 
38
+ def make_clickable_model(model_name, link=None):
39
+ # we assume the model name is written in markdown format with [name](link)
40
+ pattern = re.compile(r'\[(.*?)\]\((.*?)\)')
41
+ match = pattern.search(model_name)
42
+ if match:
43
+ text = match.group(1)
44
+ link = match.group(2)
45
+ return f'<a target="_blank" style="text-decoration: underline" href="{link}">{text}</a>'
46
+ else:
47
+ model_name
48
+
49
+
50
  def load_data(data_path):
51
  columns = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
52
  columns_sorted = ['Rank', 'Model', 'From', 'Open?', 'Params(B)', 'Cost', 'Score']
src/results/auto-arena-llms-results-20240531.csv ADDED
@@ -0,0 +1,200 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ Model,Rank,MT-Bench Hard,MT-Bench,MT-Bench,LC-AlpacaEval,openLLM,MMLU,From,Open?,Params(B),Cost,Score,模型,机构,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
2
+ [gpt-4o-2024-05-13](https://openai.com/index/hello-gpt-4o/),1,,,,57.5,,87.2,OpenAI,No,-,15,1197.26,[gpt-4o-2024-05-13](https://openai.com/index/hello-gpt-4o/),OpenAI,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
3
+ [GPT-4-turbo-0409](https://platform.openai.com/docs/models/gpt-4o),2,82.6,,,55,86.27,86.5,OpenAI,No,-,30,1137.712,[GPT-4-turbo-0409](https://platform.openai.com/docs/models/gpt-4o),OpenAI,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
4
+ [minimax-abab6.5-chat](https://platform.minimaxi.com/),3,,,,,,78.7,minimax,No,-,4.2,1090.027116,[minimax-abab6.5-chat](https://platform.minimaxi.com/),minimax,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
5
+ [meta-llama/Llama-3-70b-chat-hf](https://ai.meta.com/blog/meta-llama-3/),4,41.1,,,34.4,77.88,80.06,meta,Yes,70B,-,1076.688,[meta-llama/Llama-3-70b-chat-hf](https://ai.meta.com/blog/meta-llama-3/),meta,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
6
+ [glm-4](https://open.bigmodel.cn/trialcenter?modelCode=glm-4),5,,,,,,81.5,Zhipu AI,No,-,13.8,1063.642,[glm-4](https://open.bigmodel.cn/trialcenter?modelCode=glm-4),智谱,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
7
+ [reka-core-20240501](https://www.reka.ai/news/reka-core-our-frontier-class-multimodal-language-model),7,,,,,,83.2,Reka AI,No,-,25,1027.868,[reka-core-20240501](https://www.reka.ai/news/reka-core-our-frontier-class-multimodal-language-model),Reka AI,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
8
+ [command-r-plus](https://huggingface.co/CohereForAI/c4ai-command-r-plus),6,33.1,,,,74.62,75.7,Cohere,Yes,104B,15,1048.063,[command-r-plus](https://huggingface.co/CohereForAI/c4ai-command-r-plus),Cohere,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
9
+ [claude-3-haiku-20240307](https://www.anthropic.com/api),8,41.5,9.1,9.1,,84.8,75.2,Anthropic,No,-,1.25,1025.715,[claude-3-haiku-20240307](https://www.anthropic.com/api),Anthropic,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
10
+ [Qwen1.5-72B-chat](https://huggingface.co/Qwen/Qwen1.5-72B),9,36.1,8.61,8.61,36.6,72.91,77.2,Alibaba,Yes,72B,-,1024.823,[千问Qwen1.5-72B-chat](https://huggingface.co/Qwen/Qwen1.5-72B),阿里巴巴,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
11
+ [SenseChat-5](https://console.sensecore.cn/nova/home),10,,,,,,84.7,SenseTime,No,-,13.8,1007.46,[日日新SenseChat-5](https://console.sensecore.cn/nova/home),商汤科技,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
12
+ [Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1),11,23.4,8.3,8.3,23.7,72.71,71.4,Mistral AI,Yes,7B,-,963.534,[Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1),Mistral AI,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
13
+ [wenxin-4](https://yiyan.baidu.com/),12,,,,,,,Baidu,No,-,16.6,955.096,[文心一言wenxin-4](https://yiyan.baidu.com/),百度,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
14
+ [zero-one-ai/Yi-34B-Chat](https://huggingface.co/01-ai/Yi-34B-Chat),13,23.1,7,7,27.2,63.17,74.87,Zero One AI,Yes,34B,-,942.011,[zero-one-ai/Yi-34B-Chat](https://huggingface.co/01-ai/Yi-34B-Chat),零一万物,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
15
+ [mistral-large-2402](https://mistral.ai/news/mistral-large/),14,37.7,8.63,8.63,32.7,,81.2,Mistral AI,No,-,12,926.585,[mistral-large-2402](https://mistral.ai/news/mistral-large/),Mistral AI,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
16
+ [GPT-3.5-Turbo-0125](https://openai.com/index/new-embedding-models-and-api-updates/),15,23.3,7.94,7.94,17.7,71.02,70,OpenAI,No,-,1.5,890.189,[GPT-3.5-Turbo-0125](https://openai.com/index/new-embedding-models-and-api-updates/),OpenAI,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
17
+ [deepseek-ai/deepseek-llm-67b-chat](https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat),16,,,,17.8,,71.3,Deepseek AI,Yes,67B,-,841.463,[deepseek-ai/deepseek-llm-67b-chat](https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat),深度求索,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
18
+ [Llama-2-70b-chat](https://huggingface.co/meta-llama/Llama-2-70b-chat-hf),17,11.6,6.86,6.86,14.7,62.4,63.91,Meta,Yes,70B,-,815.808,[Llama-2-70b-chat](https://huggingface.co/meta-llama/Llama-2-70b-chat-hf),Meta,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
19
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
20
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
21
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
22
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
23
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
24
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
25
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
26
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
27
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
28
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
29
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
30
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
31
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
32
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
33
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
34
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
35
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
36
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
37
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
38
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
39
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
40
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
41
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
42
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
43
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
44
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
45
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
46
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
47
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
48
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
49
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
50
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
51
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
52
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
53
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
54
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
55
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
56
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
57
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
58
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
59
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
60
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
61
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
62
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
63
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
64
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
65
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
66
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
67
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
68
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
69
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
70
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
71
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
72
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
73
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
74
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
75
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
76
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
77
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
78
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
79
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
80
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
81
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
82
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
83
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
84
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
85
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
86
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
87
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
88
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
89
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
90
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
91
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
92
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
93
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
94
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
95
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
96
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
97
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
98
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
99
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
100
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
101
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
102
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
103
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
104
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
105
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
106
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
107
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
108
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
109
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
110
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
111
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
112
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
113
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
114
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
115
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
116
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
117
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
118
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
119
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
120
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
121
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
122
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
123
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
124
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
125
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
126
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
127
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
128
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
129
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
130
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
131
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
132
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
133
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
134
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
135
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
136
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
137
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
138
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
139
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
140
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
141
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
142
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
143
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
144
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
145
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
146
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
147
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
148
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
149
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
150
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
151
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
152
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
153
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
154
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
155
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
156
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
157
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
158
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
159
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
160
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
161
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
162
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
163
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
164
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
165
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
166
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
167
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
168
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
169
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
170
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
171
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
172
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
173
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
174
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
175
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
176
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
177
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
178
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
179
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
180
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
181
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
182
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
183
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
184
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
185
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
186
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
187
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
188
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
189
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
190
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
191
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
192
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
193
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
194
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
195
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
196
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
197
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
198
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
199
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
200
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
src/results/auto-arena-llms-results-chinese-20240531.csv ADDED
@@ -0,0 +1,196 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ,Rank,MT-Bench Hard,MT-Bench,MT-Bench,LC-AlpacaEval,openLLM,MMLU,,Open?,Params(B),Cost,Score,Model,From,,,,,,,,,,,,,,,,,,,,,,,,,,
2
+ [SenseChat-5](https://console.sensecore.cn/nova/home),1,,,,,,84.7,SenseTime,No,-,13.8,1135.631,[日日新SenseChat-5](https://console.sensecore.cn/nova/home),商汤,,,,,,,,,,,,,,,,,,,,,,,,,,
3
+ [gpt-4o-2024-05-13](https://openai.com/index/hello-gpt-4o/),2,,,,57.5,,87.2,OpenAI,No,-,15,1127.405,[gpt-4o-2024-05-13](https://openai.com/index/hello-gpt-4o/),OpenAI,,,,,,,,,,,,,,,,,,,,,,,,,,
4
+ [GPT-4-turbo-0409](https://platform.openai.com/docs/models/gpt-4o),3,82.6,,,55,86.27,86.5,OpenAI,No,-,30,1095.859,[GPT-4-turbo-0409](https://platform.openai.com/docs/models/gpt-4o),OpenAI,,,,,,,,,,,,,,,,,,,,,,,,,,
5
+ [Qwen1.5-72B-chat](https://huggingface.co/Qwen/Qwen1.5-72B),4,36.1,8.61,8.61,36.6,72.91,77.2,Alibaba,Yes,72B,-,1062.839,[千问Qwen1.5-72B-chat](https://huggingface.co/Qwen/Qwen1.5-72B),阿里巴巴,,,,,,,,,,,,,,,,,,,,,,,,,,
6
+ [glm-4](https://open.bigmodel.cn/trialcenter?modelCode=glm-4),5,,,,,,81.5,Zhipu AI,No,-,13.8,1048.09,[glm-4](https://open.bigmodel.cn/trialcenter?modelCode=glm-4),智谱,,,,,,,,,,,,,,,,,,,,,,,,,,
7
+ [claude-3-haiku-20240307](https://www.anthropic.com/api),6,41.5,9.1,9.1,,84.8,75.2,Anthropic,No,-,1.25,1005.053,[claude-3-haiku-20240307](https://www.anthropic.com/api),Anthropic,,,,,,,,,,,,,,,,,,,,,,,,,,
8
+ [wenxin-4](https://yiyan.baidu.com/),7,,,,,,,Baidu,No,-,16.6,999.635,[文心一言wenxin-4](https://yiyan.baidu.com/),百度,,,,,,,,,,,,,,,,,,,,,,,,,,
9
+ [minimax-abab6.5-chat](https://platform.minimaxi.com/),8,,,,,,78.7,minimax,No,-,4.2,979.544,[minimax-abab6.5-chat](https://platform.minimaxi.com/),minimax,,,,,,,,,,,,,,,,,,,,,,,,,,
10
+ [zero-one-ai/Yi-34B-Chat](https://huggingface.co/01-ai/Yi-34B-Chat),9,23.1,7,7,27.2,63.17,74.87,Zero One AI,Yes,34B,-,887.771,[zero-one-ai/Yi-34B-Chat](https://huggingface.co/01-ai/Yi-34B-Chat),零一万物,,,,,,,,,,,,,,,,,,,,,,,,,,
11
+ [meta-llama/Llama-3-70b-chat-hf](https://ai.meta.com/blog/meta-llama-3/),10,41.1,,,34.4,77.88,80.06,meta,Yes,70B,-,859.907,[meta-llama/Llama-3-70b-chat-hf](https://ai.meta.com/blog/meta-llama-3/),meta,,,,,,,,,,,,,,,,,,,,,,,,,,
12
+ [deepseek-ai/deepseek-llm-67b-chat](https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat),11,,,,17.8,,71.3,Deepseek AI,Yes,67B,-,798.267,[deepseek-ai/deepseek-llm-67b-chat](https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat),深度求索,,,,,,,,,,,,,,,,,,,,,,,,,,
13
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
14
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
15
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
16
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
17
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
18
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
19
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
20
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
21
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
22
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
23
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
24
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
25
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
26
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
27
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
28
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
29
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
30
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
31
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
32
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
33
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
34
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
35
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
36
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
37
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
38
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
39
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
40
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
41
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
42
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
43
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
44
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
45
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
46
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
47
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
48
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
49
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
50
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
51
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
52
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
53
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
54
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
55
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
56
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
57
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
58
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
59
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
60
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
61
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
62
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
63
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
64
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
65
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
66
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
67
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
68
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
69
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
70
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
71
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
72
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
73
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
74
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
75
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
76
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
77
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
78
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
79
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
80
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
81
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
82
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
83
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
84
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
85
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
86
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
87
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
88
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
89
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
90
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
91
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
92
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
93
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
94
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
95
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
96
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
97
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
98
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
99
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
100
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
101
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
102
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
103
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
104
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
105
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
106
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
107
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
108
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
109
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
110
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
111
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
112
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
113
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
114
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
115
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
116
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
117
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
118
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
119
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
120
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
121
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
122
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
123
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
124
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
125
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
126
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
127
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
128
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
129
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
130
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
131
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
132
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
133
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
134
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
135
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
136
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
137
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
138
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
139
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
140
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
141
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
142
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
143
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
144
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
145
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
146
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
147
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
148
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
149
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
150
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
151
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
152
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
153
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
154
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
155
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
156
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
157
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
158
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
159
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
160
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
161
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
162
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
163
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
164
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
165
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
166
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
167
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
168
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
169
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
170
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
171
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
172
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
173
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
174
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
175
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
176
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
177
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
178
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
179
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
180
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
181
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
182
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
183
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
184
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
185
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
186
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
187
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
188
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
189
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
190
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
191
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
192
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
193
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
194
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
195
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
196
+ ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,