Spaces:
Running
Running
ruochenzhao
commited on
Commit
•
9e65eaa
1
Parent(s):
872fcfa
Update src/results/auto-arena-llms-results-chinese-20240531.csv
Browse files
src/results/auto-arena-llms-results-chinese-20240531.csv
CHANGED
@@ -1,196 +1,196 @@
|
|
1 |
-
|
2 |
-
[
|
3 |
-
[
|
4 |
-
[GPT-4-turbo-0409](https://platform.openai.com/docs/models/gpt-4o),3,82.6,,,55,86.27,86.5,OpenAI,No,-,30,
|
5 |
-
[Qwen1.5-72B-chat](https://huggingface.co/Qwen/Qwen1.5-72B),4,36.1,8.61,8.61,36.6,72.91,77.2,Alibaba,Yes,72B,-,
|
6 |
-
[glm-4](https://open.bigmodel.cn/trialcenter?modelCode=glm-4),5,,,,,,81.5,Zhipu AI,No,-,13.8,
|
7 |
-
[claude-3-haiku-20240307](https://www.anthropic.com/api),6,41.5,9.1,9.1,,84.8,75.2,Anthropic,No,-,1.25,
|
8 |
-
[wenxin-4](https://yiyan.baidu.com/),7,,,,,,,Baidu,No,-,16.6,
|
9 |
-
[minimax-abab6.5-chat](https://platform.minimaxi.com/),8,,,,,,78.7,minimax,No,-,4.2,
|
10 |
-
[zero-one-ai/Yi-34B-Chat](https://huggingface.co/01-ai/Yi-34B-Chat),9,23.1,7,7,27.2,63.17,74.87,Zero One AI,Yes,34B,-,
|
11 |
-
[meta-llama/Llama-3-70b-chat-hf](https://ai.meta.com/blog/meta-llama-3/),10,41.1,,,34.4,77.88,80.06,meta,Yes,70B,-,
|
12 |
-
[deepseek-ai/deepseek-llm-67b-chat](https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat),11,,,,17.8,,71.3,Deepseek AI,Yes,67B,-,
|
13 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
14 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
15 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
16 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
17 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
18 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
19 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
20 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
21 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
22 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
23 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
24 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
25 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
26 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
27 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
28 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
29 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
30 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
31 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
32 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
33 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
34 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
35 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
36 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
37 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
38 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
39 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
40 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
41 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
42 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
43 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
44 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
45 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
46 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
47 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
48 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
49 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
50 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
51 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
52 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
53 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
54 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
55 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
56 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
57 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
58 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
59 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
60 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
61 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
62 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
63 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
64 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
65 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
66 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
67 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
68 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
69 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
70 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
71 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
72 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
73 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
74 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
75 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
76 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
77 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
78 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
79 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
80 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
81 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
82 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
83 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
84 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
85 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
86 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
87 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
88 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
89 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
90 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
91 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
92 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
93 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
94 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
95 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
96 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
97 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
98 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
99 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
100 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
101 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
102 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
103 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
104 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
105 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
106 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
107 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
108 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
109 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
110 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
111 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
112 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
113 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
114 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
115 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
116 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
117 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
118 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
119 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
120 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
121 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
122 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
123 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
124 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
125 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
126 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
127 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
128 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
129 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
130 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
131 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
132 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
133 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
134 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
135 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
136 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
137 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
138 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
139 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
140 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
141 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
142 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
143 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
144 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
145 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
146 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
147 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
148 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
149 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
150 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
151 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
152 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
153 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
154 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
155 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
156 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
157 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
158 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
159 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
160 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
161 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
162 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
163 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
164 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
165 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
166 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
167 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
168 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
169 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
170 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
171 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
172 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
173 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
174 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
175 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
176 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
177 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
178 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
179 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
180 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
181 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
182 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
183 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
184 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
185 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
186 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
187 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
188 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
189 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
190 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
191 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
192 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
193 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
194 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
195 |
-
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
196 |
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
|
|
1 |
+
,Rank,MT-Bench Hard,MT-Bench,MT-Bench,LC-AlpacaEval,openLLM,MMLU,,Open?,Params(B),Cost,Score,Model,From,,,,,,,,,,,,,,,,,,,,,,,,,,
|
2 |
+
[gpt-4o-2024-05-13](https://openai.com/index/hello-gpt-4o/),1,,,,57.5,,87.2,OpenAI,No,-,15,1129.325,[gpt-4o-2024-05-13](https://openai.com/index/hello-gpt-4o/),OpenAI,,,,,,,,,,,,,,,,,,,,,,,,,,
|
3 |
+
[SenseChat-5](https://console.sensecore.cn/nova/home),2,,,,,,84.7,SenseTime,No,-,13.8,1119.51,[日日新 SenseChat-5](https://console.sensecore.cn/nova/home),商汤,,,,,,,,,,,,,,,,,,,,,,,,,,
|
4 |
+
[GPT-4-turbo-0409](https://platform.openai.com/docs/models/gpt-4o),3,82.6,,,55,86.27,86.5,OpenAI,No,-,30,1092.539,[GPT-4-turbo-0409](https://platform.openai.com/docs/models/gpt-4o),OpenAI,,,,,,,,,,,,,,,,,,,,,,,,,,
|
5 |
+
[Qwen1.5-72B-chat](https://huggingface.co/Qwen/Qwen1.5-72B),4,36.1,8.61,8.61,36.6,72.91,77.2,Alibaba,Yes,72B,-,1076.334,[千问 Qwen1.5-72B-chat](https://huggingface.co/Qwen/Qwen1.5-72B),阿里巴巴,,,,,,,,,,,,,,,,,,,,,,,,,,
|
6 |
+
[glm-4](https://open.bigmodel.cn/trialcenter?modelCode=glm-4),5,,,,,,81.5,Zhipu AI,No,-,13.8,1044.31,[glm-4](https://open.bigmodel.cn/trialcenter?modelCode=glm-4),智谱,,,,,,,,,,,,,,,,,,,,,,,,,,
|
7 |
+
[claude-3-haiku-20240307](https://www.anthropic.com/api),6,41.5,9.1,9.1,,84.8,75.2,Anthropic,No,-,1.25,1006.597,[claude-3-haiku-20240307](https://www.anthropic.com/api),Anthropic,,,,,,,,,,,,,,,,,,,,,,,,,,
|
8 |
+
[wenxin-4](https://yiyan.baidu.com/),7,,,,,,,Baidu,No,-,16.6,998.666,[文心一言 wenxin-4](https://yiyan.baidu.com/),百度,,,,,,,,,,,,,,,,,,,,,,,,,,
|
9 |
+
[minimax-abab6.5-chat](https://platform.minimaxi.com/),8,,,,,,78.7,minimax,No,-,4.2,982.6197,[minimax-abab6.5-chat](https://platform.minimaxi.com/),minimax,,,,,,,,,,,,,,,,,,,,,,,,,,
|
10 |
+
[zero-one-ai/Yi-34B-Chat](https://huggingface.co/01-ai/Yi-34B-Chat),9,23.1,7,7,27.2,63.17,74.87,Zero One AI,Yes,34B,-,890.755,[zero-one-ai/Yi-34B-Chat](https://huggingface.co/01-ai/Yi-34B-Chat),零一万物,,,,,,,,,,,,,,,,,,,,,,,,,,
|
11 |
+
[meta-llama/Llama-3-70b-chat-hf](https://ai.meta.com/blog/meta-llama-3/),10,41.1,,,34.4,77.88,80.06,meta,Yes,70B,-,860.182988,[meta-llama/Llama-3-70b-chat-hf](https://ai.meta.com/blog/meta-llama-3/),meta,,,,,,,,,,,,,,,,,,,,,,,,,,
|
12 |
+
[deepseek-ai/deepseek-llm-67b-chat](https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat),11,,,,17.8,,71.3,Deepseek AI,Yes,67B,-,799.159792,[deepseek-ai/deepseek-llm-67b-chat](https://huggingface.co/deepseek-ai/deepseek-llm-67b-chat),深度求索,,,,,,,,,,,,,,,,,,,,,,,,,,
|
13 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
14 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
15 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
16 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
17 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
18 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
19 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
20 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
21 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
22 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
23 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
24 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
25 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
26 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
27 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
28 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
29 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
30 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
31 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
32 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
33 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
34 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
35 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
36 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
37 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
38 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
39 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
40 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
41 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
42 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
43 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
44 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
45 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
46 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
47 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
48 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
49 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
50 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
51 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
52 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
53 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
54 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
55 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
56 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
57 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
58 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
59 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
60 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
61 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
62 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
63 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
64 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
65 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
66 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
67 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
68 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
69 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
70 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
71 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
72 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
73 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
74 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
75 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
76 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
77 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
78 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
79 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
80 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
81 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
82 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
83 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
84 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
85 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
86 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
87 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
88 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
89 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
90 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
91 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
92 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
93 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
94 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
95 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
96 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
97 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
98 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
99 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
100 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
101 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
102 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
103 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
104 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
105 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
106 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
107 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
108 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
109 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
110 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
111 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
112 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
113 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
114 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
115 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
116 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
117 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
118 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
119 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
120 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
121 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
122 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
123 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
124 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
125 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
126 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
127 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
128 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
129 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
130 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
131 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
132 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
133 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
134 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
135 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
136 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
137 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
138 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
139 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
140 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
141 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
142 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
143 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
144 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
145 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
146 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
147 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
148 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
149 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
150 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
151 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
152 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
153 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
154 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
155 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
156 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
157 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
158 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
159 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
160 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
161 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
162 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
163 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
164 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
165 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
166 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
167 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
168 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
169 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
170 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
171 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
172 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
173 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
174 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
175 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
176 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
177 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
178 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
179 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
180 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
181 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
182 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
183 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
184 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
185 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
186 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
187 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
188 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
189 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
190 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
191 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
192 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
193 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
194 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
195 |
+
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|
196 |
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|