thomas880104 commited on
Commit
4536844
2 Parent(s): 36501bf 1c4c9b7

Merge branch 'main' of https://huggingface.co/thomas0104/whisper-large-v2-nan-tw-only-char

Browse files
README.md CHANGED
@@ -24,22 +24,19 @@ model-index:
24
  metrics:
25
  - name: Wer
26
  type: wer
27
- value: 48.06106870229008
28
- - name: Cer
29
- type: cer
30
- value: 48.17386054935105
31
  ---
32
 
33
  <!-- This model card has been generated automatically according to the information the Trainer had access to. You
34
  should probably proofread and complete it, then remove this comment. -->
35
 
36
- # Whisper large-v2 nan-tw
37
 
38
  This model is a fine-tuned version of [openai/whisper-large-v2](https://huggingface.co/openai/whisper-large-v2) on the mozilla-foundation/common_voice_11_0 nan-tw dataset.
39
  It achieves the following results on the evaluation set:
40
- - Loss: 0.9147
41
- - Wer: 48.0611
42
- - Cer: 48.1739
43
 
44
  ## Model description
45
 
@@ -64,15 +61,19 @@ The following hyperparameters were used during training:
64
  - seed: 42
65
  - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
66
  - lr_scheduler_type: linear
67
- - lr_scheduler_warmup_steps: 100
68
- - training_steps: 1000
69
  - mixed_precision_training: Native AMP
70
 
71
  ### Training results
72
 
73
  | Training Loss | Epoch | Step | Validation Loss | Wer | Cer |
74
  |:-------------:|:-----:|:----:|:---------------:|:-------:|:-------:|
75
- | 0.9198 | 1.38 | 1000 | 0.9147 | 48.0611 | 48.1739 |
 
 
 
 
76
 
77
 
78
  ### Framework versions
 
24
  metrics:
25
  - name: Wer
26
  type: wer
27
+ value: 45.37404580152672
 
 
 
28
  ---
29
 
30
  <!-- This model card has been generated automatically according to the information the Trainer had access to. You
31
  should probably proofread and complete it, then remove this comment. -->
32
 
33
+ # Whisper large-v2 nan-tw only char
34
 
35
  This model is a fine-tuned version of [openai/whisper-large-v2](https://huggingface.co/openai/whisper-large-v2) on the mozilla-foundation/common_voice_11_0 nan-tw dataset.
36
  It achieves the following results on the evaluation set:
37
+ - Loss: 1.0351
38
+ - Wer: 45.3740
39
+ - Cer: 45.4573
40
 
41
  ## Model description
42
 
 
61
  - seed: 42
62
  - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
63
  - lr_scheduler_type: linear
64
+ - lr_scheduler_warmup_steps: 500
65
+ - training_steps: 5000
66
  - mixed_precision_training: Native AMP
67
 
68
  ### Training results
69
 
70
  | Training Loss | Epoch | Step | Validation Loss | Wer | Cer |
71
  |:-------------:|:-----:|:----:|:---------------:|:-------:|:-------:|
72
+ | 0.6011 | 1.04 | 1000 | 1.1100 | 55.0229 | 55.2068 |
73
+ | 0.1773 | 2.08 | 2000 | 1.2055 | 58.6565 | 58.7685 |
74
+ | 0.015 | 3.13 | 3000 | 1.0932 | 48.6412 | 48.8077 |
75
+ | 0.0131 | 5.01 | 4000 | 1.0531 | 45.7099 | 45.8497 |
76
+ | 0.0001 | 6.05 | 5000 | 1.0351 | 45.3740 | 45.4573 |
77
 
78
 
79
  ### Framework versions
__pycache__/ryNormText.cpython-38.pyc ADDED
Binary file (1.83 kB). View file
 
all_results.json CHANGED
@@ -1,13 +1,13 @@
1
  {
2
- "epoch": 1.38,
3
- "eval_cer": 48.17386054935105,
4
- "eval_loss": 0.9147109389305115,
5
- "eval_runtime": 340.4629,
6
- "eval_samples_per_second": 2.896,
7
- "eval_steps_per_second": 1.448,
8
- "eval_wer": 48.06106870229008,
9
- "train_loss": 0.91982373046875,
10
- "train_runtime": 1347.6358,
11
- "train_samples_per_second": 1.484,
12
- "train_steps_per_second": 0.742
13
  }
 
1
  {
2
+ "epoch": 6.05,
3
+ "eval_cer": 45.45728946574102,
4
+ "eval_loss": 1.0350826978683472,
5
+ "eval_runtime": 307.7402,
6
+ "eval_samples_per_second": 3.204,
7
+ "eval_steps_per_second": 1.602,
8
+ "eval_wer": 45.37404580152672,
9
+ "train_loss": 0.3433635727233719,
10
+ "train_runtime": 5460.4494,
11
+ "train_samples_per_second": 1.831,
12
+ "train_steps_per_second": 0.916
13
  }
eval_results.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
- "epoch": 1.38,
3
- "eval_cer": 48.17386054935105,
4
- "eval_loss": 0.9147109389305115,
5
- "eval_runtime": 340.4629,
6
- "eval_samples_per_second": 2.896,
7
- "eval_steps_per_second": 1.448,
8
- "eval_wer": 48.06106870229008
9
  }
 
1
  {
2
+ "epoch": 6.05,
3
+ "eval_cer": 45.45728946574102,
4
+ "eval_loss": 1.0350826978683472,
5
+ "eval_runtime": 307.7402,
6
+ "eval_samples_per_second": 3.204,
7
+ "eval_steps_per_second": 1.602,
8
+ "eval_wer": 45.37404580152672
9
  }
ji_char&rome.py ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import re
2
+ import jiwer
3
+ p = open('label.txt',encoding="utf-8")
4
+ label = p.readline().split('=')[1]
5
+ label = eval(label)
6
+ label_ch = []
7
+ label_rm = []
8
+
9
+ for i in range(len(label)):
10
+ q = re.search('[^A-z]+\s+', str(label[i])).span()
11
+ label_ch.append(label[i][:q[1]])
12
+ label_rm.append(label[i][q[1]:])
13
+
14
+
15
+ p = open('pred.txt','r',encoding="utf-8")
16
+
17
+ pred = p.readline().split('=')[1]
18
+ pred = eval(pred)
19
+ pred_ch = []
20
+ pred_rm = []
21
+
22
+ for i in range(len(pred)):
23
+ q = re.search('[^A-z]+\s+', str(pred[i])).span()
24
+ pred_ch.append(pred[i][:q[1]])
25
+ pred_rm.append(pred[i][q[1]:])
26
+
27
+
28
+ for i in range(len(label_rm)):
29
+ if len(label_rm[i]) == 0:
30
+ print(i)
31
+ label_rm[i] = 'a'
32
+
33
+ wer_ch = jiwer.wer(label_ch, pred_ch)
34
+ print(f'{wer_ch=}')
35
+
36
+ wer_rm = jiwer.wer(label_rm, pred_rm)
37
+ print(f'{wer_rm=}')
pred.txt CHANGED
@@ -1 +1 @@
1
- pred_str=['心 理 性 別 ', '火 燒 跤 村 ', '草 屬 ', '十 三 項 ', '水 里 鄉 ', '這 代 有 一 個 大 商 場 ', '聯 合 國 ', '菜 頭 人 仔 ', '若 洲 ', '肉 羹 ', '新 興 區 ', '太 古 幣 ', '麵 冬 ', '喙 仔 ', '洗 蚵 飯 ', '新 粹 ', '燒 包 仔 ', '空 頭 ', '黃 坤 ', '落 水 溪 出 代 誌 ', '粗 細 ', '愛 害 ', '九 年 一 貫 ', '精 靈 ', '三 寶 ', '速 速 ', '蔗 菜 咧 擲 ', '眼 目 袂 消 看 關 係 ', '鎮 烏 ', '兩 个 人 已 经 講 和 矣 ', '濁 水 ', '細 空 喙 ', '掠 著 筋 頭 ', '復 興 館 ', '戒 律 ', '草 人 坑 ', '祝 你 生 理 快 樂 ', '坑 潭 ', '出 水 ', '皮 皮 串 ', '囝 仔 羹 ', '菝 露 ', '臺 灣 人 ', '落 南 ', '原 理 坑 ', '坑 仔 內 ', '起 冊 到 地 ', '戶 錢 ', '紅 糖 ', '青 大 湖 ', '柴 柴 橋 ', '柴 球 ', '大 胃 王 子 ', '大 橂 埕 ', '頭 類 ', '桑 餅 ', '喙 暗 籠 ', '龍 門 ', '時 局 ', '熟 士 ', '線 尾 ', '無 話 講 家 老 ', '下 暗 磅 ', '一 人 ', '一 定 看 袂 著 ', '看 一 下 影 生 一 下 囝 ', '倒 勢 ', '直 行 ', '鬼 進 壽 仙 ', '肚 肚 ', '變 天 ', '一 工 到 鴨 ', '粉 盤 ', '有 幾 項 菜 ', '岩 埔 ', '鑼 角 區 ', '過 路 山 ', '戇 買 戇 人 行 ', '粗 食 ', '這 咧 外 濟 錢 ', '斜 仔 ', '看 甲 清 清 粗 粗 ', '妄 生 ', '發 聲 ', '白 囡 仔 ', '心 火 動 火 ', '番 鼎 仔 ', '流 窟 窟 ', '大 溪 火 ', '名 聲 真 頭 ', '閃 烘 肉 ', '骨 ', '龜 大 ', '水 溪 皮 仔 ', '夯 月 糕 ', '翹 無 三 文 門 著 想 欲 做 塗 公 ', '尪 姨 仔 ', '臺 北 橋 ', '雲 林 縣 ', '臺 中 港 ', '水 里 ', '臺 南 市 ', '七 度 ', '做 公 竹 ', '臺 川 鄉 ', '燒 肉 肉 ', '筊 ', '漢 草 真 好 ', '殘 影 ', '按 呢 生 ', '海 外 ', '無 味 可 拄 著 潤 骨 ', '奇 鄉 小 細 ', '復 ', '頭 尾 ', '牛 頓 市 場 ', '政 商 ', '吐 著 咧 ', '動 物 性 格 質 ', '實 問 精 ', '悠 悠 殼 ', '鑼 鑼 霧 小 睏 ', '乞 頭 鄉 ', '聖 義 臺 安 路 口 ', '三 三 八 八 ', '你 話 毋 通 予 白 講 ', '白 寮 鄉 ', '你 莫 著 中 午 肚 臍 ', '新 安 路 ', '金 錢 毋 是 萬 能 的 ', '飛 苓 雅 菜 ', '富 寮 里 ', '你 是 誰 ', '番 烏 ', '神 經 ', '合 同 ', '挺 挺 ', '販 賣 殼 ', '天 氣 冷 啦 你 就 愛 街 踏 一 件 衫 ', '我 到 底 看 著 啥 物 ', '手 環 ', '古 不 日 三 彰 ', '廳 價 ', '透 睛 仔 ', '傲 求 術 ', '隔 音 壁 ', '拍 桶 頭 ', '揮 火 滿 天 篷 結 智 者 行 人 ', '東 北 貴 方 ', '武 情 機 ', '做 牛 無 小 力 ', '景 空 白 虹 ', '這 妖 仔 摸 落 去 真 緊 張 的 體 育 仔 ', '毛 髏 仔 ', '割 喙 血 ', '陽 明 山 ', '加 鼻 灌 ', '囡 仔 食 ', '佇 對 路 症 一 點 情 ', '伊 歸 心 美 虎 大 學 ', '東 湖 國 中 ', '中 原 公 園 ', '半 路 店 ', '冰 冷 坑 ', '東 石 鄉 ', '餅 酥 的 ', '無 中 生 化 ', '馬 藏 角 ', '演 藝 伎 ', '厝 邊 頭 背 ', '波 灣 粿 ', '仁 愛 烘 酒 路 口 ', '千 頁 ', '七 夕 肚 ', '大 極 大 理 ', '烘 仔 頭 鏡 ', '飼 ', '咱 做 代 誌 的 時 尊 ', '包 水 餃 ', '海 鳥 毋 知 飛 海 柴 破 袂 開 ', '溫 宗 中 ', '健 康 中 生 ', '印 度 尼 西 亞 ', '生 理 族 ', '獅 仔 頭 ', '大 肚 路 ', '市 仔 ', '落 野 區 ', '學 姐 ', '放 人 山 ', '虎 尾 直 ', '下 腹 肚 ', '興 村 鎮 ', '燒 火 球 ', '化 極 ', '我 三 攏 穿 上 大 領 ', '溜 下 來 ', '半 條 命 ', '生 活 習 慣 ', '電 影 機 ', '菜 脯 蛋 ', '塗 塗 塗 ', '鐵 甲 牛 ', '風 火 頭 ', '現 流 仔 ', '培 了 工 ', '空 港 ', '較 大 ', '公 政 橋 ', '巴 結 ', '古 汁 ', '有 拜 無 積 穏 ', '這 時 ', '直 白 ', '下 災 ', '較 早 睏 ', '寮 寮 臺 巡 ', '公 司 ', '懸 枯 緊 緊 ', '坑 仔 ', '林 線 香 菇 ', '山 羊 ', '大 頭 九 寶 ', '塗 辦 人 道 ', '對 ', '內 沿 ', '阮 會 香 櫞 ', '地 目 ', '真 有 喙 水 ', '模 特 師 ', '相 相 認 你 就 是 林 朋 友 ', '青 山 溫 ', '鶴 曲 蘭 ', '金 冬 ', '變 啦 ', '單 欲 節 ', '狗 尾 金 ', '牛 坑 ', '過 冬 跤 ', '頭 辦 坑 坑 ', '無 聽 著 ', '礦 機 仔 ', '厝 影 ', '江 州 ', '青 天 街 ', '東 方 ', '問 題 ', '桃 源 聖 別 ', '故 厝 ', '妖 嬌 ', '復 國 小 ', '點 磕 ', '光 臺 ', '目 虛 股 仔 ', '立 斗 ', '永 環 ', '你 是 我 我 ', '達 著 歹 隊 步 ', '僥 候 ', '骨 髏 公 的 無 船 上 ', '加 辣 片 ', '如 來 如 嚴 重 ', '一 個 一 個 ', '陳 公 大 橋 ', '上 大 大 師 所 ', '蒜 仔 虯 公 ', '骨 銅 跤 ', '復 興 戶 ', '講 啥 芋 仔 漢 字 ', '毋 行 ', '親 密 閨 讀 著 童 ', '你 使 毋 知 哉 臭 ', '斗 南 ', '狗 睏 鼠 無 趖 ', '水 粿 仔 ', '門 狀 ', '五 手 空 ', '心 無 目 無 厄 ', '敢 食 氣 溜 ', '阿 婆 婆 ', '機 動 戰 士 ', '電 動 ', '起 直 行 ', '跤 先 股 ', '所 羅 門 群 島 ', '彰 界 ', '我 愛 大 股 ', '高 頂 ', '甜 鹹 ', '上 界 ', '是 小 ', '落 億 不 折 ', '跤 倉 門 ', '猴 仔 疊 豬 仔 ', '風 神 尪 仔 ', '山 ', '生 甲 袂 蠻 ', '九 月 趖 ', '橫 刀 仔 ', '中 央 大 學 ', '石 門 水 庫 ', '亂 史 上 ', '百 貨 店 ', '酸 素 肝 ', '甲 界 ', '洗 衫 飯 ', '天 臺 ', '數 位 拍 ', '後 褲 ', '鈍 刺 火 ', '頭 走 位 ', '夭 壽 貴 ', '好 所 在 ', '兩 市 ', '鐵 理 ', '現 辦 ', '九 點 位 ', '伊 生 做 這 麼 臭 老 ', '摩 星 仔 石 鉎 ', '一 甘 甘 仔 ', '龍 公 ', '隔 十 五 件 ', '提 著 ', '心 心 酒 店 ', '過 時 抵 時 ', '較 平 咧 ', '桃 生 大 罐 ', '戮 區 杯 仔 ', '行 佇 這 袂 著 愛 工 薪 ', '隔 花 仔 ', '抹 衫 面 仔 ', '雨 傘 鵰 ', '石 板 ', '虎 魚 ', '落 雨 了 塗 跤 鼻 公 擔 落 落 ', '較 倉 ', '家 人 市 ', '你 欲 行 對 度 位 去 ', '敦 化 和 平 路 口 ', '公 仔 喙 ', '阮 囝 今 年 二 十 出 頭 矣 ', '新 港 域 ', '愛 袂 叫 母 ', '一 分 ', '問 問 仔 戶 ', '元 安 ', '牛 丼 ', '袂 看 得 ', '立 公 立 直 ', '牛 山 肚 ', '過 度 ', '十 做 水 ', '麥 仔 跤 ', '包 大 ', '原 地 ', '三 重 三 重 ', '林 口 ', '必 定 ', '初 度 ', '揣 轉 來 ', '機 中 站 ', '樹 仔 代 ', '心 股 ', '小 大 ', '頂 底 寮 ', '佇 人 ', '你 甲 包 仔 提 起 哈 少 一 下 ', '病 風 景 病 風 君 ', '頂 公 館 ', '線 仙 ', '演 技 界 ', '花 粉 ', '毋 情 毋 怨 ', '較 緊 ', '有 也 好 無 也 好 ', '草 生 ', '講 喙 仔 龍 ', '怪 奇 果 ', '國 土 家 房 ', '新 羅 ', '貴 妻 ', '豆 豆 仔 ', '拍 寶 ', '物 件 若 予 伊 提 過 手 ', '電 腦 霓 ', '意 界 ', '刺 尾 風 ', '烏 內 ', '提 灶 ', '無 搭 無 散 ', '我 欲 遵 佇 落 山 ', '倒 擁 ', '聽 無 ', '彼 个 頭 家 娘 對 人 客 食 好 咧 ', '大 細 練 ', '無 葉 ', '無 二 五 你 的 出 國 讀 冊 ', '石 烘 ', '嘉 義 ', '後 寮 ', '我 攏 有 看 著 ', '鏡 仁 路 ', '歹 天 ', '三 跤 步 一 坎 點 ', '臘 肉 ', '句 裡 作 ', '下 午 中 生 ', '林 棍 ', '無 直 結 ', '公 文 ', '十 喙 九 跤 倉 ', '頭 仔 片 ', '掠 錢 ', '無 空 鳥 ', '蚵 仔 湯 仔 ', '隔 屎 面 ', '白 對 銅 ', '膨 一 枝 ', '無 一 步 ', '老 口 講 出 來 ', '斗 頂 ', '膨 底 做 甲 流 懸 膨 跤 成 甲 流 懸 ', '烏 豆 汁 ', '拍 屎 辦 ', '桶 邊 ', '焦 巴 ', '簡 訊 ', '一 下 才 一 下 ', '筋 的 酸 ', '洋 仔 話 ', '拍 數 ', '直 落 挖 ', '總 舖 ', '三 里 無 見 久 留 留 ', '學 官 ', '手 心 動 ', '電 子 ', '暗 空 ', '散 食 ', '速 加 車 ', '妖 意 ', '燒 雞 龜 ', '釣 鉤 ', '寮 溝 ', '暗 頭 仔 ', '濟 囝 濟 白 白 濟 媳 婦 濟 體 育 ', '溝 球 ', '無 睹 好 ', '戳 頭 鵰 ', '金 環 實 力 ', '觀 音 大 師 ', '臺 準 ', '欲 按 嘛 ', '後 路 ', '結 尾 ', '一 萬 兩 仔 ', '提 款 片 ', '無 你 的 代 ', '天 公 祖 ', '篡 港 ', '麗 茶 ', '馬 鈴 薯 條 ', '做 塗 水 的 ', '林 青 味 ', '流 明 潭 ', '官 包 遊 ', '糖 醋 ', '二 戰 ', '拍 鐵 屎 ', '慢 一 跤 步 ', '提 皮 的 ', '下 禮 拜 ', '死 亡 之 鴨 ', '你 毋 通 囥 佇 身 外 內 ', '臭 菇 仔 ', '歎 一 空 食 三 冬 ', '我 欲 學 臺 語 ', '臺 ', '目 角 肚 ', '雨 水 暗 ', '貴 州 省 ', '敦 華 北 路 ', '你 看 起 來 是 才 拿 仔 水 ', '情 的 食 妄 妄 的 食 天 公 ', '轉 去 ', '那 不 是 ', '幾 個 ', '防 長 ', '港 墘 ', '二 寵 仔 ', '無 鐵 仔 ', '原 型 力 ', '麥 坑 ', '六 點 ', '市 中 ', '樹 母 苓 ', '魚 仔 羹 ', '廣 寮 區 ', '柑 花 噴 天 ', '大 好 逆 人 ', '行 政 院 ', '食 市 ', '九 底 厝 ', '寧 星 ', '月 光 ', '種 水 氣 ', '奇 幼 ', '天 公 市 ', '懸 ', '愛 大 理 ', '我 薑 尾 袂 負 矣 ', '天 方 ', '有 連 線 ', '衝 ', '中 國 話 ', '拔 香 對 拜 ', '四 跤 草 ', '挺 風 ', '觀 覽 ', '結 上 路 ', '彈 跳 ', '焦 工 算 ', '時 過 外 大 平 ', '有 這 款 的 代 誌 我 攏 毋 知 ', '磨 豆 仔 機 ', '國 聖 夜 ', '林 口 區 ', '菝 ', '苦 蒜 明 薯 ', '代 誌 圖 案 ', '半 生 半 疑 ', '點 甜 點 甜 土 坑 兄 味 事 ', '你 有 工 工 ', '仁 堂 無 洗 手 的 朋 友 ', '烏 日 ', '微 風 ', '水 旋 ', '懸 欠 ', '連 半 个 人 影 也 無 ', '調 褲 ', '塗 水 公 ', '無 沙 沙 ', '微 星 船 ', '欲 玩 矣 ', '韌 種 ', '頂 頭 目 睭 咧 念 字 ', '伊 有 誠 濟 內 筍 ', '工 仔 喙 國 小 ', '濁 國 速 公 ', '落 尾 ', '平 方 電 腦 ', '問 蠓 仔 烏 鑼 鼓 塗 麥 擔 ', '仁 君 水 ', '漁 人 副 按 一 下 位 ', '鹹 酥 雞 ', '天 然 蚵 仔 ', '熟 悾 ', '茨 杜 ', '聖 誕 老 阿 公 ', '天 頂 白 茫 茫 ', '飯 煎 ', '南 巡 ', '吾 人 事 ', '有 溫 ', '包 山 包 海 ', '點 空 區 ', '洗 衫 精 ', '哈 勁 鎮 商 ', '開 喙 罨 粒 粒 草 ', '焦 水 器 ', '老 舊 家 ', '速 加 路 亞 ', '數 位 仔 聯 名 ', '臭 水 ', '屬 暗 君 仔 ', '飛 行 機 ', '冰 粿 ', '圍 空 天 下 不 亂 ', '錢 票 ', '龜 仔 樹 ', '溶 角 三 角 ', '半 夜 ', '思 維 ', '衝 勇 ', '敢 有 問 題 ', '遮 涼 ', '月 磯 忝 竹 ', '做 塗 水 ', '怪 奇 ', '班 景 ', '狡 官 ', '歹 牙 ', '中 山 路 ', '橫 仔 溝 ', '粉 圓 仔 ', '菊 菊 摸 摸 ', '毋 知 佇 看 個 時 ', '妖 冬 ', '激 光 雨 ', '海 塗 仔 ', '溝 頭 果 ', '熟 士 娘 上 ', '面 珠 ', '底 葉 卵 ', '無 時 焦 電 ', '斜 人 一 口 勁 人 一 道 ', '鐵 磯 ', '銅 杯 仔 ', '二 刀 ', '復 生 豆 子 隻 ', '人 講 對 人 講 ', '金 剛 鑽 石 ', '做 肉 餅 ', '小 寶 喙 ', '櫳 哥 魚 ', '比 頭 村 仔 ', '一 筆 錢 ', '菝 菜 ', '溝 仔 密 情 ', '一 枝 草 一 點 路 ', '早 市 ', '大 頭 母 人 ', '包 的 ', '上 禮 拜 ', '牛 厝 仔 ', '人 行 貴 貴 行 人 ', '無 記 地 情 ', '日 落 山 ', '憨 鄉 ', '七 塗 跤 ', '袂 死 心 ', '解 濟 ', '做 遊 戀 ', '有 聽 著 無 ', '大 姨 田 ', '斗 人 仔 本 ', '固 固 ', '影 人 ', '勥 查 戶 ', '暗 端 食 生 ', '草 薑 流 角 ', '挺 快 ', '首 寶 ', '薄 餅 ', '手 著 ', '亂 無 ', '無 情 菜 ', '內 街 ', '烏 樹 ', '小 酸 臭 ', '菊 潤 ', '蠓 公 廁 貴 ', '山 炭 ', '人 聲 欠 貨 ', '天 公 無 帶 著 ', '望 遠 鄉 ', '食 風 ', '粉 刺 ', '皮 車 ', '大 姊 ', '公 館 路 ', '碧 潭 路 ', '臺 北 歐 洲 校 校 小 學 部 ', '倉 裡 不 分 ', '四 分 仔 ', '頭 殼 的 ', '南 京 城 ', '應 隨 機 ', '破 珠 溪 ', '池 上 ', '跤 車 ', '懸 胎 ', '苦 袂 當 ', '單 從 工 ', '喙 驚 和 ', '斜 浮 ', '加 攏 城 ', '頂 底 蚵 ', '張 張 假 口 ', '社 群 ', '用 頂 厝 ', '風 駝 公 園 ', '金 烏 鎮 ', '中 校 復 興 ', '民 族 區 溫 度 口 ', '松 信 路 ', '飼 香 粉 ', '溫 州 ', '臺 北 聯 絡 線 ', '有 夠 咧 加 速 ', '伊 加 我 一 半 ', '酸 仔 ', '記 者 鄉 ', '驚 柑 仔 囝 ', '四 跤 水 仙 ', '暖 暖 區 ', '用 齒 面 仔 洗 喙 時 愛 上 律 氣 膏 ', '新 社 ', '母 親 力 顧 予 伊 好 ', '十 包 ', '部 位 ', '埔 路 ', '冰 糖 ', '復 興 橋 ', '阿 拉 ', '蒜 蠻 ', '員 林 市 ', '批 錢 ', '妄 大 志 ', '麵 腸 仁 ', '景 興 路 ', '海 蛤 仔 頭 ', '一 月 半 月 ', '失 聯 制 ', '後 區 ', '隨 風 ', '蘭 斯 貓 頭 鳥 ', '茅 露 開 ', '子 宮 喙 暗 ', '高 姊 太 ', '假 說 ', '不 知 ', '院 頭 區 ', '上 海 茂 霞 ', '意 識 面 ', '光 風 ', '月 耳 池 中 ', '彼 人 災 我 無 ', '紅 豆 仔 蜂 ', '頂 河 ', '商 機 ', '三 兩 人 講 四 斤 話 ', '金 貨 ', '一 組 ', '軟 褲 ', '珍 珠 看 著 鳥 市 屎 ', '天 津 ', '角 運 動 量 ', '別 問 著 恐 怖 ', '貧 極 競 ', '羅 連 ', '真 聽 話 ', '溶 炭 煎 ', '火 星 岩 ', '可 睏 員 ', '烏 上 ', '椅 頭 風 ', '蔭 喙 ', '查 緯 ', '較 通 ', '番 薯 片 ', '頂 去 ', '卵 珠 ', '歡 喜 感 源 ', '大 海 無 驚 大 水 ', '懷 矣 ', '跤 手 電 ', '欲 ', '煎 巴 醬 ', '徛 肚 胿 ', '查 某 人 ', '韓 子 球 ', '膨 了 臭 ', '大 火 ', '火 炬 母 ', '英 國 話 ', '明 天 顧 問 ', '老 機 ', '看 有 ', '影 差 天 火 度 ', '下 文 外 童 ', '大 路 二 ', '內 ', '金 風 山 ', '死 袂 見 笑 ', '蟮 子 ', '焦 化 ', '馬 鈴 薯 片 ', '你 頭 拍 甲 倉 仔 顧 無 客 ', '囊 物 褲 粉 ', '擋 水 機 ', '肚 肚 胿 仔 ', '陂 南 ', '袂 當 敢 若 我 看 著 ', '有 困 山 ', '大 市 好 勢 仔 蠢 ', '水 氣 ', '景 文 街 ', '樹 天 樹 地 ', '今 年 是 一 個 好 年 冬 ', '事 搭 ', '雨 傘 頭 ', '三 講 四 無 著 ', '五 所 分 離 ', '反 插 ', '大 日 本 帝 國 ', '烘 蓋 芒 霜 ', '臘 蚵 ', '吞 兩 ', '莫 計 ', '經 濟 做 代 誌 較 要 緊 ', '你 講 啥 ', '景 水 ', '位 極 ', '身 體 健 康 ', '跤 手 十 足 ', '延 珠 學 ', '下 年 ', '大 路 大 股 ', '伊 是 一 下 大 美 人 ', '解 溶 ', '放 棄 ', '你 陪 我 去 彼 邊 好 無 ', '網 路 用 較 刁 咧 ', '樹 屎 ', '孤 單 一 生 ', '加 滴 ', '市 長 袂 中 ', '有 手 仔 ', '孤 烘 毒 市 ', '裡 面 ', '自 目 ', '役 仔 ', '燒 狗 ', '冷 喙 ', '創 辦 人 ', '水 灝 蠟 ', '飼 養 動 物 ', '目 睭 白 金 ', '撲 囡 仔 ', '我 予 滾 水 蟲 一 下 膨 拍 著 聽 的 ', '聖 杯 ', '為 人 ', '過 濟 ', '三 二 九 ', '飯 焦 ', '天 車 ', '圍 篤 ', '目 睭 久 ', '白 紅 ', '電 蜜 ', '鹽 酸 臭 ', '粉 仔 韓 市 ', '你 一 次 來 伊 攏 居 好 寮 的 ', '來 喲 今 來 看 喲 ', '犯 改 ', '總 事 記 ', '破 柴 ', '掠 開 ', '鳳 山 ', '老 厝 ', '開 船 母 昌 ', '金 美 國 小 ', '直 白 市 ', '橋 頭 區 ', '南 州 ', '好 味 鎮 ', '長 力 ', '西 區 ', '國 泰 ', '水 腸 流 ', '中 庸 路 ', '南 福 著 ', '金 華 大 學 ', '西 角 ', '樹 林 區 ', '紙 片 變 膠 ', '中 山 橋 ', '彰 化 銀 行 ', '吳 國 昌 ', '喙 風 橋 ', '花 仔 菜 ', '中 情 國 小 ', '這 樣 就 好 ', '老 去 矣 ', '車 頂 ', '南 洋 街 ', '匈 羅 ', '松 壽 路 口 ', '中 坑 ', '不 屬 自 客 ', '瑞 源 ', '後 役 ', '大 腸 鼎 ', '筊 仔 弓 ', '再 拜 ', '新 營 區 ', '政 二 幼 局 ', '寧 夏 路 ', '動 慢 ', '大 好 年 ', '仁 愛 鄉 ', '快 龍 ', '辦 ', '洗 面 ', '食 肌 ', '調 官 機 ', '仙 獅 娘 ', '拍 鐵 寮 ', '路 營 區 ', '韌 尾 ', '外 鄉 客 ', '聖 字 區 ', '你 阿 母 間 災 仔 你 在 遮 發 貨 物 ', '敢 安 呢 ', '到 草 原 ', '望 星 橋 ', '市 府 ', '實 字 架 ', '文 昌 橋 ', '有 影 緊 無 ', '林 內 鄉 ', '紅 目 樹 屎 ', '囡 仔 人 目 看 有 ', '菁 大 ', '文 古 揣 ', '歹 喙 道 ', '查 某 人 ', '滷 菜 頭 ', '跳 過 ', '鴨 母 帶 唱 旋 ', '不 貪 不 自 ', '客 行 ', '下 腹 腓 ', '天 安 門 公 場 ', '豆 磨 ', '溫 寮 戶 ', '初 花 ', '雞 籠 蜂 ', '暗 明 網 線 娘 ', '袂 曉 公 話 ', '腰 床 ', '順 勢 ', '三 攏 無 ', '鐵 欲 膠 ', '推 渡 ', '卒 久 無 看 的 ', '起 家 補 貨 ', '臺 東 ', '不 見 天 ', '麥 花 蜜 ', '著 蝦 仔 腸 ', '苦 寮 仔 ', '五 肌 筋 頭 好 隔 腿 的 突 肌 嘛 痛 ', '溶 毛 位 ', '厝 尾 頂 ', '橫 樹 人 ', '大 坵 ', '殼 羹 ', '客 戶 ', '按 摩 師 ', '芋 仔 糊 ', '海 口 ', '阿 里 不 搭 ', '冰 島 ', '摺 ', '屎 啦 ', '臭 屎 青 ', '網 紗 尿 尻 倉 ', '策 伐 ', '庸 桑 歸 桑 ', '一 切 攏 是 假 的 ', '小 山 崙 仔 ', '煎 仔 糊 ', '青 眉 仔 目 鏡 ', '親 愛 的 ', '臺 大 大 學 ', '欲 去 到 位 ', '坑 頭 鴨 ', '面 流 ', '揣 著 ', '嬌 童 小 道 ', '門 東 仔 ', '寧 角 龍 ', '狡 頭 不 勇 ', '桃 園 ', '我 欲 去 便 所 ', '彼 當 時 ', '片 雷 公 ', '代 誌 問 號 ', '症 頭 ', '我 思 緘 ', '材 料 庫 學 ', '甕 底 水 溪 ', '貨 錢 ', '睏 袂 去 ']
 
1
+ pred_str=['心 理 聖 地 ', '血 燒 尻 川 ', '打 性 ', '做 三 項 ', '水 里 鄉 ', '這 擔 有 一 个 大 傷 腸 ', '聯 合 國 ', '菜 頭 人 仔 ', '蘆 洲 ', '肉 羹 ', '新 興 區 ', '太 孤 字 ', '美 冬 ', '推 仔 ', '西 澳 門 ', '心 喙 ', '燒 包 仔 ', '空 頭 ', '鳳 君 ', '落 水 溪 出 代 誌 ', '粗 細 ', '哀 海 ', '九 年 一 段 ', '精 靈 ', '三 寶 ', '速 速 ', '坐 掣 咧 等 ', '愣 目 袂 曉 看 懸 低 ', '圳 後 ', '兩 个 人 已 經 講 和 仔 ', '足 水 ', '細 空 喙 ', '掠 落 金 頭 ', '族 心 肝 ', '戒 律 ', '草 人 坑 ', '祝 你 生 日 快 樂 ', '坑 仔 ', '出 水 ', '皮 平 丸 ', '爺 家 ', '倚 落 ', '台 灣 人 ', '落 林 ', '遠 離 坑 ', '坑 仔 賴 ', '起 冊 到 地 ', '鱟 魚 ', '紅 蟲 ', '青 大 茂 ', '拄 拄 叫 ', '柴 球 ', '大 位 王 子 ', '大 直 埕 ', '頭 鑢 ', '鬆 餅 ', '喙 罨 廊 ', '龍 文 ', '施 琊 ', '鑠 奅 ', '紲 尾 ', '無 話 講 交 冗 ', '下 暗 飯 ', '一 人 ', '一 定 箍 未 條 ', '看 一 个 影 生 一 个 囝 ', '倒 踅 ', '白 耳 ', '規 陣 收 捷 ', '拄 豆 ', '變 天 ', '一 工 夠 熬 ', '混 沌 ', '有 規 烘 菜 ', '鹽 霧 ', '鹿 角 龜 ', '過 路 山 ', '鑿 馬 鑿 人 騎 ', '粗 俗 ', '這 塊 我 濟 錢 ', '車 仔 ', '看 甲 清 清 粗 粗 ', '戇 新 ', '發 聲 ', '平 囡 仔 ', '心 肺 動 腿 ', '番 黎 仔 ', '流 硞 硞 ', '大 溪 火 ', '名 聲 真 透 ', '鹹 烘 肉 ', '骨 ', '龜 大 ', '水 雞 皮 仔 ', '夯 硬 哥 ', '抾 無 三 文 膜 著 想 欲 做 塗 公 ', '尪 囡 仔 ', '臺 北 橋 ', '文 林 縣 ', '臺 中 港 ', '水 利 ', '臺 南 市 ', '七 堵 ', '做 公 德 ', '臺 川 鄉 ', '青 栗 白 ', '蕭 ', '漢 草 真 好 ', '田 囡 ', '按 呢 生 ', '海 尾 ', '無 米 可 拄 著 軟 骨 ', '奇 鄉 小 生 ', '捷 ', '頭 尾 ', '五 段 新 竹 ', '政 商 ', '吐 條 咧 ', '動 物 性 膠 質 ', '素 文 精 ', '悠 遊 卡 ', '你 攏 無 休 睏 喔 ', '埤 頭 鄉 ', '信 義 大 安 路 口 ', '三 三 八 八 ', '你 話 毋 通 烏 白 講 ', '白 寮 鄉 ', '你 莫 著 定 烏 度 在 ', '新 安 路 ', '金 錢 毋 是 萬 能 的 ', '飛 行 仔 菜 ', '富 料 理 ', '你 是 誰 ', '番 芋 ', '新 街 ', '合 同 ', '拆 拆 ', '番 麥 殼 ', '天 氣 冷 仔 你 著 愛 低 頭 一 領 衫 ', '我 到 底 看 著 啥 物 ', '手 段 仔 ', '孤 字 三 張 ', '挺 結 ', '透 精 仔 ', '澳 洲 小 ', '格 音 表 ', '拍 通 透 ', '開 火 滿 天 芳 結 子 才 驚 人 ', '東 北 規 風 ', '無 人 機 ', '做 牛 保 小 栗 ', '前 擴 排 放 ', '這 藥 仔 活 落 去 真 緊 張 的 體 防 仔 ', '毛 兒 仔 ', '我 喙 歹 ', '陽 明 山 ', '咖 啡 館 ', '囡 仔 色 ', '豬 對 流 心 一 點 情 ', '伊 規 心 馬 苦 大 學 ', '東 湖 國 中 ', '中 原 公 園 ', '半 路 店 ', '濱 南 坑 ', '東 石 鄉 ', '摒 數 的 ', '無 中 心 化 ', '肉 欑 角 ', '編 譯 器 ', '厝 邊 頭 尾 ', '桃 丸 瓜 ', '仁 愛 杭 州 路 口 ', '千 領 ', '七 色 櫥 ', '帶 激 帶 禮 ', '蜂 仔 頭 囝 ', '齒 ', '咱 做 代 誌 的 時 尊 ', '包 水 轎 ', '海 鳥 毋 知 扒 海 柴 破 袂 開 ', '編 總 場 ', '健 康 中 心 ', '英 倫 西 亞 ', '心 理 作 ', '獅 仔 頭 ', '大 洲 路 ', '鼠 仔 ', '鹿 野 區 ', '學 子 ', '��� 櫳 山 ', '虎 尾 直 ', '赦 腹 肚 ', '鄉 村 鎮 ', '小 火 球 ', '跨 界 ', '我 三 攏 親 上 大 囡 ', '溜 落 來 ', '半 條 命 ', '生 活 習 慣 ', '電 影 經 ', '菜 包 卵 ', '塗 塗 塗 ', '鐵 甲 牛 ', '風 火 頭 ', '現 流 仔 ', '白 鳥 港 ', '空 放 ', '較 大 ', '公 眾 橋 ', '巴 結 ', '果 汁 ', '有 拜 無 一 好 ', '即 時 ', '直 腹 ', '下 晡 ', '較 早 睏 ', '搖 搖 臺 山 ', '公 司 ', '肯 肯 緊 緊 ', '坑 仔 ', '那 賽 興 國 ', '山 崘 ', '大 頭 九 某 ', '土 板 人 道 ', '奶 ', '內 園 ', '我 爸 鄉 愣 ', '地 獺 ', '真 有 喙 水 ', '摩 道 士 ', '雙 生 囡 你 就 是 林 平 友 ', '青 山 王 ', '鵝 球 蘭 ', '金 剛 ', '變 仔 ', '單 字 債 ', '狗 尾 金 ', '貓 空 ', '過 冬 跤 ', '頭 辦 坑 坑 ', '無 定 著 ', '礦 機 仔 ', '跙 湧 ', '中 州 ', '青 天 街 ', '東 方 ', '糞 埕 ', '都 原 性 別 ', '龜 此 ', '貓 蕭 ', '福 連 國 小 ', '點 撮 ', '公 貸 ', '墨 西 哥 仔 ', '立 鬥 ', '中 環 ', '羅 斯 果 倚 ', '搭 著 排 隊 布 ', '僥 行 ', '舊 水 公 園 無 尊 敲 ', '交 易 邊 ', '越 來 越 嚴 重 ', '一 个 一 个 ', '陳 港 大 橋 ', '傷 度 大 細 紲 ', '獅 仔 俗 公 ', '骨 冬 跤 ', '旭 瑩 湖 ', '講 啥 物 倚 仔 番 薯 ', '夯 ', '刺 面 粿 毒 著 蟲 ', '明 使 毋 知 臭 ', '斗 南 ', '都 可 笑 無 事 ', '水 粿 仔 ', '滿 場 ', '手 擴 ', '心 包 膜 染 ', '敢 食 氣 候 ', '阿 布 茄 ', '機 動 戰 士 ', '變 動 ', '起 一 平 ', '敲 仙 果 ', '所 羅 門 君 路 ', '終 界 ', '我 愛 大 誤 ', '校 頂 ', '甜 蟹 ', '上 蓋 ', '黑 燒 ', '落 葉 不 轉 ', '跤 川 毛 ', '拗 仔 貼 豬 仔 ', '風 箏 尪 仔 ', '山 ', '生 甲 袂 䆀 ', '交 冊 書 ', '官 刀 仔 ', '中 養 大 學 ', '石 門 水 庫 ', '論 事 商 ', '百 貨 店 ', '倯 數 間 ', '甲 蓋 ', '洗 三 頓 ', '天 台 ', '數 位 片 ', '漚 膎 ', '鈍 市 貨 ', '頭 走 鑢 ', '夭 壽 鬼 ', '好 所 在 ', '軟 施 ', '鐵 齒 ', '現 辦 ', '求 電 話 ', '伊 新 做 才 啉 臭 流 ', '模 型 仔 縮 圈 ', '一 點 點 仔 ', '龍 江 ', '隔 查 某 囝 ', '體 力 ', '松 新 酒 店 ', '過 時 直 視 ', '較 壁 咧 ', '透 心 大 管 ', '落 箍 白 仔 ', '兄 弟 姊 妹 著 愛 工 商 ', '雞 花 仔 ', '那 三 米 仔 ', '雨 林 貂 ', '就 班 ', '虎 魚 ', '落 雨 了 喔 頭 殼 邊 肩 擔 躼 躼 ', '較 聳 ', '雞 人 飼 ', '直 白 行 對 鬥 位 去 ', '敦 化 福 平 路 口 ', '仔 喙 ', '本 囝 今 年 未 知 出 頭 矣 ', '心 肝 義 ', '愛 白 叫 母 ', '直 昏 ', '蠓 蠓 仔 糊 ', '婉 安 ', '牛 郎 ', '袂 看 得 ', '立 講 立 直 ', '龜 山 島 ', '過 桌 ', '索 做 堆 ', '尾 仔 跤 ', '包 大 ', '原 地 ', '三 頂 三 重 ', '林 仔 口 ', '筆 電 ', '燒 桌 ', '吹 轉 來 ', '機 中 站 ', '殕 仔 代 ', '新 婦 ', '燒 桌 ', '頂 底 標 ', '竹 南 ', '你 共 包 仔 袋 去 烘 燒 一 下 ', '病 房 間 病 房 軍 ', '頂 光 館 ', '線 仙 ', '演 技 界 ', '花 本 ', '毋 真 毋 原 ', '較 緊 ', '有 也 好 無 也 好 ', '操 心 ', '稈 推 仔 龍 ', '怪 奇 果 ', '國 土 交 冒 ', '新 羅 ', '過 去 ', '豆 豆 仔 ', '拍 寶 ', '未 驚 六 湖 伊 提 過 手 ', '電 仔 蜢 ', '意 解 ', '刺 尾 風 ', '湖 內 ', '體 走 ', '無 代 無 誠 ', '我 欲 準 備 落 山 ', '倒 用 ', '聽 無 ', '彼 的 頭 雞 娘 對 人 嗙 食 好 禮 ', '大 細 輪 ', '無 歇 ', '無 二 誤 你 的 出 國 讀 冊 ', '借 番 ', '敢 語 ', '後 寮 ', '我 攏 有 看 著 ', '建 南 路 ', '歹 鼻 ', '三 跤 步 一 跤 定 ', '肉 肉 ', '共 你 做 ', '下 晡 點 心 ', '輪 管 ', '無 直 接 ', '公 文 ', '閘 喙 高 跤 倉 ', '交 冉 片 ', '橐 錢 ', '毛 康 照 ', '鵝 仔 湯 仔 ', '結 婀 面 ', '白 對 人 ', '空 一 枝 ', '無 一 寶 ', '樓 口 講 出 來 ', '斗 頂 ', '通 地 做 甲 流 汗 通 跤 的 傷 甲 流 瀾 ', '鵝 鬥 陣 ', '拍 死 辦 ', '通 病 ', '踏 巴 ', '簡 訊 ', '一 个 接 一 个 ', '緊 來 山 ', '洋 仔 話 ', '拍 送 ', '直 落 我 ', '總 舖 ', '三 里 無 見 龜 溜 溜 ', '合 肝 ', '手 新 東 ', '電 子 ', '暗 空 ', '散 食 ', '塑 膠 車 ', '要 義 ', '燒 雞 胿 ', '吊 猴 ', '掠 猴 ', '罨 頭 仔 ', '濟 囝 濟 八 八 濟 新 婦 濟 體 踢 ', '高 橋 ', '無 拄 好 ', '手 頭 鏢 ', '金 剛 實 力 ', '觀 音 大 師 ', '在 轉 ', '馬 鞍 苴 ', '拗 落 ', '結 婚 ', '一 目 仔 ', '提 款 片 ', '無 你 的 代 ', '天 公 祖 ', '賰 講 ', '離 地 ', '馬 鈴 薯 條 ', '做 塗 水 的 ', '林 姓 未 ', '流 明 潭 ', '官 包 遊 ', '湯 醋 ', '離 線 ', '拍 鐵 屎 ', '萬 一 跤 步 ', '提 披 仔 ', '下 禮 拜 ', '死 蠓 薯 仔 ', '你 毋 通 睏 直 心 肝 內 ', '臭 龜 仔 ', '趁 一 空 食 三 冬 ', '我 欲 下 晡 你 ', '臺 ', '腹 仔 豆 ', '箍 喙 罨 ', '貴 州 性 ', '敦 化 北 路 ', '欲 看 起 來 是 正 爿 仔 水 ', '真 會 食 戇 戇 會 食 天 戇 ', '��� 去 ', '下 晡 時 ', '鬼 个 ', '紅 頂 ', '感 情 ', '二 條 仔 ', '無 鐵 仔 ', '原 形 力 ', '馬 空 ', '六 點 ', '司 長 ', '車 母 奶 ', '圓 仔 機 ', '廣 寮 區 ', '甘 花 噴 天 ', '大 好 寄 人 个 ', '行 政 院 ', '食 鼠 ', '九 塊 厝 ', '冷 清 ', '月 光 ', '浸 水 去 ', '雞 友 ', '天 公 司 ', '懸 ', '愛 大 義 ', '我 講 尾 袂 符 仔 ', '天 幕 ', '有 連 線 ', '衝 ', '中 國 話 ', '平 行 對 排 ', '四 跤 草 ', '聽 雨 ', '觀 覽 ', '結 凰 卵 ', '站 著 ', '達 港 山 ', '時 過 我 大 病 ', '有 這 款 的 代 誌 我 攏 毋 知 ', '活 頭 仔 機 ', '國 姓 夯 ', '那 口 龜 ', '倚 ', '寶 山 名 字 ', '大 直 路 彎 ', '半 信 半 疑 ', '店 頂 店 頂 可 見 影 微 時 ', '你 有 光 洘 ', '人 頭 無 洗 手 的 朋 友 ', '烏 日 ', '位 方 ', '水 總 ', '懸 低 ', '連 半 个 人 影 無 ', '吊 褲 ', '塗 糍 工 ', '無 沙 沙 ', '微 星 船 ', '馬 鞍 若 ', '搵 醬 ', '頂 頭 武 拄 仔 林 林 ', '幼 精 静 內 室 ', '港 仔 喙 國 小 ', '魯 克 素 姑 ', '落 尾 的 ', '平 板 電 腦 ', '文 文 仔 戶 路 久 塗 麥 澹 ', '冷 滾 水 ', '伊 咧 紅 鵠 按 一 咧 位 ', '鹽 素 雞 ', '雞 卵 糕 仔 ', '溼 管 ', '足 桌 ', '聖 誕 老 阿 公 ', '旗 鼎 白 毛 毛 ', '飯 煎 ', '南 官 ', '毋 認 是 ', '餘 姻 ', '包 山 包 海 ', '店 空 龜 ', '洗 三 頓 ', '哈 勁 電 商 ', '開 喙 罨 粒 粒 草 ', '踏 水 去 ', '老 舊 宗 ', '塑 膠 鹿 仔 ', '思 維 仔 聯 名 ', '臭 水 ', '屬 暗 君 仔 ', '飛 行 機 ', '邊 桮 ', '圍 場 天 下 不 亂 ', '錢 票 ', '郭 仔 樹 ', '英 國 三 峽 埤 ', '半 夜 ', '珠 淚 ', '衝 勇 ', '敢 有 問 題 ', '食 涼 ', '位 置 欠 貯 ', '做 塗 水 ', '怪 奇 ', '辦 勁 ', '交 冠 ', '海 岸 ', '中 山 路 ', '番 仔 ', '粉 圓 仔 ', '龜 龜 毛 毛 ', '毋 捌 伊 看 閣 時 ', '流 動 ', '旗 公 號 ', '海 墘 仔 ', '高 頭 果 ', '歇 斯 林 鄉 ', '民 族 ', '底 油 卵 ', '巴 基 交 電 ', '食 人 一 口 用 人 一 晝 ', '鐵 段 ', '東 北 仔 ', '年 猴 ', '福 星 投 資 者 ', '人 講 對 人 講 ', '金 剛 戰 士 ', '做 肉 餅 ', '小 抱 喙 ', '閻 歌 魚 ', '陂 頭 村 ', '一 筆 錢 ', '果 菜 ', '交 冊 密 件 ', '一 起 炒 一 點 落 ', '閘 死 ', '大 頭 武 人 ', '包 的 ', '頂 禮 拜 ', '尿 苴 仔 ', '人 驚 鬼 驚 人 ', '無 底 地 症 ', '日 落 山 ', '偏 鄉 ', '七 塗 跤 ', '尾 死 心 ', '戒 急 ', '做 用 力 ', '有 聽 著 無 ', '大 音 鼎 ', '斗 人 仔 本 ', '稈 稈 ', '野 連 ', '欠 責 戶 ', '暗 斷 食 性 ', '草 機 頭 仔 ', '挺 快 ', '燒 包 ', '包 餅 ', '手 段 ', '軟 毛 ', '無 精 彩 ', '內 街 ', '烏 手 ', '小 生 炒 ', '龜 潤 ', '五 公 尺 跪 ', '山 獺 ', '人 生 欠 貨 ', '天 公 無 大 眾 ', '望 望 鄉 ', '食 風 ', '粉 糋 ', '批 車 ', '大 直 ', '公 館 路 ', '碧 潭 路 ', '臺 北 歐 洲 好 好 小 學 校 ', '衝 你 不 文 ', '四 分 仔 ', '剾 崁 的 ', '南 機 場 ', '湧 瑞 街 ', '抱 子 溪 ', '豬 傷 ', '跤 車 ', '懸 低 ', '苦 袂 當 ', '單 蔥 港 ', '蔭 囝 花 ', '車 估 ', '共 人 嗙 ', '頂 底 蠻 ', '潮 州 街 口 ', '社 軍 ', '龍 頂 厝 ', '風 鹿 公 園 ', '金 剛 鎮 ', '忠 孝 國 中 ', '民 族 區 溫 路 口 ', '松 信 路 ', '糋 麭 粉 ', '文 酒 ', '臺 北 咧 落 山 ', '幼 囡 膠 素 ', '伊 低 我 一 跪 ', '霜 仔 ', '異 地 鄉 ', '囝 蛤 仔 囝 ', '四 跤 水 仙 ', '暖 暖 區 ', '勇 氣 美 那 洗 喙 時 愛 新 律 氣 哥 ', '新 車 ', '無 心 力 鼓 號 一 號 ', '食 藤 ', '寶 位 ', '布 魯 ', '冰 湯 ', '福 星 橋 ', '阿 拉 ', '送 安 ', '我 啉 鼠 ', '平 鎮 ', '戇 代 誌 ', '美 女 年 ', '景 興 路 ', '海 角 仔 頭 ', '一 過 半 過 ', '失 眠 者 ', '澳 國 ', '瑞 芳 ', '人 事 貓 頭 鳥 ', '茂 羅 花 ', '酒 弓 喙 罨 ', '哥 姊 太 ', '敢 說 ', '不 知 ', '建 州 區 ', '上 海 毛 蟹 ', '意 式 麵 ', '光 復 ', '話 語 資 中 ', '皮 蛋 精 肉 糜 ', '紅 豆 仔 麭 ', '頂 花 ', '傷 經 ', '三 柳 人 講 四 斤 話 ', '金 馬 ', '這 組 ', '卵 箍 ', '真 珠 看 著 貓 鼠 屎 ', '品 錢 ', '覺 運 動 龍 ', '刣 文 足 恐 怖 ', '品 結 經 ', '羅 連 ', '指 挺 蟯 ', '湧 湯 包 ', '花 生 芽 ', '可 睏 原 ', '土 象 ', '低 頭 鳳 ', '蔭 喙 ', '㨻 花 ', '敲 東 ', '番 薯 片 ', '摒 去 ', '卵 豬 ', '歡 喜 甘 杞 ', '大 海 毋 驚 大 水 ', '橫 的 ', '跤 手 剪 ', '歇 ', '千 巴 醬 ', '徛 桌 膎 ', '查 某 娘 ', '番 薯 球 ', '蜂 寮 草 ', '大 火 ', '火 戛 某 ', '英 國 花 ', '緬 豬 股 份 ', '老 街 ', '看 無 ', '摘 查 天 火 管 ', '結 婚 活 動 ', '臺 羅 膯 ', '來 ', '金 鳳 山 ', '死 未 見 消 ', '嚇 舌 ', '膠 化 ', '巴 鈴 薯 片 ', '二 頭 曝 仔 川 仔 講 客 ', '英 語 庫 本 ', '葬 水 機 ', '拄 拄 鬼 仔 ', '陂 南 ', '未 當 敢 若 我 看 著 ', '牛 困 山 ', '代 誌 虎 生 ��� 尾 ', '喙 氣 ', '景 文 街 ', '就 天 就 地 ', '今 年 是 一 个 虎 年 冬 ', '塑 膠 ', '烏 山 頭 ', '三 講 四 毋 著 ', '武 素 分 離 ', '番 炒 ', '大 日 本 地 國 ', '仝 蓋 夢 想 ', '那 傲 ', '吞 奶 ', '莫 閣 ', '緊 起 做 代 誌 跤 要 緊 ', '你 講 啥 ', '緊 水 ', '位 結 ', '身 體 健 康 ', '跤 手 十 足 ', '電 子 學 ', '下 年 ', '大 路 大 股 ', '伊 是 一 个 大 米 奶 ', '解 娘 ', '放 氣 ', '你 飛 我 去 彼 邊 好 無 ', '網 路 用 較 條 咧 ', '舟 屎 ', '孤 單 一 生 ', '咖 啡 ', '死 忠 袂 誌 ', '烏 鳥 仔 ', '股 份 讀 字 ', '二 面 ', '注 目 ', '掠 肉 ', '燒 桌 ', '掩 喙 ', '創 辦 人 ', '水 產 林 ', '市 里 動 物 ', '目 睭 八 金 ', '抾 囡 仔 ', '我 後 滾 水 湯 一 个 膨 拍 足 聽 的 ', '順 桮 ', '話 人 ', '郭 蟯 ', '生 理 經 ', '飯 焦 ', '天 車 ', '未 讀 ', '馬 鈴 薯 ', '白 雲 ', '電 覕 ', '鹽 酸 草 ', '番 仔 番 薯 ', '你 一 擺 來 伊 攏 出 好 寮 的 ', '來 喔 緊 來 看 喔 ', '番 黍 ', '總 事 記 ', '拍 柴 ', '列 位 ', '風 山 ', '老 厝 ', '開 山 武 將 ', '金 米 國 小 ', '德 北 市 ', '驕 頭 區 ', '南 州 ', '好 美 鎮 ', '忠 義 ', '西 區 ', '國 泰 ', '水 轉 流 ', '中 壤 路 ', '南 福 德 ', '金 華 大 學 ', '使 甲 ', '樹 林 區 ', '紙 票 變 高 ', '中 山 橋 ', '彰 化 銀 行 ', '毋 國 中 ', '喙 風 橋 ', '花 仔 菜 ', '中 正 國 小 ', '按 呢 著 好 ', '老 去 仔 ', '車 埕 ', '南 洋 街 ', '鄉 路 ', '松 勢 路 口 ', '中 坑 ', '不 速 制 溪 ', '瑞 源 ', '後 壠 ', '大 頭 鼎 ', '鳥 仔 經 ', '再 掰 ', '新 娘 區 ', '正 義 遊 腳 ', '寧 夏 路 ', '動 蠻 ', '大 溝 囡 ', '仁 愛 鄉 ', '快 龍 ', '班 ', '西 邊 ', '遮 基 ', '釣 官 雞 ', '先 死 娘 ', '拍 鐵 寮 ', '路 燕 區 ', '問 尾 ', '外 商 街 ', '信 義 區 ', '你 那 母 感 災 仔 你 一 隻 食 發 肺 份 ', '敢 按 呢 ', '到 草 原 ', '望 星 橋 ', '市 府 ', '實 字 幕 ', '文 松 橋 ', '位 仔 緊 無 ', '那 來 鄉 ', '紅 目 照 使 ', '囡 仔 人 仔 看 霧 ', '車 埕 ', '文 國 菜 ', '歹 喙 豆 ', '查 某 爺 ', '魯 菜 頭 ', '跳 過 ', '鴨 母 帶 種 苧 ', '不 知 不 覺 ', '客 鄉 ', '地 獺 血 ', '天 鵝 毛 公 場 ', '刀 光 ', '尾 名 話 ', '焦 花 ', '雞 人 烘 ', '暗 眠 妄 山 貓 ', '袂 曉 講 話 ', '尤 川 ', '巡 庄 ', '三 攏 無 ', '鐵 鉎 膠 ', '推 斗 ', '足 久 無 看 的 ', '起 雞 毛 皮 ', '臺 南 ', '北 建 圈 ', '落 花 束 ', '著 瓦 仔 條 ', '苦 寮 仔 ', '五 起 囝 仔 開 開 十 起 馬 延 ', '幼 囡 位 ', '眵 尾 頂 ', '花 施 琅 ', '大 箍 ', '殼 低 ', '客 戶 ', '鴨 母 樹 ', '烏 鴉 姑 ', '海 口 ', '阿 里 不 達 ', '冰 島 ', '捽 ', '使 啦 ', '臭 屎 青 ', '茂 谷 蜈 蚩 ', '切 腹 ', '容 鬆 規 大 ', '這 車 攏 是 假 的 ', '小 山 卵 仔 ', '剪 仔 菇 ', '青 梅 仔 目 鏡 ', '親 愛 的 ', '在 地 大 學 ', '馬 基 島 位 ', '崁 頭 鴨 ', '貶 牛 ', '揣 著 ', '家 長 交 度 ', '門 樓 仔 ', '林 國 龍 ', '狗 頭 不 良 ', '癱 風 ', '我 欲 去 便 所 ', '彼 當 時 ', '品 雷 公 ', '代 誌 毋 好 ', '枕 頭 ', '鴨 鼠 大 ', '資 料 庫 學 ', '罨 底 水 低 ', '匯 錢 ', '睏 袂 去 ']
pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:4ef4e1637cc218a82689705eefba3dfb4c61dd4754c6462e1492eb4c9dee2738
3
  size 6173655480
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7ce5d412286fe735ff8f7b3d21595df7236d692a4a1344ecdd9d9188e7f0ce3d
3
  size 6173655480
runs/May27_16-29-08_DESKTOP-EVSD799/1685176171.0099354/events.out.tfevents.1685176171.DESKTOP-EVSD799.21519.1 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:605f61f3b455bc3931ab6a2cb35fd89998e98892123c1675106b4808d4b17e34
3
+ size 5980
runs/May27_16-29-08_DESKTOP-EVSD799/events.out.tfevents.1685176170.DESKTOP-EVSD799.21519.0 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:835ae26760f6f41bef9873d6bc5426e4b2c01b4db78c64e8ed73e694e24c758f
3
+ size 38142
runs/May27_16-29-08_DESKTOP-EVSD799/events.out.tfevents.1685181957.DESKTOP-EVSD799.21519.2 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3532d7a8322687ae8a560a460f3878987625e93bbaea912233a718c86bd1bd32
3
+ size 405
train_results.json CHANGED
@@ -1,7 +1,7 @@
1
  {
2
- "epoch": 1.38,
3
- "train_loss": 0.91982373046875,
4
- "train_runtime": 1347.6358,
5
- "train_samples_per_second": 1.484,
6
- "train_steps_per_second": 0.742
7
  }
 
1
  {
2
+ "epoch": 6.05,
3
+ "train_loss": 0.3433635727233719,
4
+ "train_runtime": 5460.4494,
5
+ "train_samples_per_second": 1.831,
6
+ "train_steps_per_second": 0.916
7
  }
trainer_state.json CHANGED
@@ -1,41 +1,1275 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 1.383,
5
- "global_step": 1000,
6
  "is_hyper_param_search": false,
7
  "is_local_process_zero": true,
8
  "is_world_process_zero": true,
9
  "log_history": [
10
  {
11
- "epoch": 1.38,
12
- "learning_rate": 8.88888888888889e-08,
13
- "loss": 0.9198,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
14
  "step": 1000
15
  },
16
  {
17
- "epoch": 1.38,
18
- "eval_cer": 48.17386054935105,
19
- "eval_loss": 0.9147109389305115,
20
- "eval_runtime": 340.3264,
21
- "eval_samples_per_second": 2.897,
22
- "eval_steps_per_second": 1.449,
23
- "eval_wer": 48.06106870229008,
24
  "step": 1000
25
  },
26
  {
27
- "epoch": 1.38,
28
- "step": 1000,
29
- "total_flos": 4.2463420416e+18,
30
- "train_loss": 0.91982373046875,
31
- "train_runtime": 1347.6358,
32
- "train_samples_per_second": 1.484,
33
- "train_steps_per_second": 0.742
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
34
  }
35
  ],
36
- "max_steps": 1000,
37
  "num_train_epochs": 9223372036854775807,
38
- "total_flos": 4.2463420416e+18,
39
  "trial_name": null,
40
  "trial_params": null
41
  }
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 6.0532,
5
+ "global_step": 5000,
6
  "is_hyper_param_search": false,
7
  "is_local_process_zero": true,
8
  "is_world_process_zero": true,
9
  "log_history": [
10
  {
11
+ "epoch": 0.01,
12
+ "learning_rate": 4.0000000000000003e-07,
13
+ "loss": 2.3624,
14
+ "step": 25
15
+ },
16
+ {
17
+ "epoch": 0.01,
18
+ "learning_rate": 8.8e-07,
19
+ "loss": 2.1188,
20
+ "step": 50
21
+ },
22
+ {
23
+ "epoch": 0.01,
24
+ "learning_rate": 1.3800000000000001e-06,
25
+ "loss": 1.6209,
26
+ "step": 75
27
+ },
28
+ {
29
+ "epoch": 0.02,
30
+ "learning_rate": 1.8800000000000002e-06,
31
+ "loss": 1.3116,
32
+ "step": 100
33
+ },
34
+ {
35
+ "epoch": 0.03,
36
+ "learning_rate": 2.38e-06,
37
+ "loss": 1.2712,
38
+ "step": 125
39
+ },
40
+ {
41
+ "epoch": 0.03,
42
+ "learning_rate": 2.88e-06,
43
+ "loss": 1.3543,
44
+ "step": 150
45
+ },
46
+ {
47
+ "epoch": 0.04,
48
+ "learning_rate": 3.3800000000000007e-06,
49
+ "loss": 1.2611,
50
+ "step": 175
51
+ },
52
+ {
53
+ "epoch": 0.04,
54
+ "learning_rate": 3.86e-06,
55
+ "loss": 1.0402,
56
+ "step": 200
57
+ },
58
+ {
59
+ "epoch": 0.04,
60
+ "learning_rate": 4.360000000000001e-06,
61
+ "loss": 1.1532,
62
+ "step": 225
63
+ },
64
+ {
65
+ "epoch": 0.05,
66
+ "learning_rate": 4.86e-06,
67
+ "loss": 1.3084,
68
+ "step": 250
69
+ },
70
+ {
71
+ "epoch": 0.06,
72
+ "learning_rate": 5.36e-06,
73
+ "loss": 1.2273,
74
+ "step": 275
75
+ },
76
+ {
77
+ "epoch": 0.06,
78
+ "learning_rate": 5.86e-06,
79
+ "loss": 1.0857,
80
+ "step": 300
81
+ },
82
+ {
83
+ "epoch": 0.07,
84
+ "learning_rate": 6.360000000000001e-06,
85
+ "loss": 1.2258,
86
+ "step": 325
87
+ },
88
+ {
89
+ "epoch": 0.07,
90
+ "learning_rate": 6.860000000000001e-06,
91
+ "loss": 1.2328,
92
+ "step": 350
93
+ },
94
+ {
95
+ "epoch": 0.07,
96
+ "learning_rate": 7.360000000000001e-06,
97
+ "loss": 1.213,
98
+ "step": 375
99
+ },
100
+ {
101
+ "epoch": 0.08,
102
+ "learning_rate": 7.860000000000001e-06,
103
+ "loss": 1.3364,
104
+ "step": 400
105
+ },
106
+ {
107
+ "epoch": 0.09,
108
+ "learning_rate": 8.36e-06,
109
+ "loss": 1.1307,
110
+ "step": 425
111
+ },
112
+ {
113
+ "epoch": 0.09,
114
+ "learning_rate": 8.860000000000002e-06,
115
+ "loss": 1.2142,
116
+ "step": 450
117
+ },
118
+ {
119
+ "epoch": 0.1,
120
+ "learning_rate": 9.360000000000002e-06,
121
+ "loss": 1.2554,
122
+ "step": 475
123
+ },
124
+ {
125
+ "epoch": 0.1,
126
+ "learning_rate": 9.86e-06,
127
+ "loss": 1.453,
128
+ "step": 500
129
+ },
130
+ {
131
+ "epoch": 0.1,
132
+ "learning_rate": 9.960000000000001e-06,
133
+ "loss": 1.0811,
134
+ "step": 525
135
+ },
136
+ {
137
+ "epoch": 0.11,
138
+ "learning_rate": 9.904444444444445e-06,
139
+ "loss": 1.4234,
140
+ "step": 550
141
+ },
142
+ {
143
+ "epoch": 0.12,
144
+ "learning_rate": 9.84888888888889e-06,
145
+ "loss": 1.1177,
146
+ "step": 575
147
+ },
148
+ {
149
+ "epoch": 0.12,
150
+ "learning_rate": 9.793333333333333e-06,
151
+ "loss": 1.2537,
152
+ "step": 600
153
+ },
154
+ {
155
+ "epoch": 0.12,
156
+ "learning_rate": 9.737777777777779e-06,
157
+ "loss": 1.4309,
158
+ "step": 625
159
+ },
160
+ {
161
+ "epoch": 0.13,
162
+ "learning_rate": 9.682222222222223e-06,
163
+ "loss": 1.1939,
164
+ "step": 650
165
+ },
166
+ {
167
+ "epoch": 0.14,
168
+ "learning_rate": 9.626666666666667e-06,
169
+ "loss": 1.4469,
170
+ "step": 675
171
+ },
172
+ {
173
+ "epoch": 0.14,
174
+ "learning_rate": 9.571111111111113e-06,
175
+ "loss": 1.1278,
176
+ "step": 700
177
+ },
178
+ {
179
+ "epoch": 0.14,
180
+ "learning_rate": 9.515555555555557e-06,
181
+ "loss": 1.2459,
182
+ "step": 725
183
+ },
184
+ {
185
+ "epoch": 0.15,
186
+ "learning_rate": 9.460000000000001e-06,
187
+ "loss": 0.9669,
188
+ "step": 750
189
+ },
190
+ {
191
+ "epoch": 0.15,
192
+ "learning_rate": 9.404444444444445e-06,
193
+ "loss": 1.0934,
194
+ "step": 775
195
+ },
196
+ {
197
+ "epoch": 1.0,
198
+ "learning_rate": 9.348888888888889e-06,
199
+ "loss": 0.8223,
200
+ "step": 800
201
+ },
202
+ {
203
+ "epoch": 1.01,
204
+ "learning_rate": 9.293333333333335e-06,
205
+ "loss": 0.8306,
206
+ "step": 825
207
+ },
208
+ {
209
+ "epoch": 1.01,
210
+ "learning_rate": 9.237777777777779e-06,
211
+ "loss": 0.8573,
212
+ "step": 850
213
+ },
214
+ {
215
+ "epoch": 1.02,
216
+ "learning_rate": 9.182222222222223e-06,
217
+ "loss": 0.818,
218
+ "step": 875
219
+ },
220
+ {
221
+ "epoch": 1.02,
222
+ "learning_rate": 9.126666666666667e-06,
223
+ "loss": 0.7734,
224
+ "step": 900
225
+ },
226
+ {
227
+ "epoch": 1.03,
228
+ "learning_rate": 9.07111111111111e-06,
229
+ "loss": 0.8211,
230
+ "step": 925
231
+ },
232
+ {
233
+ "epoch": 1.03,
234
+ "learning_rate": 9.015555555555557e-06,
235
+ "loss": 0.7027,
236
+ "step": 950
237
+ },
238
+ {
239
+ "epoch": 1.04,
240
+ "learning_rate": 8.96e-06,
241
+ "loss": 0.7397,
242
+ "step": 975
243
+ },
244
+ {
245
+ "epoch": 1.04,
246
+ "learning_rate": 8.904444444444446e-06,
247
+ "loss": 0.6011,
248
  "step": 1000
249
  },
250
  {
251
+ "epoch": 1.04,
252
+ "eval_cer": 55.20676124358588,
253
+ "eval_loss": 1.1100292205810547,
254
+ "eval_runtime": 311.6884,
255
+ "eval_samples_per_second": 3.163,
256
+ "eval_steps_per_second": 1.582,
257
+ "eval_wer": 55.022900763358784,
258
  "step": 1000
259
  },
260
  {
261
+ "epoch": 1.05,
262
+ "learning_rate": 8.848888888888889e-06,
263
+ "loss": 0.7035,
264
+ "step": 1025
265
+ },
266
+ {
267
+ "epoch": 1.05,
268
+ "learning_rate": 8.793333333333334e-06,
269
+ "loss": 0.5823,
270
+ "step": 1050
271
+ },
272
+ {
273
+ "epoch": 1.06,
274
+ "learning_rate": 8.737777777777778e-06,
275
+ "loss": 0.6668,
276
+ "step": 1075
277
+ },
278
+ {
279
+ "epoch": 1.06,
280
+ "learning_rate": 8.682222222222222e-06,
281
+ "loss": 0.7825,
282
+ "step": 1100
283
+ },
284
+ {
285
+ "epoch": 1.07,
286
+ "learning_rate": 8.626666666666668e-06,
287
+ "loss": 0.5401,
288
+ "step": 1125
289
+ },
290
+ {
291
+ "epoch": 1.07,
292
+ "learning_rate": 8.571111111111112e-06,
293
+ "loss": 0.687,
294
+ "step": 1150
295
+ },
296
+ {
297
+ "epoch": 1.08,
298
+ "learning_rate": 8.515555555555556e-06,
299
+ "loss": 0.557,
300
+ "step": 1175
301
+ },
302
+ {
303
+ "epoch": 1.08,
304
+ "learning_rate": 8.46e-06,
305
+ "loss": 0.5952,
306
+ "step": 1200
307
+ },
308
+ {
309
+ "epoch": 1.09,
310
+ "learning_rate": 8.404444444444444e-06,
311
+ "loss": 0.6319,
312
+ "step": 1225
313
+ },
314
+ {
315
+ "epoch": 1.09,
316
+ "learning_rate": 8.34888888888889e-06,
317
+ "loss": 0.6004,
318
+ "step": 1250
319
+ },
320
+ {
321
+ "epoch": 1.1,
322
+ "learning_rate": 8.293333333333334e-06,
323
+ "loss": 0.6284,
324
+ "step": 1275
325
+ },
326
+ {
327
+ "epoch": 1.1,
328
+ "learning_rate": 8.237777777777778e-06,
329
+ "loss": 0.6487,
330
+ "step": 1300
331
+ },
332
+ {
333
+ "epoch": 1.11,
334
+ "learning_rate": 8.182222222222222e-06,
335
+ "loss": 0.397,
336
+ "step": 1325
337
+ },
338
+ {
339
+ "epoch": 1.11,
340
+ "learning_rate": 8.126666666666668e-06,
341
+ "loss": 0.6252,
342
+ "step": 1350
343
+ },
344
+ {
345
+ "epoch": 1.12,
346
+ "learning_rate": 8.071111111111112e-06,
347
+ "loss": 0.4981,
348
+ "step": 1375
349
+ },
350
+ {
351
+ "epoch": 1.12,
352
+ "learning_rate": 8.015555555555556e-06,
353
+ "loss": 0.4106,
354
+ "step": 1400
355
+ },
356
+ {
357
+ "epoch": 1.13,
358
+ "learning_rate": 7.960000000000002e-06,
359
+ "loss": 0.385,
360
+ "step": 1425
361
+ },
362
+ {
363
+ "epoch": 1.13,
364
+ "learning_rate": 7.904444444444444e-06,
365
+ "loss": 0.5597,
366
+ "step": 1450
367
+ },
368
+ {
369
+ "epoch": 1.14,
370
+ "learning_rate": 7.84888888888889e-06,
371
+ "loss": 0.4176,
372
+ "step": 1475
373
+ },
374
+ {
375
+ "epoch": 1.14,
376
+ "learning_rate": 7.793333333333334e-06,
377
+ "loss": 0.5235,
378
+ "step": 1500
379
+ },
380
+ {
381
+ "epoch": 1.15,
382
+ "learning_rate": 7.737777777777778e-06,
383
+ "loss": 0.6513,
384
+ "step": 1525
385
+ },
386
+ {
387
+ "epoch": 1.15,
388
+ "learning_rate": 7.682222222222224e-06,
389
+ "loss": 0.514,
390
+ "step": 1550
391
+ },
392
+ {
393
+ "epoch": 1.16,
394
+ "learning_rate": 7.626666666666668e-06,
395
+ "loss": 0.549,
396
+ "step": 1575
397
+ },
398
+ {
399
+ "epoch": 2.0,
400
+ "learning_rate": 7.571111111111112e-06,
401
+ "loss": 0.2948,
402
+ "step": 1600
403
+ },
404
+ {
405
+ "epoch": 2.01,
406
+ "learning_rate": 7.515555555555556e-06,
407
+ "loss": 0.1904,
408
+ "step": 1625
409
+ },
410
+ {
411
+ "epoch": 2.01,
412
+ "learning_rate": 7.4600000000000006e-06,
413
+ "loss": 0.2632,
414
+ "step": 1650
415
+ },
416
+ {
417
+ "epoch": 2.02,
418
+ "learning_rate": 7.4044444444444455e-06,
419
+ "loss": 0.2815,
420
+ "step": 1675
421
+ },
422
+ {
423
+ "epoch": 2.02,
424
+ "learning_rate": 7.3488888888888895e-06,
425
+ "loss": 0.1711,
426
+ "step": 1700
427
+ },
428
+ {
429
+ "epoch": 2.03,
430
+ "learning_rate": 7.2933333333333335e-06,
431
+ "loss": 0.2852,
432
+ "step": 1725
433
+ },
434
+ {
435
+ "epoch": 2.03,
436
+ "learning_rate": 7.237777777777778e-06,
437
+ "loss": 0.2344,
438
+ "step": 1750
439
+ },
440
+ {
441
+ "epoch": 2.04,
442
+ "learning_rate": 7.1822222222222224e-06,
443
+ "loss": 0.216,
444
+ "step": 1775
445
+ },
446
+ {
447
+ "epoch": 2.04,
448
+ "learning_rate": 7.126666666666667e-06,
449
+ "loss": 0.1479,
450
+ "step": 1800
451
+ },
452
+ {
453
+ "epoch": 2.05,
454
+ "learning_rate": 7.071111111111112e-06,
455
+ "loss": 0.2791,
456
+ "step": 1825
457
+ },
458
+ {
459
+ "epoch": 2.05,
460
+ "learning_rate": 7.015555555555556e-06,
461
+ "loss": 0.1207,
462
+ "step": 1850
463
+ },
464
+ {
465
+ "epoch": 2.06,
466
+ "learning_rate": 6.96e-06,
467
+ "loss": 0.1538,
468
+ "step": 1875
469
+ },
470
+ {
471
+ "epoch": 2.06,
472
+ "learning_rate": 6.904444444444444e-06,
473
+ "loss": 0.1898,
474
+ "step": 1900
475
+ },
476
+ {
477
+ "epoch": 2.07,
478
+ "learning_rate": 6.848888888888889e-06,
479
+ "loss": 0.1789,
480
+ "step": 1925
481
+ },
482
+ {
483
+ "epoch": 2.07,
484
+ "learning_rate": 6.793333333333334e-06,
485
+ "loss": 0.1941,
486
+ "step": 1950
487
+ },
488
+ {
489
+ "epoch": 2.08,
490
+ "learning_rate": 6.737777777777779e-06,
491
+ "loss": 0.2072,
492
+ "step": 1975
493
+ },
494
+ {
495
+ "epoch": 2.08,
496
+ "learning_rate": 6.682222222222223e-06,
497
+ "loss": 0.1773,
498
+ "step": 2000
499
+ },
500
+ {
501
+ "epoch": 2.08,
502
+ "eval_cer": 58.768487775430124,
503
+ "eval_loss": 1.2054609060287476,
504
+ "eval_runtime": 316.5335,
505
+ "eval_samples_per_second": 3.115,
506
+ "eval_steps_per_second": 1.557,
507
+ "eval_wer": 58.656488549618324,
508
+ "step": 2000
509
+ },
510
+ {
511
+ "epoch": 2.09,
512
+ "learning_rate": 6.626666666666667e-06,
513
+ "loss": 0.2132,
514
+ "step": 2025
515
+ },
516
+ {
517
+ "epoch": 2.09,
518
+ "learning_rate": 6.571111111111111e-06,
519
+ "loss": 0.241,
520
+ "step": 2050
521
+ },
522
+ {
523
+ "epoch": 2.1,
524
+ "learning_rate": 6.515555555555556e-06,
525
+ "loss": 0.1587,
526
+ "step": 2075
527
+ },
528
+ {
529
+ "epoch": 2.1,
530
+ "learning_rate": 6.460000000000001e-06,
531
+ "loss": 0.1256,
532
+ "step": 2100
533
+ },
534
+ {
535
+ "epoch": 2.11,
536
+ "learning_rate": 6.404444444444446e-06,
537
+ "loss": 0.1353,
538
+ "step": 2125
539
+ },
540
+ {
541
+ "epoch": 2.11,
542
+ "learning_rate": 6.348888888888889e-06,
543
+ "loss": 0.105,
544
+ "step": 2150
545
+ },
546
+ {
547
+ "epoch": 2.12,
548
+ "learning_rate": 6.293333333333334e-06,
549
+ "loss": 0.1043,
550
+ "step": 2175
551
+ },
552
+ {
553
+ "epoch": 2.12,
554
+ "learning_rate": 6.237777777777778e-06,
555
+ "loss": 0.2282,
556
+ "step": 2200
557
+ },
558
+ {
559
+ "epoch": 2.13,
560
+ "learning_rate": 6.182222222222223e-06,
561
+ "loss": 0.1383,
562
+ "step": 2225
563
+ },
564
+ {
565
+ "epoch": 2.13,
566
+ "learning_rate": 6.126666666666668e-06,
567
+ "loss": 0.2288,
568
+ "step": 2250
569
+ },
570
+ {
571
+ "epoch": 2.14,
572
+ "learning_rate": 6.0711111111111125e-06,
573
+ "loss": 0.188,
574
+ "step": 2275
575
+ },
576
+ {
577
+ "epoch": 2.14,
578
+ "learning_rate": 6.015555555555556e-06,
579
+ "loss": 0.1187,
580
+ "step": 2300
581
+ },
582
+ {
583
+ "epoch": 2.15,
584
+ "learning_rate": 5.9600000000000005e-06,
585
+ "loss": 0.1893,
586
+ "step": 2325
587
+ },
588
+ {
589
+ "epoch": 2.15,
590
+ "learning_rate": 5.9044444444444446e-06,
591
+ "loss": 0.1996,
592
+ "step": 2350
593
+ },
594
+ {
595
+ "epoch": 3.0,
596
+ "learning_rate": 5.8488888888888895e-06,
597
+ "loss": 0.1588,
598
+ "step": 2375
599
+ },
600
+ {
601
+ "epoch": 3.01,
602
+ "learning_rate": 5.793333333333334e-06,
603
+ "loss": 0.05,
604
+ "step": 2400
605
+ },
606
+ {
607
+ "epoch": 3.01,
608
+ "learning_rate": 5.737777777777778e-06,
609
+ "loss": 0.0634,
610
+ "step": 2425
611
+ },
612
+ {
613
+ "epoch": 3.02,
614
+ "learning_rate": 5.682222222222222e-06,
615
+ "loss": 0.0964,
616
+ "step": 2450
617
+ },
618
+ {
619
+ "epoch": 3.02,
620
+ "learning_rate": 5.626666666666667e-06,
621
+ "loss": 0.0753,
622
+ "step": 2475
623
+ },
624
+ {
625
+ "epoch": 3.03,
626
+ "learning_rate": 5.571111111111111e-06,
627
+ "loss": 0.0634,
628
+ "step": 2500
629
+ },
630
+ {
631
+ "epoch": 3.03,
632
+ "learning_rate": 5.515555555555556e-06,
633
+ "loss": 0.0248,
634
+ "step": 2525
635
+ },
636
+ {
637
+ "epoch": 3.04,
638
+ "learning_rate": 5.460000000000001e-06,
639
+ "loss": 0.0698,
640
+ "step": 2550
641
+ },
642
+ {
643
+ "epoch": 3.04,
644
+ "learning_rate": 5.404444444444444e-06,
645
+ "loss": 0.0496,
646
+ "step": 2575
647
+ },
648
+ {
649
+ "epoch": 3.05,
650
+ "learning_rate": 5.348888888888889e-06,
651
+ "loss": 0.0641,
652
+ "step": 2600
653
+ },
654
+ {
655
+ "epoch": 3.05,
656
+ "learning_rate": 5.293333333333334e-06,
657
+ "loss": 0.0718,
658
+ "step": 2625
659
+ },
660
+ {
661
+ "epoch": 3.06,
662
+ "learning_rate": 5.237777777777778e-06,
663
+ "loss": 0.0129,
664
+ "step": 2650
665
+ },
666
+ {
667
+ "epoch": 3.06,
668
+ "learning_rate": 5.182222222222223e-06,
669
+ "loss": 0.0223,
670
+ "step": 2675
671
+ },
672
+ {
673
+ "epoch": 3.07,
674
+ "learning_rate": 5.126666666666668e-06,
675
+ "loss": 0.0181,
676
+ "step": 2700
677
+ },
678
+ {
679
+ "epoch": 3.07,
680
+ "learning_rate": 5.071111111111111e-06,
681
+ "loss": 0.0608,
682
+ "step": 2725
683
+ },
684
+ {
685
+ "epoch": 3.08,
686
+ "learning_rate": 5.015555555555556e-06,
687
+ "loss": 0.0298,
688
+ "step": 2750
689
+ },
690
+ {
691
+ "epoch": 3.08,
692
+ "learning_rate": 4.960000000000001e-06,
693
+ "loss": 0.0335,
694
+ "step": 2775
695
+ },
696
+ {
697
+ "epoch": 3.09,
698
+ "learning_rate": 4.904444444444445e-06,
699
+ "loss": 0.0556,
700
+ "step": 2800
701
+ },
702
+ {
703
+ "epoch": 3.09,
704
+ "learning_rate": 4.848888888888889e-06,
705
+ "loss": 0.0338,
706
+ "step": 2825
707
+ },
708
+ {
709
+ "epoch": 3.1,
710
+ "learning_rate": 4.793333333333334e-06,
711
+ "loss": 0.0627,
712
+ "step": 2850
713
+ },
714
+ {
715
+ "epoch": 3.1,
716
+ "learning_rate": 4.737777777777779e-06,
717
+ "loss": 0.0272,
718
+ "step": 2875
719
+ },
720
+ {
721
+ "epoch": 3.11,
722
+ "learning_rate": 4.682222222222223e-06,
723
+ "loss": 0.0332,
724
+ "step": 2900
725
+ },
726
+ {
727
+ "epoch": 3.11,
728
+ "learning_rate": 4.626666666666667e-06,
729
+ "loss": 0.0464,
730
+ "step": 2925
731
+ },
732
+ {
733
+ "epoch": 3.12,
734
+ "learning_rate": 4.571111111111112e-06,
735
+ "loss": 0.0433,
736
+ "step": 2950
737
+ },
738
+ {
739
+ "epoch": 3.12,
740
+ "learning_rate": 4.515555555555556e-06,
741
+ "loss": 0.0413,
742
+ "step": 2975
743
+ },
744
+ {
745
+ "epoch": 3.13,
746
+ "learning_rate": 4.4600000000000005e-06,
747
+ "loss": 0.015,
748
+ "step": 3000
749
+ },
750
+ {
751
+ "epoch": 3.13,
752
+ "eval_cer": 48.80772713552671,
753
+ "eval_loss": 1.093173861503601,
754
+ "eval_runtime": 300.4137,
755
+ "eval_samples_per_second": 3.282,
756
+ "eval_steps_per_second": 1.641,
757
+ "eval_wer": 48.6412213740458,
758
+ "step": 3000
759
+ },
760
+ {
761
+ "epoch": 3.13,
762
+ "learning_rate": 4.404444444444445e-06,
763
+ "loss": 0.0324,
764
+ "step": 3025
765
+ },
766
+ {
767
+ "epoch": 3.14,
768
+ "learning_rate": 4.348888888888889e-06,
769
+ "loss": 0.037,
770
+ "step": 3050
771
+ },
772
+ {
773
+ "epoch": 3.14,
774
+ "learning_rate": 4.2933333333333334e-06,
775
+ "loss": 0.0418,
776
+ "step": 3075
777
+ },
778
+ {
779
+ "epoch": 3.15,
780
+ "learning_rate": 4.2377777777777775e-06,
781
+ "loss": 0.0705,
782
+ "step": 3100
783
+ },
784
+ {
785
+ "epoch": 3.15,
786
+ "learning_rate": 4.182222222222222e-06,
787
+ "loss": 0.0239,
788
+ "step": 3125
789
+ },
790
+ {
791
+ "epoch": 3.16,
792
+ "learning_rate": 4.126666666666667e-06,
793
+ "loss": 0.0386,
794
+ "step": 3150
795
+ },
796
+ {
797
+ "epoch": 4.0,
798
+ "learning_rate": 4.071111111111111e-06,
799
+ "loss": 0.0222,
800
+ "step": 3175
801
+ },
802
+ {
803
+ "epoch": 4.01,
804
+ "learning_rate": 4.015555555555556e-06,
805
+ "loss": 0.0083,
806
+ "step": 3200
807
+ },
808
+ {
809
+ "epoch": 4.01,
810
+ "learning_rate": 3.96e-06,
811
+ "loss": 0.012,
812
+ "step": 3225
813
+ },
814
+ {
815
+ "epoch": 4.02,
816
+ "learning_rate": 3.904444444444444e-06,
817
+ "loss": 0.0263,
818
+ "step": 3250
819
+ },
820
+ {
821
+ "epoch": 4.02,
822
+ "learning_rate": 3.848888888888889e-06,
823
+ "loss": 0.0062,
824
+ "step": 3275
825
+ },
826
+ {
827
+ "epoch": 4.03,
828
+ "learning_rate": 3.793333333333334e-06,
829
+ "loss": 0.0526,
830
+ "step": 3300
831
+ },
832
+ {
833
+ "epoch": 4.03,
834
+ "learning_rate": 3.737777777777778e-06,
835
+ "loss": 0.0074,
836
+ "step": 3325
837
+ },
838
+ {
839
+ "epoch": 4.04,
840
+ "learning_rate": 3.6822222222222225e-06,
841
+ "loss": 0.0063,
842
+ "step": 3350
843
+ },
844
+ {
845
+ "epoch": 4.04,
846
+ "learning_rate": 3.6266666666666674e-06,
847
+ "loss": 0.0062,
848
+ "step": 3375
849
+ },
850
+ {
851
+ "epoch": 4.05,
852
+ "learning_rate": 3.5711111111111114e-06,
853
+ "loss": 0.0288,
854
+ "step": 3400
855
+ },
856
+ {
857
+ "epoch": 4.05,
858
+ "learning_rate": 3.515555555555556e-06,
859
+ "loss": 0.0152,
860
+ "step": 3425
861
+ },
862
+ {
863
+ "epoch": 4.06,
864
+ "learning_rate": 3.46e-06,
865
+ "loss": 0.0073,
866
+ "step": 3450
867
+ },
868
+ {
869
+ "epoch": 4.06,
870
+ "learning_rate": 3.404444444444445e-06,
871
+ "loss": 0.0167,
872
+ "step": 3475
873
+ },
874
+ {
875
+ "epoch": 4.07,
876
+ "learning_rate": 3.3488888888888892e-06,
877
+ "loss": 0.0044,
878
+ "step": 3500
879
+ },
880
+ {
881
+ "epoch": 4.07,
882
+ "learning_rate": 3.2933333333333333e-06,
883
+ "loss": 0.0225,
884
+ "step": 3525
885
+ },
886
+ {
887
+ "epoch": 4.08,
888
+ "learning_rate": 3.237777777777778e-06,
889
+ "loss": 0.0068,
890
+ "step": 3550
891
+ },
892
+ {
893
+ "epoch": 4.08,
894
+ "learning_rate": 3.1822222222222226e-06,
895
+ "loss": 0.0101,
896
+ "step": 3575
897
+ },
898
+ {
899
+ "epoch": 4.09,
900
+ "learning_rate": 3.1266666666666667e-06,
901
+ "loss": 0.0028,
902
+ "step": 3600
903
+ },
904
+ {
905
+ "epoch": 4.09,
906
+ "learning_rate": 3.0711111111111115e-06,
907
+ "loss": 0.0041,
908
+ "step": 3625
909
+ },
910
+ {
911
+ "epoch": 4.1,
912
+ "learning_rate": 3.015555555555556e-06,
913
+ "loss": 0.0048,
914
+ "step": 3650
915
+ },
916
+ {
917
+ "epoch": 4.1,
918
+ "learning_rate": 2.96e-06,
919
+ "loss": 0.003,
920
+ "step": 3675
921
+ },
922
+ {
923
+ "epoch": 4.11,
924
+ "learning_rate": 2.904444444444445e-06,
925
+ "loss": 0.0085,
926
+ "step": 3700
927
+ },
928
+ {
929
+ "epoch": 4.11,
930
+ "learning_rate": 2.8488888888888894e-06,
931
+ "loss": 0.0176,
932
+ "step": 3725
933
+ },
934
+ {
935
+ "epoch": 4.12,
936
+ "learning_rate": 2.7933333333333334e-06,
937
+ "loss": 0.006,
938
+ "step": 3750
939
+ },
940
+ {
941
+ "epoch": 4.12,
942
+ "learning_rate": 2.7377777777777783e-06,
943
+ "loss": 0.0028,
944
+ "step": 3775
945
+ },
946
+ {
947
+ "epoch": 4.13,
948
+ "learning_rate": 2.6822222222222223e-06,
949
+ "loss": 0.0098,
950
+ "step": 3800
951
+ },
952
+ {
953
+ "epoch": 4.13,
954
+ "learning_rate": 2.6266666666666668e-06,
955
+ "loss": 0.015,
956
+ "step": 3825
957
+ },
958
+ {
959
+ "epoch": 4.14,
960
+ "learning_rate": 2.5711111111111112e-06,
961
+ "loss": 0.0118,
962
+ "step": 3850
963
+ },
964
+ {
965
+ "epoch": 4.14,
966
+ "learning_rate": 2.5155555555555557e-06,
967
+ "loss": 0.0043,
968
+ "step": 3875
969
+ },
970
+ {
971
+ "epoch": 4.15,
972
+ "learning_rate": 2.46e-06,
973
+ "loss": 0.0429,
974
+ "step": 3900
975
+ },
976
+ {
977
+ "epoch": 4.15,
978
+ "learning_rate": 2.4044444444444446e-06,
979
+ "loss": 0.0011,
980
+ "step": 3925
981
+ },
982
+ {
983
+ "epoch": 5.0,
984
+ "learning_rate": 2.348888888888889e-06,
985
+ "loss": 0.0031,
986
+ "step": 3950
987
+ },
988
+ {
989
+ "epoch": 5.01,
990
+ "learning_rate": 2.2933333333333335e-06,
991
+ "loss": 0.0011,
992
+ "step": 3975
993
+ },
994
+ {
995
+ "epoch": 5.01,
996
+ "learning_rate": 2.237777777777778e-06,
997
+ "loss": 0.0131,
998
+ "step": 4000
999
+ },
1000
+ {
1001
+ "epoch": 5.01,
1002
+ "eval_cer": 45.849683066706916,
1003
+ "eval_loss": 1.0531306266784668,
1004
+ "eval_runtime": 303.983,
1005
+ "eval_samples_per_second": 3.244,
1006
+ "eval_steps_per_second": 1.622,
1007
+ "eval_wer": 45.70992366412214,
1008
+ "step": 4000
1009
+ },
1010
+ {
1011
+ "epoch": 5.02,
1012
+ "learning_rate": 2.1822222222222225e-06,
1013
+ "loss": 0.0027,
1014
+ "step": 4025
1015
+ },
1016
+ {
1017
+ "epoch": 5.02,
1018
+ "learning_rate": 2.126666666666667e-06,
1019
+ "loss": 0.0003,
1020
+ "step": 4050
1021
+ },
1022
+ {
1023
+ "epoch": 5.03,
1024
+ "learning_rate": 2.0711111111111114e-06,
1025
+ "loss": 0.0008,
1026
+ "step": 4075
1027
+ },
1028
+ {
1029
+ "epoch": 5.03,
1030
+ "learning_rate": 2.0155555555555554e-06,
1031
+ "loss": 0.0004,
1032
+ "step": 4100
1033
+ },
1034
+ {
1035
+ "epoch": 5.04,
1036
+ "learning_rate": 1.9600000000000003e-06,
1037
+ "loss": 0.0003,
1038
+ "step": 4125
1039
+ },
1040
+ {
1041
+ "epoch": 5.04,
1042
+ "learning_rate": 1.9044444444444445e-06,
1043
+ "loss": 0.0094,
1044
+ "step": 4150
1045
+ },
1046
+ {
1047
+ "epoch": 5.05,
1048
+ "learning_rate": 1.848888888888889e-06,
1049
+ "loss": 0.0003,
1050
+ "step": 4175
1051
+ },
1052
+ {
1053
+ "epoch": 5.05,
1054
+ "learning_rate": 1.7933333333333337e-06,
1055
+ "loss": 0.0029,
1056
+ "step": 4200
1057
+ },
1058
+ {
1059
+ "epoch": 5.06,
1060
+ "learning_rate": 1.737777777777778e-06,
1061
+ "loss": 0.0004,
1062
+ "step": 4225
1063
+ },
1064
+ {
1065
+ "epoch": 5.06,
1066
+ "learning_rate": 1.6822222222222224e-06,
1067
+ "loss": 0.012,
1068
+ "step": 4250
1069
+ },
1070
+ {
1071
+ "epoch": 5.07,
1072
+ "learning_rate": 1.6266666666666666e-06,
1073
+ "loss": 0.0002,
1074
+ "step": 4275
1075
+ },
1076
+ {
1077
+ "epoch": 5.07,
1078
+ "learning_rate": 1.5711111111111113e-06,
1079
+ "loss": 0.0002,
1080
+ "step": 4300
1081
+ },
1082
+ {
1083
+ "epoch": 5.08,
1084
+ "learning_rate": 1.5155555555555558e-06,
1085
+ "loss": 0.0007,
1086
+ "step": 4325
1087
+ },
1088
+ {
1089
+ "epoch": 5.08,
1090
+ "learning_rate": 1.46e-06,
1091
+ "loss": 0.0003,
1092
+ "step": 4350
1093
+ },
1094
+ {
1095
+ "epoch": 5.09,
1096
+ "learning_rate": 1.4044444444444447e-06,
1097
+ "loss": 0.0002,
1098
+ "step": 4375
1099
+ },
1100
+ {
1101
+ "epoch": 5.09,
1102
+ "learning_rate": 1.3488888888888891e-06,
1103
+ "loss": 0.0003,
1104
+ "step": 4400
1105
+ },
1106
+ {
1107
+ "epoch": 5.1,
1108
+ "learning_rate": 1.2933333333333334e-06,
1109
+ "loss": 0.0002,
1110
+ "step": 4425
1111
+ },
1112
+ {
1113
+ "epoch": 5.1,
1114
+ "learning_rate": 1.2377777777777778e-06,
1115
+ "loss": 0.0009,
1116
+ "step": 4450
1117
+ },
1118
+ {
1119
+ "epoch": 5.11,
1120
+ "learning_rate": 1.1822222222222223e-06,
1121
+ "loss": 0.0002,
1122
+ "step": 4475
1123
+ },
1124
+ {
1125
+ "epoch": 5.11,
1126
+ "learning_rate": 1.1266666666666667e-06,
1127
+ "loss": 0.0059,
1128
+ "step": 4500
1129
+ },
1130
+ {
1131
+ "epoch": 5.12,
1132
+ "learning_rate": 1.0711111111111112e-06,
1133
+ "loss": 0.0003,
1134
+ "step": 4525
1135
+ },
1136
+ {
1137
+ "epoch": 5.12,
1138
+ "learning_rate": 1.0155555555555557e-06,
1139
+ "loss": 0.0022,
1140
+ "step": 4550
1141
+ },
1142
+ {
1143
+ "epoch": 5.13,
1144
+ "learning_rate": 9.600000000000001e-07,
1145
+ "loss": 0.0003,
1146
+ "step": 4575
1147
+ },
1148
+ {
1149
+ "epoch": 5.13,
1150
+ "learning_rate": 9.044444444444445e-07,
1151
+ "loss": 0.0005,
1152
+ "step": 4600
1153
+ },
1154
+ {
1155
+ "epoch": 5.14,
1156
+ "learning_rate": 8.488888888888889e-07,
1157
+ "loss": 0.0002,
1158
+ "step": 4625
1159
+ },
1160
+ {
1161
+ "epoch": 5.14,
1162
+ "learning_rate": 7.933333333333335e-07,
1163
+ "loss": 0.0034,
1164
+ "step": 4650
1165
+ },
1166
+ {
1167
+ "epoch": 5.15,
1168
+ "learning_rate": 7.377777777777779e-07,
1169
+ "loss": 0.0075,
1170
+ "step": 4675
1171
+ },
1172
+ {
1173
+ "epoch": 5.15,
1174
+ "learning_rate": 6.822222222222223e-07,
1175
+ "loss": 0.0001,
1176
+ "step": 4700
1177
+ },
1178
+ {
1179
+ "epoch": 5.16,
1180
+ "learning_rate": 6.266666666666667e-07,
1181
+ "loss": 0.0004,
1182
+ "step": 4725
1183
+ },
1184
+ {
1185
+ "epoch": 6.0,
1186
+ "learning_rate": 5.711111111111111e-07,
1187
+ "loss": 0.0007,
1188
+ "step": 4750
1189
+ },
1190
+ {
1191
+ "epoch": 6.01,
1192
+ "learning_rate": 5.155555555555556e-07,
1193
+ "loss": 0.0002,
1194
+ "step": 4775
1195
+ },
1196
+ {
1197
+ "epoch": 6.01,
1198
+ "learning_rate": 4.6000000000000004e-07,
1199
+ "loss": 0.0001,
1200
+ "step": 4800
1201
+ },
1202
+ {
1203
+ "epoch": 6.02,
1204
+ "learning_rate": 4.0444444444444445e-07,
1205
+ "loss": 0.0003,
1206
+ "step": 4825
1207
+ },
1208
+ {
1209
+ "epoch": 6.02,
1210
+ "learning_rate": 3.488888888888889e-07,
1211
+ "loss": 0.0001,
1212
+ "step": 4850
1213
+ },
1214
+ {
1215
+ "epoch": 6.03,
1216
+ "learning_rate": 2.9333333333333337e-07,
1217
+ "loss": 0.0002,
1218
+ "step": 4875
1219
+ },
1220
+ {
1221
+ "epoch": 6.03,
1222
+ "learning_rate": 2.3777777777777777e-07,
1223
+ "loss": 0.0001,
1224
+ "step": 4900
1225
+ },
1226
+ {
1227
+ "epoch": 6.04,
1228
+ "learning_rate": 1.8222222222222226e-07,
1229
+ "loss": 0.0002,
1230
+ "step": 4925
1231
+ },
1232
+ {
1233
+ "epoch": 6.04,
1234
+ "learning_rate": 1.2666666666666666e-07,
1235
+ "loss": 0.0001,
1236
+ "step": 4950
1237
+ },
1238
+ {
1239
+ "epoch": 6.05,
1240
+ "learning_rate": 7.111111111111112e-08,
1241
+ "loss": 0.0002,
1242
+ "step": 4975
1243
+ },
1244
+ {
1245
+ "epoch": 6.05,
1246
+ "learning_rate": 1.5555555555555557e-08,
1247
+ "loss": 0.0001,
1248
+ "step": 5000
1249
+ },
1250
+ {
1251
+ "epoch": 6.05,
1252
+ "eval_cer": 45.45728946574102,
1253
+ "eval_loss": 1.0350826978683472,
1254
+ "eval_runtime": 305.8919,
1255
+ "eval_samples_per_second": 3.223,
1256
+ "eval_steps_per_second": 1.612,
1257
+ "eval_wer": 45.37404580152672,
1258
+ "step": 5000
1259
+ },
1260
+ {
1261
+ "epoch": 6.05,
1262
+ "step": 5000,
1263
+ "total_flos": 2.12189711818752e+19,
1264
+ "train_loss": 0.3433635727233719,
1265
+ "train_runtime": 5460.4494,
1266
+ "train_samples_per_second": 1.831,
1267
+ "train_steps_per_second": 0.916
1268
  }
1269
  ],
1270
+ "max_steps": 5000,
1271
  "num_train_epochs": 9223372036854775807,
1272
+ "total_flos": 2.12189711818752e+19,
1273
  "trial_name": null,
1274
  "trial_params": null
1275
  }
training_args.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:559c4ce05e89d747196b9bba18aa9426caf585ced1042f6a3e013da85ed0c8dc
3
- size 3707
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2b78218ecb7d4932704318f2257ac662fee836470cd82b3faba3d2cce28a97be
3
+ size 3643