Kosuke-Yamada commited on
Commit
dc0da04
1 Parent(s): 03a85fe

Add README.md

Browse files
Files changed (1) hide show
  1. README.md +42 -0
README.md ADDED
@@ -0,0 +1,42 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - ja
4
+ license: apache-2.0
5
+ library_name: transformers
6
+ datasets:
7
+ - llm-book/JGLUE
8
+ pipeline_tag: text2text-generation
9
+ metrics:
10
+ - rouge
11
+ - bleu
12
+ - bertscore
13
+ ---
14
+
15
+ # bert-base-japanese-v3-marc_ja
16
+
17
+ 「[大規模言語モデル入門](https://www.amazon.co.jp/dp/4297136333)」の第7章で紹介している要約生成のモデルです。
18
+ [retrieva-jp/t5-base-long](https://huggingface.co/retrieva-jp/t5-base-long)を[llm-book/livedoor-news-corpus](https://huggingface.co/datasets/llm-book/livedoor-news-corpus)でファインチューニングして構築されています。
19
+
20
+ ## 関連リンク
21
+
22
+ * [GitHubリポジトリ](https://github.com/ghmagazine/llm-book)
23
+ * [Colabノートブック](https://colab.research.google.com/github/ghmagazine/llm-book/blob/main/chapter7/7-summarization-generation.ipynb)
24
+ * [データセット](https://huggingface.co/datasets/llm-book/livedoor-news-corpus)
25
+ * [大規模言語モデル入門(Amazon.co.jp)](https://www.amazon.co.jp/dp/4297136333/)
26
+ * [大規模言語モデル入門(gihyo.jp)](https://gihyo.jp/book/2023/978-4-297-13633-8)
27
+
28
+ ## 使い方
29
+ ```python
30
+ from transformers import pipeline
31
+
32
+ text2text_pipeline = pipeline(
33
+ model="llm-book/t5-base-long-livedoor-news-corpus"
34
+ )
35
+ article = "ついに始まった3連休。テレビを見ながら過ごしている人も多いのではないだろうか? 今夜オススメなのは何と言っても、NHKスペシャル「世界を変えた男 スティーブ・ジョブズ」だ。実は知らない人も多いジョブズ氏の養子に出された生い立ちや、アップル社から一時追放されるなどの経験。そして、彼が追い求めた理想の未来とはなんだったのか、ファンならずとも気になる内容になっている。 今年、亡くなったジョブズ氏の伝記は日本でもベストセラーになっている。今後もアップル製品だけでなく、世界でのジョブズ氏の影響は大きいだろうと想像される。ジョブズ氏のことをあまり知らないという人もこの機会にぜひチェックしてみよう。 世界を変えた男 スティーブ・ジョブズ(NHKスペシャル)"
36
+ print(text2text_pipeline(article)[0]["generated_text"])
37
+ # 今夜はNHKスペシャル「世界を変えた男 スティーブ・ジョブズ」をチェック!
38
+ ```
39
+
40
+ ## ライセンス
41
+
42
+ [Apache License 2.0](https://www.apache.org/licenses/LICENSE-2.0)