Miwa-Keita commited on
Commit
1e408d6
·
verified ·
1 Parent(s): 0c8f23a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +77 -3
README.md CHANGED
@@ -1,3 +1,77 @@
1
- ---
2
- license: cc-by-sa-4.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: cc-by-sa-4.0
3
+ language:
4
+ - ja
5
+ tags:
6
+ - japanese input
7
+ - kana kanji conversion
8
+ datasets:
9
+ - Miwa-Keita/zenz-v2.5-dataset
10
+ base_model:
11
+ - ku-nlp/gpt2-small-japanese-char
12
+ pipeline_tag: text2text-generation
13
+ ---
14
+
15
+ # zenz-v2.5-small
16
+
17
+ <div align="center">
18
+ <img src="https://cdn-uploads.huggingface.co/production/uploads/663b87e5a14bfb0a2d4914df/gWnbTavSqhhWYJrP6SdQ1.png" alt="zenz-v2 model spec" width="400"/>
19
+ </div>
20
+
21
+ <!-- Provide a quick summary of what the model is/does. -->
22
+
23
+ zenz-v2.5はかな漢字変換タスクに特化したGPT-2アーキテクチャの条件付き言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。
24
+
25
+ * 文字単位+バイト単位BPEトークナイザー
26
+ * かな漢字変換タスクにおいて高い性能
27
+ * 文脈を考慮した変換で高い性能を発揮
28
+
29
+ zenz-v2.5は3種類のモデルサイズで公開しています。
30
+
31
+ * **[zenz-v2.5-medium](https://huggingface.co/Miwa-Keita/zenz-v2.5-medium)**: 310Mの大規模モデル
32
+ * **[zenz-v2.5-small](https://huggingface.co/Miwa-Keita/zenz-v2.5-small)**: 91Mの中規模モデル
33
+ * **[zenz-v2.5-xsmall](https://huggingface.co/Miwa-Keita/zenz-v2.5-xsmall)**: 26Mの小規模モデル
34
+
35
+ ## Model Details
36
+
37
+ ### Model Description
38
+
39
+ <!-- Provide a longer summary of what this model is. -->
40
+
41
+ [CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供されている[ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)を基盤モデルとして利用しています。
42
+
43
+ 本モデルは[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供します。
44
+
45
+
46
+ - **Developed by:** Keita Miwa ([𝕏](https://twitter.com/miwa_ensan))
47
+ - **Model type:** GPT-2
48
+ - **Language(s) (NLP):** Japanese
49
+ - **License:** CC-BY-SA 4.0
50
+ - **Finetuned from model:** [ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)
51
+
52
+ ### Model Sources
53
+
54
+ <!-- Provide the basic links for the model. -->
55
+
56
+ 本モデルはZenzai(AzooKeyKanaKanjiConverter)と共に利用することを想定して構築しています。
57
+
58
+ - **Repository:** https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter
59
+
60
+ ### Data Sources
61
+
62
+ 本モデルは[zenz-v2.5-dataset](https://huggingface.co/datasets/Miwa-Keita/zenz-v2.5-dataset)を利用して構築しました。
63
+
64
+ ## Acknowledgements
65
+
66
+ 本モデルの構築にあたり、さくらインターネット株式会社様より計算資源の支援をいただきました。感謝申し上げます。
67
+
68
+ また、以下のライブラリやツール、言語資源を活用して本モデルを構築しました。
69
+
70
+ * MeCab (https://taku910.github.io/mecab/)
71
+ * ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd)
72
+ * torch (https://pypi.org/project/torch/)
73
+ * transformers (https://pypi.org/project/transformers/)
74
+ * datasets (https://pypi.org/project/datasets/)
75
+ * jaconv (https://pypi.org/project/jaconv/)
76
+ * llama.cpp (https://github.com/ggerganov/llama.cpp)
77
+ * llm.c (https://github.com/karpathy/llm.c)