task_categories:token-classification language:ja license:cc-by-sa-3.0 size_categories:n<1K region:us
---
license:
- cc-by-sa-3.0
task_categories:
- token-classification
language:
- ja
pretty_name: wikipedia-horse-dataset
size_categories:
- n<1K
---

#Dataset Card for DancingPrismPJ/wikipedia-horse-dataset

Wikipediaの「[Category:日本調教の競走馬](https://ja.wikipedia.org/wiki/Category:日本調教の競走馬)」内の記事に固有表現ラベルを付与したデータセットです。 固有表現ラベルは書籍「大規模言語モデル入門」でも使用される、ストックマーク株式会社作成の『[Wikipediaを用いた日本語の固有表現抽出データセット](https://github.com/stockmarkteam/ner-wikipedia-dataset)』のラベリングに対応しており、独自に競走馬名を追加して全部で9種類のラベル(人名、法人名、地名、製品名、政治的組織名、施設名、その他の組織名、イベント名、競走馬名)としています。全データ数は600ですが、同一記事から最大3つまで文を束ねています。なお、このデータに負例はありません。 なお、Wikipedia記事収集に使用したDBpediaの仕様として、リンク切れ記事の部分の文字が消失するという事象があるため、一部の文章に変な部分があります。

##ikipediaデータセット内の競走馬の固有表現について
```
"curid": "3003495",
        "text": "オーストラリアの初戦は、6月30日のカラ競馬場の7ハロンメイドン戦だった。",
        "entities": [
            {
                "name": "オーストラリア",
                "span": [
                    0,
                    7
                ],
                "type": "地名"
            },
```
→このオーストラリアは競走馬名「オーストラリア(イギリス産、父ガリレオ、母ウィジャボード)」として扱うのが正しい。海外調教馬だったので当競走馬記事データセットの収集範囲外ではあるが。
他"イソノルーブル"、"ディープインパクト"も確認できたが、いずれも固有表現のラベリングはなかった。
また、マルターズアポジー、ミサワボタン、カーネルジョン(米)の記事からのデータもあったが、馬名は文章に登場しなかった。

##Licence

Wikipedia日本語版と同じCC-BY-SA 3.0のライセンスに従います。

