language:ja license:odc-by size_categories:100K<n<1M format:parquet modality:text library:datasets library:dask library:mlcroissant library:polars region:us
---
dataset_info:
  features:
  - name: text
    dtype: string
  - name: noise_spans
    sequence:
      sequence: int64
  - name: id
    dtype: string
  - name: date
    dtype: timestamp[s]
  - name: url
    dtype: string
  - name: dump
    dtype: string
  - name: original_text
    dtype: string
  splits:
  - name: train
    num_bytes: 709459815.2446959
    num_examples: 314376
  - name: test
    num_bytes: 67701715.32604548
    num_examples: 30000
  download_size: 481715817
  dataset_size: 777161530.5707414
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
  - split: test
    path: data/test-*
license: odc-by
language:
- ja
---

# fineweb-2-japanese-noise-spans


このデータセットは、[FineWeb2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) の日本語データから、Web特有のノイズ箇所を判定したデータセットです。trainに約30万件、testに3万件のデータが含まれます。

ノイズ判定はLLMが行っており、[cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese](https://huggingface.co/cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese)を利用して作成しました。

## ノイズ判定プロンプト

```
入力されたWebスクレイピング文から、タイトルと本文のみを抽出するために、それ以外のノイズ文章箇所を判定します。入力文はタイトル・本文以外に、ナビゲーション・ヘッダ・フッタ・広告・URL・記事作成日時・システムメッセージ・「これは90日間記事に更新がない場合表示されます」など、余計なノイズと判定される文章が含まれることがあります。ノイズ判定は、一行ごとに行うこと。注意深く文章を読んで、ノイズかどうかを吟味しなさい。

ノイズの該当箇所は、以下の厳密な JSON フォーマットで出力する。出力はJSONのみを出力し、他の余計なものを一切出力してはならない。ノイズがない場合は、空の `{}` のみを出力せよ。ノイズテキストは、省略したりせず、一語一句変えず、元の文章のまま出力すること。

 ```json
{
  "noises": [text1, text2, ...]
}
```

## ライセンス

大元の FineWeb2 と同様の ODC-By とします。