license:mit size_categories:1K<n<10K format:json modality:text library:datasets library:pandas library:mlcroissant library:polars region:us
---
license: mit
---
Instruction チューニングの評価用データセットです。[kunishou/hh-rlhf-49k-ja](https://huggingface.co/datasets/kunishou/hh-rlhf-49k-ja/tree/main) からランダムに3000データを抽出しました。  
任意のデータセットで Instruction チューニングをする際に常にこちらの評価データセットを指定することで validation loss を横並びに比較することができます。  
  
なお、kunishou/hh-rlhf-49k-ja のデータセットでチューニングする際は以下のコードでこの評価用データセットを除外するようにして下さい。

```
pip install datasets
```
```
from datasets import Dataset, load_dataset

df1 = load_dataset("kunishou/hh-rlhf-49k-ja")
df2 = load_dataset("kunishou/hh-rlhf-eval-3k-ja")

df1.set_format(type="pandas")
df2.set_format(type="pandas")

df1 = df1["train"][:]
df2 = df2["test"][:]

df2["flag"] = 1

df = pd.merge(df1, df2[["instruction", "flag"]], on="instruction", how="left")
df = df[df["flag"]!=1].reset_index(drop=True)

dataset = Dataset.from_pandas(df)

dataset
```

hh-rlhf repository  
https://github.com/anthropics/hh-rlhf

Anthropic/hh-rlhf  
https://huggingface.co/datasets/Anthropic/hh-rlhf

mosaicml/dolly_hhrlhf  
https://huggingface.co/datasets/mosaicml/dolly_hhrlhf