task_categories:text-generation task_categories:question-answering language:jpn license:cc-by-4.0 size_categories:100K<n<1M format:parquet modality:text library:datasets library:pandas library:mlcroissant library:polars region:us
---
language: 
- jpn
license: cc-by-4.0
task_categories:
- text-generation
- question-answering
---

# small tengentoppa 12k

日本語の学習用データセット[DeL-TaiseiOzaki/Tengentoppa-sft-v1.0](https://huggingface.co/datasets/DeL-TaiseiOzaki/Tengentoppa-sft-v1.0)の一部のデータに対してLLM[Qwen/Qwen2.5-32B-Instruct-AWQ](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct-AWQ)にインストラクションチューニング用の一問一答データとして有用かをラベル付けさせたものです。

オリジナルの[DeL-TaiseiOzaki/Tengentoppa-sft-v1.0](https://huggingface.co/datasets/DeL-TaiseiOzaki/Tengentoppa-sft-v1.0)が膨大なので学習用サブセットを作る際の参考に作成しました。

用いたプロンプトテンプレートは以下の通りです。
```python
"""
下記の二つのInstruction tuning用のデータを確認し、有用な方を教えてください。
前者が有用だと思う場合は0を、後者が有用だと思う場合は1を出力してください。
他には何も出力しないでください。
｀｀｀markdown
{instruction tuning用データ1}
｀｀｀
｀｀｀markdown
{instruction tuning用データ2}
｀｀｀
"""
```

## Overview
- **Original**: [DeL-TaiseiOzaki/Tengentoppa-sft-v1.0](https://huggingface.co/datasets/DeL-TaiseiOzaki/Tengentoppa-sft-v1.0)
- **Format**: Parquet
- **Number of Records**: 125497 rows × 2 columns
- **Columns**: preferedカラムがQWen2.5によってより有用と判断されたデータ。unpreferedカラムが有用でないと判断されたカラムです。

## How to Use
You can load the dataset using the `datasets` library:

```python
from datasets import load_dataset

dataset = load_dataset("YY1128/small_tengentoppa_12k")
```
