language:en language:es size_categories:10K<n<100K format:parquet modality:text library:datasets library:pandas library:mlcroissant library:polars region:us
---
language:
- en
- es
dataset_info:
  features:
  - name: text
    dtype: string
  splits:
  - name: train
    num_bytes: 15401731
    num_examples: 9846
  - name: test
    num_bytes: 815439
    num_examples: 518
  download_size: 9576406
  dataset_size: 16217170
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
  - split: test
    path: data/test-*
---

我是使用notebook练习进行dataset的转换。

如何训练llama-2，是不需要数据转换，直接使用timdettmers/openassistant-guanaco 就可以。

如果是llama-2-chat版本，需要做数据格式转换。转换过程，参考 notebook。


[Llama2-chat-dataset 转换](https://gist.github.com/shake/656d7c10201e4e2aba4cccc40f57d7b3)



