#
Usa los tokenizadores de 🤗 Tokenizers

`PreTrainedTokenizerFast` depende de la biblioteca 🤗 Tokenizers. Los tokenizadores obtenidos desde la biblioteca 🤗 Tokenizers pueden ser cargados de forma muy sencilla en los 🤗 Transformers.

Antes de entrar en detalles, comencemos creando un tokenizador dummy en unas cuantas líneas:

    >>> from tokenizers import Tokenizer
    >>> from tokenizers.models import BPE
    >>> from tokenizers.trainers import BpeTrainer
    >>> from tokenizers.pre_tokenizers import Whitespace

    >>> tokenizer = Tokenizer(BPE(unk_token="[UNK]"))
    >>> trainer = BpeTrainer(special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"])

    >>> tokenizer.pre_tokenizer = Whitespace()
    >>> files = [...]
    >>> tokenizer.train(files, trainer)

Ahora tenemos un tokenizador entrenado en los archivos que definimos. Lo podemos seguir utilizando en ese entorno de ejecución (runtime en inglés), o puedes guardarlo en un archivo JSON para reutilizarlo en un futuro.

##
Cargando directamente desde el objeto tokenizador

Veamos cómo utilizar este objeto tokenizador en la biblioteca 🤗 Transformers. La clase `PreTrainedTokenizerFast` permite una instanciación fácil, al aceptar el objeto tokenizer instanciado como argumento:

    >>> from transformers import PreTrainedTokenizerFast

    >>> fast_tokenizer = PreTrainedTokenizerFast(tokenizer_object=tokenizer)

Este objeto ya puede ser utilizado con todos los métodos compartidos por los tokenizadores de 🤗 Transformers! Visita la página sobre tokenizadores para más información.

##
Cargando desde un archivo JSON

Para cargar un tokenizador desde un archivo JSON, comencemos por guardar nuestro tokenizador:

    >>> tokenizer.save("tokenizer.json")

La localización (path en inglés) donde este archivo es guardado puede ser incluida en el método de inicialización de `PreTrainedTokenizerFast` utilizando el parámetro `tokenizer_file`:

    >>> from transformers import PreTrainedTokenizerFast

    >>> fast_tokenizer = PreTrainedTokenizerFast(tokenizer_file="tokenizer.json")

Este objeto ya puede ser utilizado con todos los métodos compartidos por los tokenizadores de 🤗 Transformers! Visita la página sobre tokenizadores para más información.

< > Update on GitHub