#
Avalie seus conhecimentos

###
1. Em que unidades a taxa de amostragem é medida?

dB Hz bit

###
2. Ao usar o streaming de um grande dataset de áudio, em que momento ele se torna disponível para usá-lo?

Assim que o download de todo o dataset for concluído Assim que os primeiros 16 exemplos forem baixados Assim que o primeiro exemplo for baixado.

###
3. O que é um espectrograma?

Um dispositivo usado para digitalizar o áudio que foi capturado por um microfone, o qual converte ondas sonoras em sinal elétrico. Um gráfico que mostra como a amplitude de um sinal de áudio varia ao longo do tempo. É conhecido também como *domínio do tempo* do som Uma representação visual de como o espectro de frequência de um sinal varia ao longo do tempo

###
4. Qual é a maneira mais fácil de converter dados de áudio brutos em espectrograma log-mel esperado pelo Whisper?

A.

    librosa.feature.melspectrogram(audio["array"])

B.

    feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-small")
    feature_extractor(audio["array"])

C.

    dataset.feature(audio["array"], model="whisper")

A B C

###
5. Como você carrega um conjunto de dados do 🤗 Hub?

A.

    from datasets import load_dataset

    dataset = load_dataset(DATASET_NAME_ON_HUB)

B.

    import librosa

    dataset = librosa.load(PATH_TO_DATASET)

C.

    from transformers import load_dataset

    dataset = load_dataset(DATASET_NAME_ON_HUB)

A B C

###
6. Seu dataset personalizado contém áudios de alta qualidade com taxa de amostragem de 32 kHz. Você quer treinar um modelo de reconhecimento de fala que espera que os exemplos de áudio tenham uma taxa de amostragem de 16 kHz. O que você deve fazer?

Use os exemplos como estão, o modelo generalizará facilmente para exemplos de áudio de maior qualidade. Use o módulo Áudio da biblioteca 🤗 Datasets para reduzir a amostragem dos exemplos no conjunto de dados personalizado Reduza a amostragem (downsample) por um fator de 2x descartando cada uma das outras amostra.

###
7. Como você pode converter um espectrograma gerado por um modelo de machine learning em uma forma de onda?

Podemos usar uma rede neural chamada vocoder para reconstruir uma forma de onda a partir do espectrograma. Podemos usar a STFT inversa para converter o espectrograma gerado em uma forma de onda Você não pode converter um espectrograma gerado por um modelo de machine learning em uma forma de onda.
Update on GitHub