#
Проверьте свое понимание материала курса

###
1. Что такое вокодер?

Дополнительная нейронная сеть, превращающая выходную спектрограмму трансформера в осциллограмму. Тип слоя-трансформера, отвечающий за создание эмбеддингов звука. Дополнительная нейронная сеть, осуществляющая предварительную обработку речевого аудиосигнала для удаления фонового шума

###
2. Wav2Vec2 является примером

Архитектуры Seq2Seq Архитектуры CNN Архитектуры CTC

###
3. Что делает пустой токен в алгоритме CTC?

Пустой токен обозначает паузы между отдельными словами в предложении. Пустой токен - это спрогнозированный токен, который служит жесткой границей между группами символов. Он позволяет отфильтровать дублирующиеся символы Пустой токен используется для звуков, не соответствующих ни одному токену в словаре, аналогично токену для 'unknown'.

###
4. Какое из следующих утверждений о моделях CTC является ЛОЖНЫМ?

В моделях CTC используется только энкодерная часть архитектуры трансформера. Wav2Vec2 и HuBERT используют абсолютно одинаковую архитектуру, но обучаются по-разному. Модели CTC, как правило, показывают лучшие результаты при распознавании речи по сравнению с другими архитектурами.

###
5. Whisper является примером

Seq2Seq архитектуры CNN архитектуры CTC архитектуры

###
6. Как проще всего выполнить классификацию звука?

Использовать трансформеры энкодер-декодер на форме волны звука. Использовать спектрограммы и рассматривать задачу как задачу классификации изображений. Превратить модель CTC в классификатор звука общего назначения, изменив метки и обучив ее с помощью обычной функции потерь кросс-энтропии.

###
7. Верно или нет? Если рассматривать спектрограммы как изображения для классификации, то всегда полезно использовать методы дополнения данных изображения, такие как сдвиг изображения, его обрезка или изменение размера.

Правда Ложь
< > Update on GitHub