#
Проверьте свое понимание материала курса

###
1. Что такое вокодер?

Дополнительная нейронная сеть, превращающая выходную спектрограмму трансформера в осциллограмму. Тип слоя-трансформера, отвечающий за создание эмбеддингов звука. Дополнительная нейронная сеть, осуществляющая предварительную обработку речевого аудиосигнала для удаления фонового шума

###
2. Wav2Vec2 является примером

Архитектуры Seq2Seq Архитектуры CNN Архитектуры CTC

###
3. Что делает пустой токен в алгоритме CTC?

Пустой токен обозначает паузы между отдельными словами в предложении. Пустой токен - это спрогнозированный токен, который служит жесткой границей между группами символов. Он позволяет отфильтровать дублирующиеся символы Пустой токен используется для звуков, не соответствующих ни одному токену в словаре, аналогично токену для 'unknown'.

###
4. Какое из следующих утверждений о моделях CTC является ЛОЖНЫМ?

В моделях CTC используется только энкодерная часть архитектуры трансформера. Wav2Vec2 и HuBERT используют абсолютно одинаковую архитектуру, но обучаются по-разному. Модели CTC, как правило, показывают лучшие результаты при распознавании речи по сравнению с другими архитектурами.

###
5. Whisper является примером

Seq2Seq архитектуры CNN архитектуры CTC архитектуры

###
6. Как проще всего выполнить классификацию звука?

Использовать трансформеры энкодер-декодер на форме волны звука. Использовать спектрограммы и рассматривать задачу как задачу классификации изображений. Превратить модель CTC в классификатор звука общего назначения, изменив метки и обучив ее с помощью обычной функции потерь кросс-энтропии.

###
7. Верно или нет? Если рассматривать спектрограммы как изображения для классификации, то всегда полезно использовать методы дополнения данных изображения, такие как сдвиг изображения, его обрезка или изменение размера.

Правда Ложь
Update on GitHub