w2v2-bert-Wolof-20-hours-Google-Fleurs-ALF-dataset

This model is a fine-tuned version of facebook/w2v-bert-2.0 on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.2401
• Wer: 0.0730
• Cer: 0.0225

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
1.4576	0.8193	400	0.3340	0.3406	0.0850
0.4894	1.6385	800	0.2932	0.2681	0.0677
0.4551	2.4578	1200	0.3200	0.2950	0.0793
0.451	3.2770	1600	0.3421	0.2868	0.0761
0.4472	4.0963	2000	0.3920	0.3382	0.0982
0.4692	4.9155	2400	0.4229	0.3618	0.0985
0.4472	5.7348	2800	0.3777	0.3163	0.0888
0.4095	6.5540	3200	0.3953	0.3080	0.0878
0.3774	7.3733	3600	0.3623	0.2871	0.0815
0.3605	8.1925	4000	0.3424	0.2962	0.0826
0.34	9.0118	4400	0.3163	0.2658	0.0754
0.3019	9.8310	4800	0.2908	0.2424	0.0694
0.2829	10.6503	5200	0.2661	0.2224	0.0602
0.2695	11.4695	5600	0.3034	0.2363	0.0675
0.2533	12.2888	6000	0.2752	0.2306	0.0663
0.2327	13.1080	6400	0.2491	0.2163	0.0622
0.2139	13.9273	6800	0.2472	0.2072	0.0601
0.1931	14.7465	7200	0.2159	0.1702	0.0482
0.1886	15.5658	7600	0.2375	0.1886	0.0546
0.1743	16.3850	8000	0.2391	0.1749	0.0500
0.1567	17.2043	8400	0.2412	0.1671	0.0480
0.1343	18.0236	8800	0.2241	0.1644	0.0473
0.125	18.8428	9200	0.1875	0.1478	0.0436
0.1125	19.6621	9600	0.2255	0.1496	0.0446
0.1012	20.4813	10000	0.2090	0.1452	0.0432
0.0944	21.3006	10400	0.2591	0.1480	0.0441
0.0888	22.1198	10800	0.2383	0.1444	0.0421
0.0832	22.9391	11200	0.2035	0.1346	0.0412
0.068	23.7583	11600	0.2047	0.1382	0.0407
0.0601	24.5776	12000	0.1975	0.1207	0.0366
0.0556	25.3968	12400	0.2059	0.1250	0.0360
0.0558	26.2161	12800	0.2440	0.1306	0.0389
0.0532	27.0353	13200	0.2188	0.1247	0.0376
0.0492	27.8546	13600	0.2063	0.1256	0.0372
0.0394	28.6738	14000	0.1864	0.1148	0.0344
0.0403	29.4931	14400	0.2006	0.1079	0.0329
0.0366	30.3123	14800	0.2068	0.1047	0.0313
0.0306	31.1316	15200	0.2064	0.1138	0.0347
0.0286	31.9508	15600	0.2331	0.1222	0.0369
0.023	32.7701	16000	0.2057	0.1052	0.0318
0.0242	33.5893	16400	0.2144	0.1086	0.0330
0.0238	34.4086	16800	0.1819	0.1025	0.0307
0.021	35.2279	17200	0.2386	0.1072	0.0323
0.0159	36.0471	17600	0.2019	0.0942	0.0292
0.0146	36.8664	18000	0.1899	0.0940	0.0287
0.0122	37.6856	18400	0.2013	0.0917	0.0285
0.0112	38.5049	18800	0.1965	0.0925	0.0275
0.0111	39.3241	19200	0.2132	0.0976	0.0298
0.0101	40.1434	19600	0.2201	0.0869	0.0269
0.0076	40.9626	20000	0.2189	0.0891	0.0275
0.0064	41.7819	20400	0.2042	0.0869	0.0261
0.0058	42.6011	20800	0.2124	0.0879	0.0269
0.0048	43.4204	21200	0.2107	0.0817	0.0247
0.0031	44.2396	21600	0.2024	0.0775	0.0236
0.0024	45.0589	22000	0.2303	0.0858	0.0264
0.0019	45.8781	22400	0.2250	0.0803	0.0243
0.0015	46.6974	22800	0.2250	0.0782	0.0238
0.0013	47.5166	23200	0.2257	0.0760	0.0232
0.0008	48.3359	23600	0.2394	0.0765	0.0232
0.0007	49.1551	24000	0.2373	0.0751	0.0230
0.0004	49.9744	24400	0.2401	0.0730	0.0225

Framework versions

• Transformers 4.44.2
• Pytorch 2.1.0+cu118
• Datasets 2.17.0
• Tokenizers 0.19.1