w2v2-bert-Wolof-18-hour-ALFFA-dataset

This model is a fine-tuned version of facebook/w2v-bert-2.0 on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.2583
• Wer: 0.0840
• Cer: 0.0249

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
1.5722	0.8466	400	0.3788	0.3741	0.0935
0.4747	1.6931	800	0.3267	0.2948	0.0759
0.4418	2.5397	1200	0.3194	0.2907	0.0772
0.4311	3.3862	1600	0.3449	0.2997	0.0826
0.4416	4.2328	2000	0.4257	0.3593	0.1025
0.451	5.0794	2400	0.4580	0.3486	0.1008
0.4244	5.9259	2800	0.3760	0.2977	0.0835
0.3868	6.7725	3200	0.3756	0.3036	0.0875
0.3505	7.6190	3600	0.3905	0.2865	0.0812
0.3243	8.4656	4000	0.3123	0.2609	0.0729
0.3056	9.3122	4400	0.3160	0.2563	0.0725
0.2833	10.1587	4800	0.3261	0.2662	0.0753
0.2503	11.0053	5200	0.3089	0.2506	0.0715
0.2337	11.8519	5600	0.2994	0.2413	0.0714
0.2115	12.6984	6000	0.2453	0.1943	0.0553
0.1871	13.5450	6400	0.2801	0.2124	0.0615
0.1817	14.3915	6800	0.3009	0.2309	0.0685
0.1704	15.2381	7200	0.2517	0.1855	0.0544
0.1531	16.0847	7600	0.2857	0.1944	0.0589
0.1382	16.9312	8000	0.2925	0.1831	0.0550
0.1204	17.7778	8400	0.2939	0.2052	0.0608
0.108	18.6243	8800	0.2640	0.1814	0.0542
0.1029	19.4709	9200	0.2199	0.1473	0.0440
0.0877	20.3175	9600	0.2468	0.1594	0.0471
0.0799	21.1640	10000	0.2413	0.1641	0.0508
0.0772	22.0106	10400	0.2604	0.1586	0.0467
0.0666	22.8571	10800	0.2410	0.1553	0.0461
0.0584	23.7037	11200	0.2060	0.1298	0.0379
0.0476	24.5503	11600	0.2377	0.1387	0.0412
0.0503	25.3968	12000	0.2285	0.1398	0.0421
0.0452	26.2434	12400	0.2598	0.1610	0.0485
0.0411	27.0899	12800	0.2391	0.1407	0.0415
0.0329	27.9365	13200	0.2561	0.1391	0.0411
0.0307	28.7831	13600	0.2051	0.1251	0.0371
0.0273	29.6296	14000	0.2547	0.1331	0.0401
0.0217	30.4762	14400	0.2815	0.1406	0.0428
0.0232	31.3228	14800	0.2335	0.1205	0.0365
0.0204	32.1693	15200	0.2367	0.1231	0.0369
0.0182	33.0159	15600	0.2453	0.1299	0.0394
0.0145	33.8624	16000	0.2103	0.1106	0.0332
0.0127	34.7090	16400	0.2362	0.1290	0.0376
0.0134	35.5556	16800	0.2313	0.1127	0.0335
0.0138	36.4021	17200	0.2293	0.1071	0.0328
0.0093	37.2487	17600	0.2642	0.1153	0.0359
0.0106	38.0952	18000	0.2470	0.1132	0.0343
0.0091	38.9418	18400	0.2113	0.1015	0.0295
0.0063	39.7884	18800	0.2124	0.0959	0.0285
0.0052	40.6349	19200	0.2144	0.1014	0.0297
0.0056	41.4815	19600	0.2417	0.1016	0.0307
0.0034	42.3280	20000	0.2590	0.1020	0.0303
0.0022	43.1746	20400	0.2845	0.1010	0.0305
0.0023	44.0212	20800	0.2644	0.0950	0.0290
0.0018	44.8677	21200	0.2477	0.0903	0.0266
0.001	45.7143	21600	0.2554	0.0907	0.0272
0.0011	46.5608	22000	0.2583	0.0891	0.0268
0.0009	47.4074	22400	0.2409	0.0834	0.0249
0.0005	48.2540	22800	0.2613	0.0862	0.0257
0.0005	49.1005	23200	0.2629	0.0864	0.0255
0.0005	49.9471	23600	0.2583	0.0840	0.0249

Framework versions

• Transformers 4.44.1
• Pytorch 2.1.0+cu118
• Datasets 2.17.0
• Tokenizers 0.19.1