trollek commited on
Commit
7796937
·
verified ·
1 Parent(s): ec03170

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +49 -7
README.md CHANGED
@@ -13,11 +13,9 @@ library_name: transformers
13
  base_model:
14
  - LumiOpen/Viking-7B
15
  ---
16
- # Du har fundet Holger!
17
-
18
- > Fordi Husskade var et kedeligt navn.
19
 
20
- For at kunne lave datasæt på dansk er Magpie self-align en nem måde at lave en masse prompts på, og de kan jo gives til hvad end model man nu føler for.
21
 
22
  Det er *forrykt* at danske open source sprogmodeller halter lidt; **æøå** be damned! Og nok også andre ting, men \[A-ZÆØÅa-zæøå\] giver kronisk mentaleksem. **Anyway!**
23
 
@@ -27,9 +25,53 @@ HOLGER! En fintunet åben Viking på åbne data under et åbent licens. Respekt
27
 
28
  > Hva' lav' do nu? - Det vil jeg helst ikke snakke om. - Kom nu! - Jeg træner og snakker med sprogmodeller.. - Fra udlandet? - Jaaaa...
29
 
30
- Viking modellen kan åbenbart finde ud af at overføre træning fra engelsk til dansk, og sandsynligvis de andre skandisprog. Jeg er ikke polyglot selvom norsk eller svensk ville være en cheesing måde at opnå det specifikke skill set.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
31
 
32
- Faktisk var jeg næsten fornærmet over at et Magnum finetune var klar på at skrive på dansk 85% af tiden - "Hvad i alverden egentlig?" tænkte jeg. Så jeg lavede Danoia-v01 fordi jeg er så pisse sjov. Harhdidarh *slow clap*. Meta var jo brugt allerede før Zhucky af Grækere, så Pan-\<indsæt whatever\> var det næste punkt på listen. Hvad rimer på Pan? Dan! EZ mode, mester!
33
 
34
- 4k kontekst kan måske gøres bedre, men LongRoPE osv er lovende, så det er stadig bare min 4. klasse tysklærer der holder mig vågen om natten. Noget der får mig til at sove trygt er at jeg har trænet Holger på input. Husskaden Holger ohøj.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
35
 
 
 
13
  base_model:
14
  - LumiOpen/Viking-7B
15
  ---
16
+ <img src="https://huggingface.co/trollek/Holger-7B-v0.1/resolve/main/holger-viking.png" alt="Android Vikingen Holger">
 
 
17
 
18
+ # Du har fundet Holger!
19
 
20
  Det er *forrykt* at danske open source sprogmodeller halter lidt; **æøå** be damned! Og nok også andre ting, men \[A-ZÆØÅa-zæøå\] giver kronisk mentaleksem. **Anyway!**
21
 
 
25
 
26
  > Hva' lav' do nu? - Det vil jeg helst ikke snakke om. - Kom nu! - Jeg træner og snakker med sprogmodeller.. - Fra udlandet? - Jaaaa...
27
 
28
+ Viking modellen kan åbenbart finde ud af at overføre træning fra engelsk til dansk, og sandsynligvis de andre skandisprog. Maybe.
29
+
30
+ ## Merge Detaljer
31
+ ### Merge Metode
32
+
33
+ Denne model er merged med della_linear metoden og med [LumiOpen/Viking-7B](https://huggingface.co/LumiOpen/Viking-7B) som base.
34
+
35
+ ### Modeller Merged
36
+
37
+ Følgende modeller er brugt i dette merge:
38
+ * viking/merges/holger5
39
+ * viking/merges/holger3
40
+ * [mpasila/Viking-Magnum-v0.1-7B](https://huggingface.co/mpasila/Viking-Magnum-v0.1-7B)
41
+ * [mpasila/Viking-SlimSonnet-v1-7B](https://huggingface.co/mpasila/Viking-SlimSonnet-v1-7B)
42
+
43
+ ### Konfiguration
44
 
45
+ Følgende YAML konfigurationsfil blev brugt til at skabe dette merge:
46
 
47
+ ```yaml
48
+ models:
49
+ - model: viking/merges/holger3
50
+ parameters:
51
+ weight: 0.53
52
+ density: 0.55
53
+ epsilon: 0.11
54
+ - model: viking/merges/holger5
55
+ parameters:
56
+ weight: 0.78
57
+ density: 0.81
58
+ epsilon: 0.17
59
+ - model: mpasila/Viking-Magnum-v0.1-7B
60
+ parameters:
61
+ weight: 0.88
62
+ density: 0.91
63
+ epsilon: 0.07
64
+ - model: mpasila/Viking-SlimSonnet-v1-7B
65
+ parameters:
66
+ weight: 0.83
67
+ density: 0.75
68
+ epsilon: 0.11
69
+ merge_method: della_linear
70
+ base_model: LumiOpen/Viking-7B
71
+ parameters:
72
+ normalize: true
73
+ int8_mask: true
74
+ lambda: 1.08
75
+ dtype: bfloat16
76
 
77
+ ```