import{s as it,o as rt,n as et}from"../chunks/scheduler.987d3921.js";import{S as pt,i as mt,g as c,s as i,r as g,A as dt,h as f,f as t,c as r,j as Ge,u as M,x as j,k as Ae,y as _e,a as s,v as b,d as w,t as $,w as y}from"../chunks/index.c8b1fed4.js";import{T as tt}from"../chunks/Tip.6bc1e794.js";import{Y as Oe}from"../chunks/Youtube.67f0a1fc.js";import{C as I}from"../chunks/CodeBlock.18094d58.js";import{D as ot}from"../chunks/DocNotebookDropdown.8be6c56e.js";import{F as lt,M as nt}from"../chunks/Markdown.10b8ab04.js";import{H as ke,E as ut}from"../chunks/EditOnGithub.a3fde557.js";function ht(he){let p,T=`Es wird eine Warnung angezeigt, dass einige der trainierten Parameter nicht verwendet werden und einige Parameter zufällig
initialisiert werden. Machen Sie sich keine Sorgen, das ist völlig normal! Der vorher trainierte Kopf des BERT-Modells wird verworfen und durch einen zufällig initialisierten Klassifikationskopf ersetzt. Sie werden diesen neuen Modellkopf in Ihrer Sequenzklassifizierungsaufgabe feinabstimmen, indem Sie das Wissen des vortrainierten Modells auf ihn übertragen.`;return{c(){p=c("p"),p.textContent=T},l(m){p=f(m,"P",{"data-svelte-h":!0}),j(p)!=="svelte-bezfbk"&&(p.textContent=T)},m(m,k){s(m,p,k)},p:et,d(m){m&&t(p)}}}function ct(he){let p,T,m,k,v,le="🤗 Transformers bietet eine <code>Trainer</code>-Klasse, die für das Training von 🤗 Transformers-Modellen optimiert ist und es einfacher macht, mit dem Training zu beginnen, ohne manuell eine eigene Trainingsschleife zu schreiben. Die <code>Trainer</code>-API unterstützt eine breite Palette von Trainingsoptionen und Funktionen wie Logging, Gradientenakkumulation und gemischte Präzision.",B,ie,E='Beginnen Sie mit dem Laden Ihres Modells und geben Sie die Anzahl der erwarteten Labels an. Aus dem Yelp Review <a href="https://huggingface.co/datasets/yelp_review_full#data-fields" rel="nofollow">dataset card</a> wissen Sie, dass es fünf Labels gibt:',re,S,A,ce,F,J,fe,H,ge='Als Nächstes erstellen Sie eine Klasse <code>TrainingArguments</code>, die alle Hyperparameter enthält, die Sie einstellen können, sowie Flags zur Aktivierung verschiedener Trainingsoptionen. Für dieses Lernprogramm können Sie mit den Standard- <a href="https://huggingface.co/docs/transformers/main_classes/trainer#transformers.TrainingArguments" rel="nofollow">Hyperparametern</a> beginnen, aber Sie können mit diesen experimentieren, um Ihre optimalen Einstellungen zu finden.',X,x,ne="Geben Sie an, wo die Kontrollpunkte Ihres Trainings gespeichert werden sollen:",Me,Y,se,R,Te,Z,q='Der <code>Trainer</code> wertet die Leistung des Modells während des Trainings nicht automatisch aus. Sie müssen <code>Trainer</code> eine Funktion übergeben, um Metriken zu berechnen und zu berichten. Die <a href="https://huggingface.co/docs/evaluate/index" rel="nofollow">🤗 Evaluate</a> Bibliothek bietet eine einfache <a href="https://huggingface.co/spaces/evaluate-metric/accuracy" rel="nofollow"><code>accuracy</code></a> Funktion, die Sie mit der <code>evaluate.load</code> Funktion laden können (siehe diese <a href="https://huggingface.co/docs/evaluate/a_quick_tour" rel="nofollow">quicktour</a> für weitere Informationen):',pe,L,P,U,be="Rufen Sie <code>compute</code> auf <code>metric</code> auf, um die Genauigkeit Ihrer Vorhersagen zu berechnen. Bevor Sie Ihre Vorhersagen an <code>compute</code> übergeben, müssen Sie die Vorhersagen in Logits umwandeln (denken Sie daran, dass alle 🤗 Transformers-Modelle Logits zurückgeben):",me,N,K,C,we="Wenn Sie Ihre Bewertungsmetriken während der Feinabstimmung überwachen möchten, geben Sie den Parameter <code>eval_strategy</code> in Ihren Trainingsargumenten an, um die Bewertungsmetrik am Ende jeder Epoche zu ermitteln:",ae,_,$e,O,G,ye,de="Erstellen Sie ein <code>Trainer</code>-Objekt mit Ihrem Modell, Trainingsargumenten, Trainings- und Testdatensätzen und einer Evaluierungsfunktion:",V,ee,W,oe,Q="Anschließend können Sie Ihr Modell durch den Aufruf von <code>train()</code> optimieren:",te,z,ue;return p=new Oe({props:{id:"nvBXf7s7vTI"}}),m=new ke({props:{title:"Trainieren mit PyTorch Trainer",local:"trainieren-mit-pytorch-trainer",headingTag:"h2"}}),S=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKCUyMmdvb2dsZS1iZXJ0JTJGYmVydC1iYXNlLWNhc2VkJTIyJTJDJTIwbnVtX2xhYmVscyUzRDUp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification

<span class="hljs-meta">&gt;&gt;&gt; </span>model = AutoModelForSequenceClassification.from_pretrained(<span class="hljs-string">&quot;google-bert/bert-base-cased&quot;</span>, num_labels=<span class="hljs-number">5</span>)`,wrap:!1}}),ce=new tt({props:{$$slots:{default:[ht]},$$scope:{ctx:he}}}),J=new ke({props:{title:"Hyperparameter für das Training",local:"hyperparameter-für-das-training",headingTag:"h3"}}),Y=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluaW5nQXJndW1lbnRzJTBBJTBBdHJhaW5pbmdfYXJncyUyMCUzRCUyMFRyYWluaW5nQXJndW1lbnRzKG91dHB1dF9kaXIlM0QlMjJ0ZXN0X3RyYWluZXIlMjIp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TrainingArguments

<span class="hljs-meta">&gt;&gt;&gt; </span>training_args = TrainingArguments(output_dir=<span class="hljs-string">&quot;test_trainer&quot;</span>)`,wrap:!1}}),R=new ke({props:{title:"Auswerten",local:"auswerten",headingTag:"h3"}}),L=new I({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBaW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMmFjY3VyYWN5JTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> evaluate

<span class="hljs-meta">&gt;&gt;&gt; </span>metric = evaluate.load(<span class="hljs-string">&quot;accuracy&quot;</span>)`,wrap:!1}}),N=new I({props:{code:"ZGVmJTIwY29tcHV0ZV9tZXRyaWNzKGV2YWxfcHJlZCklM0ElMEElMjAlMjAlMjAlMjBsb2dpdHMlMkMlMjBsYWJlbHMlMjAlM0QlMjBldmFsX3ByZWQlMEElMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUyMCUzRCUyMG5wLmFyZ21heChsb2dpdHMlMkMlMjBheGlzJTNELTEpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbWV0cmljLmNvbXB1dGUocHJlZGljdGlvbnMlM0RwcmVkaWN0aW9ucyUyQyUyMHJlZmVyZW5jZXMlM0RsYWJlbHMp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>(<span class="hljs-params">eval_pred</span>):
<span class="hljs-meta">... </span>    logits, labels = eval_pred
<span class="hljs-meta">... </span>    predictions = np.argmax(logits, axis=-<span class="hljs-number">1</span>)
<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> metric.compute(predictions=predictions, references=labels)`,wrap:!1}}),_=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluaW5nQXJndW1lbnRzJTJDJTIwVHJhaW5lciUwQSUwQXRyYWluaW5nX2FyZ3MlMjAlM0QlMjBUcmFpbmluZ0FyZ3VtZW50cyhvdXRwdXRfZGlyJTNEJTIydGVzdF90cmFpbmVyJTIyJTJDJTIwZXZhbF9zdHJhdGVneSUzRCUyMmVwb2NoJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TrainingArguments, Trainer

<span class="hljs-meta">&gt;&gt;&gt; </span>training_args = TrainingArguments(output_dir=<span class="hljs-string">&quot;test_trainer&quot;</span>, eval_strategy=<span class="hljs-string">&quot;epoch&quot;</span>)`,wrap:!1}}),O=new ke({props:{title:"Trainer",local:"trainer",headingTag:"h3"}}),ee=new I({props:{code:"dHJhaW5lciUyMCUzRCUyMFRyYWluZXIoJTBBJTIwJTIwJTIwJTIwbW9kZWwlM0Rtb2RlbCUyQyUwQSUyMCUyMCUyMCUyMGFyZ3MlM0R0cmFpbmluZ19hcmdzJTJDJTBBJTIwJTIwJTIwJTIwdHJhaW5fZGF0YXNldCUzRHNtYWxsX3RyYWluX2RhdGFzZXQlMkMlMEElMjAlMjAlMjAlMjBldmFsX2RhdGFzZXQlM0RzbWFsbF9ldmFsX2RhdGFzZXQlMkMlMEElMjAlMjAlMjAlMjBjb21wdXRlX21ldHJpY3MlM0Rjb21wdXRlX21ldHJpY3MlMkMlMEEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>trainer = Trainer(
<span class="hljs-meta">... </span>    model=model,
<span class="hljs-meta">... </span>    args=training_args,
<span class="hljs-meta">... </span>    train_dataset=small_train_dataset,
<span class="hljs-meta">... </span>    eval_dataset=small_eval_dataset,
<span class="hljs-meta">... </span>    compute_metrics=compute_metrics,
<span class="hljs-meta">... </span>)`,wrap:!1}}),z=new I({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>trainer.train()',wrap:!1}}),{c(){g(p.$$.fragment),T=i(),g(m.$$.fragment),k=i(),v=c("p"),v.innerHTML=le,B=i(),ie=c("p"),ie.innerHTML=E,re=i(),g(S.$$.fragment),A=i(),g(ce.$$.fragment),F=i(),g(J.$$.fragment),fe=i(),H=c("p"),H.innerHTML=ge,X=i(),x=c("p"),x.textContent=ne,Me=i(),g(Y.$$.fragment),se=i(),g(R.$$.fragment),Te=i(),Z=c("p"),Z.innerHTML=q,pe=i(),g(L.$$.fragment),P=i(),U=c("p"),U.innerHTML=be,me=i(),g(N.$$.fragment),K=i(),C=c("p"),C.innerHTML=we,ae=i(),g(_.$$.fragment),$e=i(),g(O.$$.fragment),G=i(),ye=c("p"),ye.innerHTML=de,V=i(),g(ee.$$.fragment),W=i(),oe=c("p"),oe.innerHTML=Q,te=i(),g(z.$$.fragment)},l(a){M(p.$$.fragment,a),T=r(a),M(m.$$.fragment,a),k=r(a),v=f(a,"P",{"data-svelte-h":!0}),j(v)!=="svelte-ywve2u"&&(v.innerHTML=le),B=r(a),ie=f(a,"P",{"data-svelte-h":!0}),j(ie)!=="svelte-oah9w3"&&(ie.innerHTML=E),re=r(a),M(S.$$.fragment,a),A=r(a),M(ce.$$.fragment,a),F=r(a),M(J.$$.fragment,a),fe=r(a),H=f(a,"P",{"data-svelte-h":!0}),j(H)!=="svelte-1555wwj"&&(H.innerHTML=ge),X=r(a),x=f(a,"P",{"data-svelte-h":!0}),j(x)!=="svelte-1o1x4yi"&&(x.textContent=ne),Me=r(a),M(Y.$$.fragment,a),se=r(a),M(R.$$.fragment,a),Te=r(a),Z=f(a,"P",{"data-svelte-h":!0}),j(Z)!=="svelte-1p9zvd2"&&(Z.innerHTML=q),pe=r(a),M(L.$$.fragment,a),P=r(a),U=f(a,"P",{"data-svelte-h":!0}),j(U)!=="svelte-160lcaf"&&(U.innerHTML=be),me=r(a),M(N.$$.fragment,a),K=r(a),C=f(a,"P",{"data-svelte-h":!0}),j(C)!=="svelte-1w6r761"&&(C.innerHTML=we),ae=r(a),M(_.$$.fragment,a),$e=r(a),M(O.$$.fragment,a),G=r(a),ye=f(a,"P",{"data-svelte-h":!0}),j(ye)!=="svelte-1ogtevx"&&(ye.innerHTML=de),V=r(a),M(ee.$$.fragment,a),W=r(a),oe=f(a,"P",{"data-svelte-h":!0}),j(oe)!=="svelte-1cpe0hd"&&(oe.innerHTML=Q),te=r(a),M(z.$$.fragment,a)},m(a,u){b(p,a,u),s(a,T,u),b(m,a,u),s(a,k,u),s(a,v,u),s(a,B,u),s(a,ie,u),s(a,re,u),b(S,a,u),s(a,A,u),b(ce,a,u),s(a,F,u),b(J,a,u),s(a,fe,u),s(a,H,u),s(a,X,u),s(a,x,u),s(a,Me,u),b(Y,a,u),s(a,se,u),b(R,a,u),s(a,Te,u),s(a,Z,u),s(a,pe,u),b(L,a,u),s(a,P,u),s(a,U,u),s(a,me,u),b(N,a,u),s(a,K,u),s(a,C,u),s(a,ae,u),b(_,a,u),s(a,$e,u),b(O,a,u),s(a,G,u),s(a,ye,u),s(a,V,u),b(ee,a,u),s(a,W,u),s(a,oe,u),s(a,te,u),b(z,a,u),ue=!0},p(a,u){const D={};u&2&&(D.$$scope={dirty:u,ctx:a}),ce.$set(D)},i(a){ue||(w(p.$$.fragment,a),w(m.$$.fragment,a),w(S.$$.fragment,a),w(ce.$$.fragment,a),w(J.$$.fragment,a),w(Y.$$.fragment,a),w(R.$$.fragment,a),w(L.$$.fragment,a),w(N.$$.fragment,a),w(_.$$.fragment,a),w(O.$$.fragment,a),w(ee.$$.fragment,a),w(z.$$.fragment,a),ue=!0)},o(a){$(p.$$.fragment,a),$(m.$$.fragment,a),$(S.$$.fragment,a),$(ce.$$.fragment,a),$(J.$$.fragment,a),$(Y.$$.fragment,a),$(R.$$.fragment,a),$(L.$$.fragment,a),$(N.$$.fragment,a),$(_.$$.fragment,a),$(O.$$.fragment,a),$(ee.$$.fragment,a),$(z.$$.fragment,a),ue=!1},d(a){a&&(t(T),t(k),t(v),t(B),t(ie),t(re),t(A),t(F),t(fe),t(H),t(X),t(x),t(Me),t(se),t(Te),t(Z),t(pe),t(P),t(U),t(me),t(K),t(C),t(ae),t($e),t(G),t(ye),t(V),t(W),t(oe),t(te)),y(p,a),y(m,a),y(S,a),y(ce,a),y(J,a),y(Y,a),y(R,a),y(L,a),y(N,a),y(_,a),y(O,a),y(ee,a),y(z,a)}}}function ft(he){let p,T;return p=new nt({props:{$$slots:{default:[ct]},$$scope:{ctx:he}}}),{c(){g(p.$$.fragment)},l(m){M(p.$$.fragment,m)},m(m,k){b(p,m,k),T=!0},p(m,k){const v={};k&2&&(v.$$scope={dirty:k,ctx:m}),p.$set(v)},i(m){T||(w(p.$$.fragment,m),T=!0)},o(m){$(p.$$.fragment,m),T=!1},d(m){y(p,m)}}}function gt(he){let p,T=`Sie müssen Ihren Modellen kein Verlustargument übergeben, wenn Sie sie <code>compile()</code>! Hugging-Face-Modelle wählen automatisch
einen Loss, der für ihre Aufgabe und Modellarchitektur geeignet ist, wenn dieses Argument leer gelassen wird. Sie können jederzeit außer Kraft setzen, indem Sie selbst einen Loss angeben, wenn Sie das möchten!`;return{c(){p=c("p"),p.innerHTML=T},l(m){p=f(m,"P",{"data-svelte-h":!0}),j(p)!=="svelte-16d08n8"&&(p.innerHTML=T)},m(m,k){s(m,p,k)},p:et,d(m){m&&t(p)}}}function Mt(he){let p,T,m,k,v,le,B,ie="Sie können auch 🤗 Transformers Modelle in TensorFlow mit der Keras API trainieren!",E,re,S,A,ce=`Wenn Sie ein 🤗 Transformers Modell mit der Keras API trainieren wollen, müssen Sie Ihren Datensatz in ein Format konvertieren, das
Keras versteht. Wenn Ihr Datensatz klein ist, können Sie das Ganze einfach in NumPy-Arrays konvertieren und an Keras übergeben.
Probieren wir das zuerst aus, bevor wir etwas Komplizierteres tun.`,F,J,fe=`Laden Sie zunächst ein Dataset. Wir werden den CoLA-Datensatz aus dem <a href="https://huggingface.co/datasets/glue" rel="nofollow">GLUE-Benchmark</a> verwenden,
da es sich um eine einfache Aufgabe zur Klassifizierung von binärem Text handelt, und nehmen vorerst nur den Trainingssplit.`,H,ge,X,x,ne=`Als nächstes laden Sie einen Tokenizer und tokenisieren die Daten als NumPy-Arrays. Beachten Sie, dass die Beschriftungen bereits eine Liste von 0 und 1en sind,
Wir können sie also ohne Tokenisierung direkt in ein NumPy-Array konvertieren!`,Me,Y,se,R,Te='Schließlich laden, <a href="https://keras.io/api/models/model_training_apis/#compile-method" rel="nofollow"><code>compile</code></a> und <a href="https://keras.io/api/models/model_training_apis/#fit-method" rel="nofollow"><code>fit</code></a> Sie das Modell:',Z,q,pe,L,P,U,be=`Dieser Ansatz eignet sich hervorragend für kleinere Datensätze, aber bei größeren Datensätzen kann er zu einem Problem werden. Warum?
Weil das tokenisierte Array und die Beschriftungen vollständig in den Speicher geladen werden müssten, und weil NumPy nicht mit
“gezackte” Arrays nicht verarbeiten kann, so dass jedes tokenisierte Sample auf die Länge des längsten Samples im gesamten Datensatz aufgefüllt werden müsste.
Datensatzes aufgefüllt werden. Dadurch wird das Array noch größer, und all die aufgefüllten Token verlangsamen auch das Training!`,me,N,K,C,we=`Wenn Sie eine Verlangsamung des Trainings vermeiden wollen, können Sie Ihre Daten stattdessen als <code>tf.data.Dataset</code> laden. Sie können zwar Ihre eigene
tf.data”-Pipeline schreiben können, wenn Sie wollen, haben wir zwei bequeme Methoden, um dies zu tun:`,ae,_,$e=`<li><code>prepare_tf_dataset()</code>: Dies ist die Methode, die wir in den meisten Fällen empfehlen. Da es sich um eine Methode
Ihres Modells ist, kann sie das Modell inspizieren, um automatisch herauszufinden, welche Spalten als Modelleingaben verwendet werden können, und
verwirft die anderen, um einen einfacheren, leistungsfähigeren Datensatz zu erstellen.</li> <li><code>to_tf_dataset</code>: Diese Methode ist eher auf niedriger Ebene angesiedelt und ist nützlich, wenn Sie genau kontrollieren wollen, wie
Dataset erstellt wird, indem man genau angibt, welche <code>columns</code> und <code>label_cols</code> einbezogen werden sollen.</li>`,O,G,ye=`Bevor Sie <code>prepare_tf_dataset()</code> verwenden können, müssen Sie die Tokenizer-Ausgaben als Spalten zu Ihrem Datensatz hinzufügen, wie in
dem folgenden Codebeispiel:`,de,V,ee,W,oe=`Denken Sie daran, dass Hugging Face-Datensätze standardmäßig auf der Festplatte gespeichert werden, so dass dies nicht zu einem erhöhten Arbeitsspeicherbedarf führen wird! Sobald die
Spalten hinzugefügt wurden, können Sie Batches aus dem Datensatz streamen und zu jedem Batch Auffüllungen hinzufügen, was die Anzahl der Auffüllungs-Token im Vergleich zum Auffüllen des gesamten Datensatzes reduziert.`,Q,te,z,ue,a=`Beachten Sie, dass Sie im obigen Codebeispiel den Tokenizer an <code>prepare_tf_dataset</code> übergeben müssen, damit die Stapel beim Laden korrekt aufgefüllt werden können.
Wenn alle Stichproben in Ihrem Datensatz die gleiche Länge haben und kein Auffüllen erforderlich ist, können Sie dieses Argument weglassen.
Wenn Sie etwas Komplexeres als nur das Auffüllen von Stichproben benötigen (z. B. das Korrumpieren von Token für die maskierte Sprachmodellierung), können Sie das Argument
Modellierung), können Sie stattdessen das Argument <code>collate_fn</code> verwenden, um eine Funktion zu übergeben, die aufgerufen wird, um die
Liste von Stichproben in einen Stapel umwandelt und alle gewünschten Vorverarbeitungen vornimmt. Siehe unsere
<a href="https://github.com/huggingface/transformers/tree/main/examples" rel="nofollow">examples</a> oder
<a href="https://huggingface.co/docs/transformers/notebooks" rel="nofollow">notebooks</a>, um diesen Ansatz in Aktion zu sehen.`,u,D,ve="Sobald Sie einen <code>tf.data.Dataset</code> erstellt haben, können Sie das Modell wie zuvor kompilieren und anpassen:",Je,ze,je;return m=new Oe({props:{id:"rnTGBy2ax1c"}}),v=new ke({props:{title:"Trainieren Sie ein TensorFlow-Modell mit Keras",local:"trainieren-sie-ein-tensorflow-modell-mit-keras",headingTag:"h2"}}),re=new ke({props:{title:"Laden von Daten für Keras",local:"laden-von-daten-für-keras",headingTag:"h3"}}),ge=new I({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJnbHVlJTIyJTJDJTIwJTIyY29sYSUyMiklMEFkYXRhc2V0JTIwJTNEJTIwZGF0YXNldCU1QiUyMnRyYWluJTIyJTVEJTIwJTIwJTIzJTIwSnVzdCUyMHRha2UlMjB0aGUlMjB0cmFpbmluZyUyMHNwbGl0JTIwZm9yJTIwbm93",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

dataset = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;cola&quot;</span>)
dataset = dataset[<span class="hljs-string">&quot;train&quot;</span>]  <span class="hljs-comment"># Just take the training split for now</span>`,wrap:!1}}),Y=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJnb29nbGUtYmVydCUyRmJlcnQtYmFzZS1jYXNlZCUyMiklMEF0b2tlbml6ZWRfZGF0YSUyMCUzRCUyMHRva2VuaXplcihkYXRhc2V0JTVCJTIydGV4dCUyMiU1RCUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIybnAlMjIlMkMlMjBwYWRkaW5nJTNEVHJ1ZSklMEElMjMlMjBUb2tlbml6ZXIlMjByZXR1cm5zJTIwYSUyMEJhdGNoRW5jb2RpbmclMkMlMjBidXQlMjB3ZSUyMGNvbnZlcnQlMjB0aGF0JTIwdG8lMjBhJTIwZGljdCUyMGZvciUyMEtlcmFzJTBBdG9rZW5pemVkX2RhdGElMjAlM0QlMjBkaWN0KHRva2VuaXplZF9kYXRhKSUwQSUwQWxhYmVscyUyMCUzRCUyMG5wLmFycmF5KGRhdGFzZXQlNUIlMjJsYWJlbCUyMiU1RCklMjAlMjAlMjMlMjBMYWJlbCUyMGlzJTIwYWxyZWFkeSUyMGFuJTIwYXJyYXklMjBvZiUyMDAlMjBhbmQlMjAx",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;google-bert/bert-base-cased&quot;</span>)
tokenized_data = tokenizer(dataset[<span class="hljs-string">&quot;text&quot;</span>], return_tensors=<span class="hljs-string">&quot;np&quot;</span>, padding=<span class="hljs-literal">True</span>)
<span class="hljs-comment"># Tokenizer returns a BatchEncoding, but we convert that to a dict for Keras</span>
tokenized_data = <span class="hljs-built_in">dict</span>(tokenized_data)

labels = np.array(dataset[<span class="hljs-string">&quot;label&quot;</span>])  <span class="hljs-comment"># Label is already an array of 0 and 1</span>`,wrap:!1}}),q=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQWZyb20lMjB0ZW5zb3JmbG93LmtlcmFzLm9wdGltaXplcnMlMjBpbXBvcnQlMjBBZGFtJTBBJTBBJTIzJTIwTG9hZCUyMGFuZCUyMGNvbXBpbGUlMjBvdXIlMjBtb2RlbCUwQW1vZGVsJTIwJTNEJTIwVEZBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZCglMjJnb29nbGUtYmVydCUyRmJlcnQtYmFzZS1jYXNlZCUyMiklMEElMjMlMjBMb3dlciUyMGxlYXJuaW5nJTIwcmF0ZXMlMjBhcmUlMjBvZnRlbiUyMGJldHRlciUyMGZvciUyMGZpbmUtdHVuaW5nJTIwdHJhbnNmb3JtZXJzJTBBbW9kZWwuY29tcGlsZShvcHRpbWl6ZXIlM0RBZGFtKDNlLTUpKSUwQSUwQW1vZGVsLmZpdCh0b2tlbml6ZWRfZGF0YSUyQyUyMGxhYmVscyk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForSequenceClassification
<span class="hljs-keyword">from</span> tensorflow.keras.optimizers <span class="hljs-keyword">import</span> Adam

<span class="hljs-comment"># Load and compile our model</span>
model = TFAutoModelForSequenceClassification.from_pretrained(<span class="hljs-string">&quot;google-bert/bert-base-cased&quot;</span>)
<span class="hljs-comment"># Lower learning rates are often better for fine-tuning transformers</span>
model.<span class="hljs-built_in">compile</span>(optimizer=Adam(<span class="hljs-number">3e-5</span>))

model.fit(tokenized_data, labels)`,wrap:!1}}),L=new tt({props:{$$slots:{default:[gt]},$$scope:{ctx:he}}}),N=new ke({props:{title:"Laden von Daten als tf.data.Dataset",local:"laden-von-daten-als-tfdatadataset",headingTag:"h3"}}),V=new I({props:{code:"ZGVmJTIwdG9rZW5pemVfZGF0YXNldChkYXRhKSUzQSUwQSUyMCUyMCUyMCUyMCUyMyUyMEtleXMlMjBvZiUyMHRoZSUyMHJldHVybmVkJTIwZGljdGlvbmFyeSUyMHdpbGwlMjBiZSUyMGFkZGVkJTIwdG8lMjB0aGUlMjBkYXRhc2V0JTIwYXMlMjBjb2x1bW5zJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwdG9rZW5pemVyKGRhdGElNUIlMjJ0ZXh0JTIyJTVEKSUwQSUwQSUwQWRhdGFzZXQlMjAlM0QlMjBkYXRhc2V0Lm1hcCh0b2tlbml6ZV9kYXRhc2V0KQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_dataset</span>(<span class="hljs-params">data</span>):
    <span class="hljs-comment"># Keys of the returned dictionary will be added to the dataset as columns</span>
    <span class="hljs-keyword">return</span> tokenizer(data[<span class="hljs-string">&quot;text&quot;</span>])


dataset = dataset.<span class="hljs-built_in">map</span>(tokenize_dataset)`,wrap:!1}}),te=new I({props:{code:"dGZfZGF0YXNldCUyMCUzRCUyMG1vZGVsLnByZXBhcmVfdGZfZGF0YXNldChkYXRhc2V0JTJDJTIwYmF0Y2hfc2l6ZSUzRDE2JTJDJTIwc2h1ZmZsZSUzRFRydWUlMkMlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tf_dataset = model.prepare_tf_dataset(dataset, batch_size=<span class="hljs-number">16</span>, shuffle=<span class="hljs-literal">True</span>, tokenizer=tokenizer)',wrap:!1}}),ze=new I({props:{code:"bW9kZWwuY29tcGlsZShvcHRpbWl6ZXIlM0RBZGFtKDNlLTUpKSUwQSUwQW1vZGVsLmZpdCh0Zl9kYXRhc2V0KQ==",highlighted:`model.<span class="hljs-built_in">compile</span>(optimizer=Adam(<span class="hljs-number">3e-5</span>))

model.fit(tf_dataset)`,wrap:!1}}),{c(){p=c("a"),T=i(),g(m.$$.fragment),k=i(),g(v.$$.fragment),le=i(),B=c("p"),B.textContent=ie,E=i(),g(re.$$.fragment),S=i(),A=c("p"),A.textContent=ce,F=i(),J=c("p"),J.innerHTML=fe,H=i(),g(ge.$$.fragment),X=i(),x=c("p"),x.textContent=ne,Me=i(),g(Y.$$.fragment),se=i(),R=c("p"),R.innerHTML=Te,Z=i(),g(q.$$.fragment),pe=i(),g(L.$$.fragment),P=i(),U=c("p"),U.textContent=be,me=i(),g(N.$$.fragment),K=i(),C=c("p"),C.innerHTML=we,ae=i(),_=c("ul"),_.innerHTML=$e,O=i(),G=c("p"),G.innerHTML=ye,de=i(),g(V.$$.fragment),ee=i(),W=c("p"),W.textContent=oe,Q=i(),g(te.$$.fragment),z=i(),ue=c("p"),ue.innerHTML=a,u=i(),D=c("p"),D.innerHTML=ve,Je=i(),g(ze.$$.fragment),this.h()},l(l){p=f(l,"A",{id:!0}),Ge(p).forEach(t),T=r(l),M(m.$$.fragment,l),k=r(l),M(v.$$.fragment,l),le=r(l),B=f(l,"P",{"data-svelte-h":!0}),j(B)!=="svelte-suq9fw"&&(B.textContent=ie),E=r(l),M(re.$$.fragment,l),S=r(l),A=f(l,"P",{"data-svelte-h":!0}),j(A)!=="svelte-lrmpkn"&&(A.textContent=ce),F=r(l),J=f(l,"P",{"data-svelte-h":!0}),j(J)!=="svelte-dxablh"&&(J.innerHTML=fe),H=r(l),M(ge.$$.fragment,l),X=r(l),x=f(l,"P",{"data-svelte-h":!0}),j(x)!=="svelte-nx6p2e"&&(x.textContent=ne),Me=r(l),M(Y.$$.fragment,l),se=r(l),R=f(l,"P",{"data-svelte-h":!0}),j(R)!=="svelte-kflty"&&(R.innerHTML=Te),Z=r(l),M(q.$$.fragment,l),pe=r(l),M(L.$$.fragment,l),P=r(l),U=f(l,"P",{"data-svelte-h":!0}),j(U)!=="svelte-wwgd4w"&&(U.textContent=be),me=r(l),M(N.$$.fragment,l),K=r(l),C=f(l,"P",{"data-svelte-h":!0}),j(C)!=="svelte-1lpx072"&&(C.innerHTML=we),ae=r(l),_=f(l,"UL",{"data-svelte-h":!0}),j(_)!=="svelte-17885oq"&&(_.innerHTML=$e),O=r(l),G=f(l,"P",{"data-svelte-h":!0}),j(G)!=="svelte-gtzmj4"&&(G.innerHTML=ye),de=r(l),M(V.$$.fragment,l),ee=r(l),W=f(l,"P",{"data-svelte-h":!0}),j(W)!=="svelte-1vj6yju"&&(W.textContent=oe),Q=r(l),M(te.$$.fragment,l),z=r(l),ue=f(l,"P",{"data-svelte-h":!0}),j(ue)!=="svelte-45kslj"&&(ue.innerHTML=a),u=r(l),D=f(l,"P",{"data-svelte-h":!0}),j(D)!=="svelte-kqyxgh"&&(D.innerHTML=ve),Je=r(l),M(ze.$$.fragment,l),this.h()},h(){Ae(p,"id","keras")},m(l,h){s(l,p,h),s(l,T,h),b(m,l,h),s(l,k,h),b(v,l,h),s(l,le,h),s(l,B,h),s(l,E,h),b(re,l,h),s(l,S,h),s(l,A,h),s(l,F,h),s(l,J,h),s(l,H,h),b(ge,l,h),s(l,X,h),s(l,x,h),s(l,Me,h),b(Y,l,h),s(l,se,h),s(l,R,h),s(l,Z,h),b(q,l,h),s(l,pe,h),b(L,l,h),s(l,P,h),s(l,U,h),s(l,me,h),b(N,l,h),s(l,K,h),s(l,C,h),s(l,ae,h),s(l,_,h),s(l,O,h),s(l,G,h),s(l,de,h),b(V,l,h),s(l,ee,h),s(l,W,h),s(l,Q,h),b(te,l,h),s(l,z,h),s(l,ue,h),s(l,u,h),s(l,D,h),s(l,Je,h),b(ze,l,h),je=!0},p(l,h){const Ie={};h&2&&(Ie.$$scope={dirty:h,ctx:l}),L.$set(Ie)},i(l){je||(w(m.$$.fragment,l),w(v.$$.fragment,l),w(re.$$.fragment,l),w(ge.$$.fragment,l),w(Y.$$.fragment,l),w(q.$$.fragment,l),w(L.$$.fragment,l),w(N.$$.fragment,l),w(V.$$.fragment,l),w(te.$$.fragment,l),w(ze.$$.fragment,l),je=!0)},o(l){$(m.$$.fragment,l),$(v.$$.fragment,l),$(re.$$.fragment,l),$(ge.$$.fragment,l),$(Y.$$.fragment,l),$(q.$$.fragment,l),$(L.$$.fragment,l),$(N.$$.fragment,l),$(V.$$.fragment,l),$(te.$$.fragment,l),$(ze.$$.fragment,l),je=!1},d(l){l&&(t(p),t(T),t(k),t(le),t(B),t(E),t(S),t(A),t(F),t(J),t(H),t(X),t(x),t(Me),t(se),t(R),t(Z),t(pe),t(P),t(U),t(me),t(K),t(C),t(ae),t(_),t(O),t(G),t(de),t(ee),t(W),t(Q),t(z),t(ue),t(u),t(D),t(Je)),y(m,l),y(v,l),y(re,l),y(ge,l),y(Y,l),y(q,l),y(L,l),y(N,l),y(V,l),y(te,l),y(ze,l)}}}function bt(he){let p,T;return p=new nt({props:{$$slots:{default:[Mt]},$$scope:{ctx:he}}}),{c(){g(p.$$.fragment)},l(m){M(p.$$.fragment,m)},m(m,k){b(p,m,k),T=!0},p(m,k){const v={};k&2&&(v.$$scope={dirty:k,ctx:m}),p.$set(v)},i(m){T||(w(p.$$.fragment,m),T=!0)},o(m){$(p.$$.fragment,m),T=!1},d(m){y(p,m)}}}function wt(he){let p,T='Holen Sie sich mit einem gehosteten Notebook wie <a href="https://colab.research.google.com/" rel="nofollow">Colaboratory</a> oder <a href="https://studiolab.sagemaker.aws/" rel="nofollow">SageMaker StudioLab</a> kostenlosen Zugang zu einem Cloud-GPU, wenn Sie noch keinen haben.';return{c(){p=c("p"),p.innerHTML=T},l(m){p=f(m,"P",{"data-svelte-h":!0}),j(p)!=="svelte-j726fx"&&(p.innerHTML=T)},m(m,k){s(m,p,k)},p:et,d(m){m&&t(p)}}}function $t(he){let p,T,m,k="<code>Trainer</code> kümmert sich um die Trainingsschleife und ermöglicht die Feinabstimmung eines Modells in einer einzigen Codezeile. Für Benutzer, die es vorziehen, ihre eigene Trainingsschleife zu schreiben, können Sie auch eine Feinabstimmung eines 🤗 Transformers-Modells in nativem PyTorch vornehmen.",v,le,B="An diesem Punkt müssen Sie möglicherweise Ihr Notebook neu starten oder den folgenden Code ausführen, um etwas Speicher freizugeben:",ie,E,re,S,A="Als Nächstes müssen Sie den Datensatz <code>tokenized_dataset</code> manuell nachbearbeiten, um ihn für das Training vorzubereiten.",ce,F,J,fe,H="Entfernen Sie die Spalte “Text”, da das Modell keinen Rohtext als Eingabe akzeptiert:",ge,X,x,ne,Me,Y="Benennen Sie die Spalte “Label” in “Labels” um, da das Modell erwartet, dass das Argument “Labels” genannt wird:",se,R,Te,Z,q,pe="Stellen Sie das Format des Datensatzes so ein, dass PyTorch-Tensoren anstelle von Listen zurückgegeben werden:",L,P,U,be,me="Erstellen Sie dann eine kleinere Teilmenge des Datensatzes, wie zuvor gezeigt, um die Feinabstimmung zu beschleunigen:",N,K,C,we,ae,_,$e="Erstellen Sie einen <code>DataLoader</code> für Ihre Trainings- und Testdatensätze, damit Sie über die Datenstapel iterieren können:",O,G,ye,de,V="Laden Sie Ihr Modell mit der Anzahl der erwarteten Kennzeichnungen:",ee,W,oe,Q,te,z,ue='Erstellen Sie einen Optimierer und einen Scheduler für die Lernrate, um das Modell fein abzustimmen. Wir verwenden den Optimierer <a href="https://pytorch.org/docs/stable/generated/torch.optim.AdamW.html" rel="nofollow"><code>AdamW</code></a> aus PyTorch:',a,u,D,ve,Je="Erstellen Sie den Standard-Lernratenplaner aus <code>Trainer</code>:",ze,je,l,h,Ie="Geben Sie schließlich <code>device</code> an, um einen Grafikprozessor zu verwenden, wenn Sie Zugang zu einem solchen haben. Andernfalls kann das Training auf einer CPU mehrere Stunden statt ein paar Minuten dauern.",Ue,Ce,We,Ze,n,d,He="Großartig, Sie sind bereit für das Training! 🥳",Re,Se,Ye,Fe,st='Um Ihren Trainingsfortschritt zu verfolgen, verwenden Sie die <a href="https://tqdm.github.io/" rel="nofollow">tqdm</a> Bibliothek, um einen Fortschrittsbalken über die Anzahl der Trainingsschritte hinzuzufügen:',Le,Xe,Ne,xe,Qe,Ve,at="Genauso wie Sie eine Bewertungsfunktion zu <code>Trainer</code> hinzugefügt haben, müssen Sie dasselbe tun, wenn Sie Ihre eigene Trainingsschleife schreiben. Aber anstatt die Metrik am Ende jeder Epoche zu berechnen und zu melden, werden Sie dieses Mal alle Stapel mit <code>add_batch</code> akkumulieren und die Metrik ganz am Ende berechnen.",De,Be,qe;return p=new Oe({props:{id:"Dh9CL8fyG80"}}),E=new I({props:{code:"ZGVsJTIwbW9kZWwlMEFkZWwlMjBweXRvcmNoX21vZGVsJTBBZGVsJTIwdHJhaW5lciUwQXRvcmNoLmN1ZGEuZW1wdHlfY2FjaGUoKQ==",highlighted:`<span class="hljs-keyword">del</span> model
<span class="hljs-keyword">del</span> pytorch_model
<span class="hljs-keyword">del</span> trainer
torch.cuda.empty_cache()`,wrap:!1}}),X=new I({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzLnJlbW92ZV9jb2x1bW5zKCU1QiUyMnRleHQlMjIlNUQp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets = tokenized_datasets.remove_columns([<span class="hljs-string">&quot;text&quot;</span>])',wrap:!1}}),R=new I({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzLnJlbmFtZV9jb2x1bW4oJTIybGFiZWwlMjIlMkMlMjAlMjJsYWJlbHMlMjIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets = tokenized_datasets.rename_column(<span class="hljs-string">&quot;label&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>)',wrap:!1}}),P=new I({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzLnNldF9mb3JtYXQoJTIydG9yY2glMjIp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets.set_format(<span class="hljs-string">&quot;torch&quot;</span>)',wrap:!1}}),K=new I({props:{code:"c21hbGxfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnNodWZmbGUoc2VlZCUzRDQyKS5zZWxlY3QocmFuZ2UoMTAwMCkpJTBBc21hbGxfZXZhbF9kYXRhc2V0JTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydGVzdCUyMiU1RC5zaHVmZmxlKHNlZWQlM0Q0Mikuc2VsZWN0KHJhbmdlKDEwMDApKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>small_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>small_eval_dataset = tokenized_datasets[<span class="hljs-string">&quot;test&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))`,wrap:!1}}),we=new ke({props:{title:"DataLoader",local:"dataloader",headingTag:"h3"}}),G=new I({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGElMjBpbXBvcnQlMjBEYXRhTG9hZGVyJTBBJTBBdHJhaW5fZGF0YWxvYWRlciUyMCUzRCUyMERhdGFMb2FkZXIoc21hbGxfdHJhaW5fZGF0YXNldCUyQyUyMHNodWZmbGUlM0RUcnVlJTJDJTIwYmF0Y2hfc2l6ZSUzRDgpJTBBZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwRGF0YUxvYWRlcihzbWFsbF9ldmFsX2RhdGFzZXQlMkMlMjBiYXRjaF9zaXplJTNEOCk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> torch.utils.data <span class="hljs-keyword">import</span> DataLoader

<span class="hljs-meta">&gt;&gt;&gt; </span>train_dataloader = DataLoader(small_train_dataset, shuffle=<span class="hljs-literal">True</span>, batch_size=<span class="hljs-number">8</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>eval_dataloader = DataLoader(small_eval_dataset, batch_size=<span class="hljs-number">8</span>)`,wrap:!1}}),W=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKCUyMmdvb2dsZS1iZXJ0JTJGYmVydC1iYXNlLWNhc2VkJTIyJTJDJTIwbnVtX2xhYmVscyUzRDUp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification

<span class="hljs-meta">&gt;&gt;&gt; </span>model = AutoModelForSequenceClassification.from_pretrained(<span class="hljs-string">&quot;google-bert/bert-base-cased&quot;</span>, num_labels=<span class="hljs-number">5</span>)`,wrap:!1}}),Q=new ke({props:{title:"Optimierer und Lernratensteuerung",local:"optimierer-und-lernratensteuerung",headingTag:"h3"}}),u=new I({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjBsciUzRDVlLTUp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

<span class="hljs-meta">&gt;&gt;&gt; </span>optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">5e-5</span>)`,wrap:!1}}),je=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fZXBvY2hzJTIwJTNEJTIwMyUwQW51bV90cmFpbmluZ19zdGVwcyUyMCUzRCUyMG51bV9lcG9jaHMlMjAqJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbHJfc2NoZWR1bGVyJTIwJTNEJTIwZ2V0X3NjaGVkdWxlciglMEElMjAlMjAlMjAlMjBuYW1lJTNEJTIybGluZWFyJTIyJTJDJTIwb3B0aW1pemVyJTNEb3B0aW1pemVyJTJDJTIwbnVtX3dhcm11cF9zdGVwcyUzRDAlMkMlMjBudW1fdHJhaW5pbmdfc3RlcHMlM0RudW1fdHJhaW5pbmdfc3RlcHMlMEEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

<span class="hljs-meta">&gt;&gt;&gt; </span>num_epochs = <span class="hljs-number">3</span>
<span class="hljs-meta">&gt;&gt;&gt; </span>num_training_steps = num_epochs * <span class="hljs-built_in">len</span>(train_dataloader)
<span class="hljs-meta">&gt;&gt;&gt; </span>lr_scheduler = get_scheduler(
<span class="hljs-meta">... </span>    name=<span class="hljs-string">&quot;linear&quot;</span>, optimizer=optimizer, num_warmup_steps=<span class="hljs-number">0</span>, num_training_steps=num_training_steps
<span class="hljs-meta">... </span>)`,wrap:!1}}),Ce=new I({props:{code:"aW1wb3J0JTIwdG9yY2glMEElMEFkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEFtb2RlbC50byhkZXZpY2Up",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> torch

<span class="hljs-meta">&gt;&gt;&gt; </span>device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model.to(device)`,wrap:!1}}),Ze=new tt({props:{$$slots:{default:[wt]},$$scope:{ctx:he}}}),Se=new ke({props:{title:"Trainingsschleife",local:"trainingsschleife",headingTag:"h3"}}),Xe=new I({props:{code:"ZnJvbSUyMHRxZG0uYXV0byUyMGltcG9ydCUyMHRxZG0lMEElMEFwcm9ncmVzc19iYXIlMjAlM0QlMjB0cWRtKHJhbmdlKG51bV90cmFpbmluZ19zdGVwcykpJTBBJTBBbW9kZWwudHJhaW4oKSUwQWZvciUyMGVwb2NoJTIwaW4lMjByYW5nZShudW1fZXBvY2hzKSUzQSUwQSUyMCUyMCUyMCUyMGZvciUyMGJhdGNoJTIwaW4lMjB0cmFpbl9kYXRhbG9hZGVyJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2glMjAlM0QlMjAlN0JrJTNBJTIwdi50byhkZXZpY2UpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGJhdGNoLml0ZW1zKCklN0QlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zcy5iYWNrd2FyZCgpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> tqdm.auto <span class="hljs-keyword">import</span> tqdm

<span class="hljs-meta">&gt;&gt;&gt; </span>progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

<span class="hljs-meta">&gt;&gt;&gt; </span>model.train()
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_epochs):
<span class="hljs-meta">... </span>    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
<span class="hljs-meta">... </span>        batch = {k: v.to(device) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}
<span class="hljs-meta">... </span>        outputs = model(**batch)
<span class="hljs-meta">... </span>        loss = outputs.loss
<span class="hljs-meta">... </span>        loss.backward()

<span class="hljs-meta">... </span>        optimizer.step()
<span class="hljs-meta">... </span>        lr_scheduler.step()
<span class="hljs-meta">... </span>        optimizer.zero_grad()
<span class="hljs-meta">... </span>        progress_bar.update(<span class="hljs-number">1</span>)`,wrap:!1}}),xe=new ke({props:{title:"Auswertung",local:"auswertung",headingTag:"h3"}}),Be=new I({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMmFjY3VyYWN5JTIyKSUwQW1vZGVsLmV2YWwoKSUwQWZvciUyMGJhdGNoJTIwaW4lMjBldmFsX2RhdGFsb2FkZXIlM0ElMEElMjAlMjAlMjAlMjBiYXRjaCUyMCUzRCUyMCU3QmslM0ElMjB2LnRvKGRldmljZSklMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwYmF0Y2guaXRlbXMoKSU3RCUwQSUyMCUyMCUyMCUyMHdpdGglMjB0b3JjaC5ub19ncmFkKCklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMEElMjAlMjAlMjAlMjBsb2dpdHMlMjAlM0QlMjBvdXRwdXRzLmxvZ2l0cyUwQSUyMCUyMCUyMCUyMHByZWRpY3Rpb25zJTIwJTNEJTIwdG9yY2guYXJnbWF4KGxvZ2l0cyUyQyUyMGRpbSUzRC0xKSUwQSUyMCUyMCUyMCUyMG1ldHJpYy5hZGRfYmF0Y2gocHJlZGljdGlvbnMlM0RwcmVkaWN0aW9ucyUyQyUyMHJlZmVyZW5jZXMlM0RiYXRjaCU1QiUyMmxhYmVscyUyMiU1RCklMEElMEFtZXRyaWMuY29tcHV0ZSgp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> evaluate

<span class="hljs-meta">&gt;&gt;&gt; </span>metric = evaluate.load(<span class="hljs-string">&quot;accuracy&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>model.<span class="hljs-built_in">eval</span>()
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> eval_dataloader:
<span class="hljs-meta">... </span>    batch = {k: v.to(device) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}
<span class="hljs-meta">... </span>    <span class="hljs-keyword">with</span> torch.no_grad():
<span class="hljs-meta">... </span>        outputs = model(**batch)

<span class="hljs-meta">... </span>    logits = outputs.logits
<span class="hljs-meta">... </span>    predictions = torch.argmax(logits, dim=-<span class="hljs-number">1</span>)
<span class="hljs-meta">... </span>    metric.add_batch(predictions=predictions, references=batch[<span class="hljs-string">&quot;labels&quot;</span>])

<span class="hljs-meta">&gt;&gt;&gt; </span>metric.compute()`,wrap:!1}}),{c(){g(p.$$.fragment),T=i(),m=c("p"),m.innerHTML=k,v=i(),le=c("p"),le.textContent=B,ie=i(),g(E.$$.fragment),re=i(),S=c("p"),S.innerHTML=A,ce=i(),F=c("ol"),J=c("li"),fe=c("p"),fe.textContent=H,ge=i(),g(X.$$.fragment),x=i(),ne=c("li"),Me=c("p"),Me.textContent=Y,se=i(),g(R.$$.fragment),Te=i(),Z=c("li"),q=c("p"),q.textContent=pe,L=i(),g(P.$$.fragment),U=i(),be=c("p"),be.textContent=me,N=i(),g(K.$$.fragment),C=i(),g(we.$$.fragment),ae=i(),_=c("p"),_.innerHTML=$e,O=i(),g(G.$$.fragment),ye=i(),de=c("p"),de.textContent=V,ee=i(),g(W.$$.fragment),oe=i(),g(Q.$$.fragment),te=i(),z=c("p"),z.innerHTML=ue,a=i(),g(u.$$.fragment),D=i(),ve=c("p"),ve.innerHTML=Je,ze=i(),g(je.$$.fragment),l=i(),h=c("p"),h.innerHTML=Ie,Ue=i(),g(Ce.$$.fragment),We=i(),g(Ze.$$.fragment),n=i(),d=c("p"),d.textContent=He,Re=i(),g(Se.$$.fragment),Ye=i(),Fe=c("p"),Fe.innerHTML=st,Le=i(),g(Xe.$$.fragment),Ne=i(),g(xe.$$.fragment),Qe=i(),Ve=c("p"),Ve.innerHTML=at,De=i(),g(Be.$$.fragment)},l(e){M(p.$$.fragment,e),T=r(e),m=f(e,"P",{"data-svelte-h":!0}),j(m)!=="svelte-1p8p1qh"&&(m.innerHTML=k),v=r(e),le=f(e,"P",{"data-svelte-h":!0}),j(le)!=="svelte-137vhdb"&&(le.textContent=B),ie=r(e),M(E.$$.fragment,e),re=r(e),S=f(e,"P",{"data-svelte-h":!0}),j(S)!=="svelte-s91cav"&&(S.innerHTML=A),ce=r(e),F=f(e,"OL",{});var o=Ge(F);J=f(o,"LI",{});var Ee=Ge(J);fe=f(Ee,"P",{"data-svelte-h":!0}),j(fe)!=="svelte-1at6qet"&&(fe.textContent=H),ge=r(Ee),M(X.$$.fragment,Ee),Ee.forEach(t),x=r(o),ne=f(o,"LI",{});var Pe=Ge(ne);Me=f(Pe,"P",{"data-svelte-h":!0}),j(Me)!=="svelte-1vkhx3a"&&(Me.textContent=Y),se=r(Pe),M(R.$$.fragment,Pe),Pe.forEach(t),Te=r(o),Z=f(o,"LI",{});var Ke=Ge(Z);q=f(Ke,"P",{"data-svelte-h":!0}),j(q)!=="svelte-vhptdl"&&(q.textContent=pe),L=r(Ke),M(P.$$.fragment,Ke),Ke.forEach(t),o.forEach(t),U=r(e),be=f(e,"P",{"data-svelte-h":!0}),j(be)!=="svelte-zygmh2"&&(be.textContent=me),N=r(e),M(K.$$.fragment,e),C=r(e),M(we.$$.fragment,e),ae=r(e),_=f(e,"P",{"data-svelte-h":!0}),j(_)!=="svelte-qx76uc"&&(_.innerHTML=$e),O=r(e),M(G.$$.fragment,e),ye=r(e),de=f(e,"P",{"data-svelte-h":!0}),j(de)!=="svelte-n8kcx6"&&(de.textContent=V),ee=r(e),M(W.$$.fragment,e),oe=r(e),M(Q.$$.fragment,e),te=r(e),z=f(e,"P",{"data-svelte-h":!0}),j(z)!=="svelte-1qi90rs"&&(z.innerHTML=ue),a=r(e),M(u.$$.fragment,e),D=r(e),ve=f(e,"P",{"data-svelte-h":!0}),j(ve)!=="svelte-1hp60cw"&&(ve.innerHTML=Je),ze=r(e),M(je.$$.fragment,e),l=r(e),h=f(e,"P",{"data-svelte-h":!0}),j(h)!=="svelte-1xz2joh"&&(h.innerHTML=Ie),Ue=r(e),M(Ce.$$.fragment,e),We=r(e),M(Ze.$$.fragment,e),n=r(e),d=f(e,"P",{"data-svelte-h":!0}),j(d)!=="svelte-ug84k0"&&(d.textContent=He),Re=r(e),M(Se.$$.fragment,e),Ye=r(e),Fe=f(e,"P",{"data-svelte-h":!0}),j(Fe)!=="svelte-wgwwth"&&(Fe.innerHTML=st),Le=r(e),M(Xe.$$.fragment,e),Ne=r(e),M(xe.$$.fragment,e),Qe=r(e),Ve=f(e,"P",{"data-svelte-h":!0}),j(Ve)!=="svelte-cghih7"&&(Ve.innerHTML=at),De=r(e),M(Be.$$.fragment,e)},m(e,o){b(p,e,o),s(e,T,o),s(e,m,o),s(e,v,o),s(e,le,o),s(e,ie,o),b(E,e,o),s(e,re,o),s(e,S,o),s(e,ce,o),s(e,F,o),_e(F,J),_e(J,fe),_e(J,ge),b(X,J,null),_e(F,x),_e(F,ne),_e(ne,Me),_e(ne,se),b(R,ne,null),_e(F,Te),_e(F,Z),_e(Z,q),_e(Z,L),b(P,Z,null),s(e,U,o),s(e,be,o),s(e,N,o),b(K,e,o),s(e,C,o),b(we,e,o),s(e,ae,o),s(e,_,o),s(e,O,o),b(G,e,o),s(e,ye,o),s(e,de,o),s(e,ee,o),b(W,e,o),s(e,oe,o),b(Q,e,o),s(e,te,o),s(e,z,o),s(e,a,o),b(u,e,o),s(e,D,o),s(e,ve,o),s(e,ze,o),b(je,e,o),s(e,l,o),s(e,h,o),s(e,Ue,o),b(Ce,e,o),s(e,We,o),b(Ze,e,o),s(e,n,o),s(e,d,o),s(e,Re,o),b(Se,e,o),s(e,Ye,o),s(e,Fe,o),s(e,Le,o),b(Xe,e,o),s(e,Ne,o),b(xe,e,o),s(e,Qe,o),s(e,Ve,o),s(e,De,o),b(Be,e,o),qe=!0},p(e,o){const Ee={};o&2&&(Ee.$$scope={dirty:o,ctx:e}),Ze.$set(Ee)},i(e){qe||(w(p.$$.fragment,e),w(E.$$.fragment,e),w(X.$$.fragment,e),w(R.$$.fragment,e),w(P.$$.fragment,e),w(K.$$.fragment,e),w(we.$$.fragment,e),w(G.$$.fragment,e),w(W.$$.fragment,e),w(Q.$$.fragment,e),w(u.$$.fragment,e),w(je.$$.fragment,e),w(Ce.$$.fragment,e),w(Ze.$$.fragment,e),w(Se.$$.fragment,e),w(Xe.$$.fragment,e),w(xe.$$.fragment,e),w(Be.$$.fragment,e),qe=!0)},o(e){$(p.$$.fragment,e),$(E.$$.fragment,e),$(X.$$.fragment,e),$(R.$$.fragment,e),$(P.$$.fragment,e),$(K.$$.fragment,e),$(we.$$.fragment,e),$(G.$$.fragment,e),$(W.$$.fragment,e),$(Q.$$.fragment,e),$(u.$$.fragment,e),$(je.$$.fragment,e),$(Ce.$$.fragment,e),$(Ze.$$.fragment,e),$(Se.$$.fragment,e),$(Xe.$$.fragment,e),$(xe.$$.fragment,e),$(Be.$$.fragment,e),qe=!1},d(e){e&&(t(T),t(m),t(v),t(le),t(ie),t(re),t(S),t(ce),t(F),t(U),t(be),t(N),t(C),t(ae),t(_),t(O),t(ye),t(de),t(ee),t(oe),t(te),t(z),t(a),t(D),t(ve),t(ze),t(l),t(h),t(Ue),t(We),t(n),t(d),t(Re),t(Ye),t(Fe),t(Le),t(Ne),t(Qe),t(Ve),t(De)),y(p,e),y(E,e),y(X),y(R),y(P),y(K,e),y(we,e),y(G,e),y(W,e),y(Q,e),y(u,e),y(je,e),y(Ce,e),y(Ze,e),y(Se,e),y(Xe,e),y(xe,e),y(Be,e)}}}function yt(he){let p,T;return p=new nt({props:{$$slots:{default:[$t]},$$scope:{ctx:he}}}),{c(){g(p.$$.fragment)},l(m){M(p.$$.fragment,m)},m(m,k){b(p,m,k),T=!0},p(m,k){const v={};k&2&&(v.$$scope={dirty:k,ctx:m}),p.$set(v)},i(m){T||(w(p.$$.fragment,m),T=!0)},o(m){$(p.$$.fragment,m),T=!1},d(m){y(p,m)}}}function jt(he){let p,T,m,k,v,le,B,ie,E,re="Die Verwendung eines vorab trainierten Modells hat erhebliche Vorteile. Es reduziert die Rechenkosten und den CO2-Fußabdruck und ermöglicht Ihnen die Verwendung von Modellen, die dem neuesten Stand der Technik entsprechen, ohne dass Sie ein Modell von Grund auf neu trainieren müssen. Transformers bietet Zugang zu Tausenden von vortrainierten Modellen für eine Vielzahl von Aufgaben. Wenn Sie ein vorab trainiertes Modell verwenden, trainieren Sie es auf einem für Ihre Aufgabe spezifischen Datensatz. Dies wird als Feinabstimmung bezeichnet und ist eine unglaublich leistungsfähige Trainingstechnik. In diesem Tutorial werden Sie ein vortrainiertes Modell mit einem Deep-Learning-Framework Ihrer Wahl feinabstimmen:",S,A,ce="<li>Feinabstimmung eines vorab trainierten Modells mit 🤗 Transformers <code>Trainer</code>.</li> <li>Feinabstimmung eines vorab trainierten Modells in TensorFlow mit Keras.</li> <li>Feinabstimmung eines vorab trainierten Modells in nativem PyTorch.</li>",F,J,fe,H,ge,X,x,ne,Me="Bevor Sie die Feinabstimmung eines vortrainierten Modells vornehmen können, müssen Sie einen Datensatz herunterladen und für das Training vorbereiten. Im vorangegangenen Leitfaden haben Sie gelernt, wie man Daten für das Training aufbereitet, und jetzt haben Sie die Gelegenheit, diese Fähigkeiten zu testen!",Y,se,R='Laden Sie zunächst den Datensatz <a href="https://huggingface.co/datasets/yelp_review_full" rel="nofollow">Yelp Reviews</a>:',Te,Z,q,pe,L='Wie Sie nun wissen, benötigen Sie einen Tokenizer, um den Text zu verarbeiten und eine Auffüll- und Abschneidungsstrategie einzubauen, um mit variablen Sequenzlängen umzugehen. Um Ihren Datensatz in einem Schritt zu verarbeiten, verwenden Sie die 🤗 Methode Datasets <a href="https://huggingface.co/docs/datasets/process#map" rel="nofollow"><code>map</code></a>, um eine Vorverarbeitungsfunktion auf den gesamten Datensatz anzuwenden:',P,U,be,me,N="Wenn Sie möchten, können Sie eine kleinere Teilmenge des gesamten Datensatzes für die Feinabstimmung erstellen, um den Zeitaufwand zu verringern:",K,C,we,ae,_,$e,O,G,ye=`An dieser Stelle sollten Sie dem Abschnitt folgen, der dem Rahmen entspricht, den Sie verwenden möchten. Sie können über die Links
in der rechten Seitenleiste können Sie zu dem gewünschten Abschnitt springen - und wenn Sie den gesamten Inhalt eines bestimmten Frameworks ausblenden möchten,
klicken Sie einfach auf die Schaltfläche oben rechts im Block des jeweiligen Frameworks!`,de,V,ee,W,oe,Q,te,z,ue,a,u,D,ve,Je,ze="Weitere Beispiele für die Feinabstimmung finden Sie unter:",je,l,h=`<li><p><a href="https://github.com/huggingface/transformers/tree/main/examples" rel="nofollow">🤗 Transformers Examples</a> enthält Skripte
um gängige NLP-Aufgaben in PyTorch und TensorFlow zu trainieren.</p></li> <li><p><a href="notebooks">🤗 Transformers Notebooks</a> enthält verschiedene Notebooks zur Feinabstimmung eines Modells für bestimmte Aufgaben in PyTorch und TensorFlow.</p></li>`,Ie,Ue,Ce,We,Ze;return v=new ke({props:{title:"Optimierung eines vortrainierten Modells",local:"optimierung-eines-vortrainierten-modells",headingTag:"h1"}}),B=new ot({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Mixed",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/de/training.ipynb"},{label:"PyTorch",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/de/pytorch/training.ipynb"},{label:"TensorFlow",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/de/tensorflow/training.ipynb"},{label:"Mixed",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/de/training.ipynb"},{label:"PyTorch",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/de/pytorch/training.ipynb"},{label:"TensorFlow",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/de/tensorflow/training.ipynb"}]}}),H=new ke({props:{title:"Vorbereitung eines Datensatzes",local:"vorbereitung-eines-datensatzes",headingTag:"h2"}}),X=new Oe({props:{id:"_BZearw7f0w"}}),Z=new I({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJ5ZWxwX3Jldmlld19mdWxsJTIyKSUwQWRhdGFzZXQlNUIlMjJ0cmFpbiUyMiU1RCU1QjEwMCU1RA==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

<span class="hljs-meta">&gt;&gt;&gt; </span>dataset = load_dataset(<span class="hljs-string">&quot;yelp_review_full&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">100</span>]
{<span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-number">0</span>,
 <span class="hljs-string">&#x27;text&#x27;</span>: <span class="hljs-string">&#x27;My expectations for McDonalds are t rarely high. But for one to still fail so spectacularly...that takes something special!\\\\nThe cashier took my friends\\&#x27;s order, then promptly ignored me. I had to force myself in front of a cashier who opened his register to wait on the person BEHIND me. I waited over five minutes for a gigantic order that included precisely one kid\\&#x27;s meal. After watching two people who ordered after me be handed their food, I asked where mine was. The manager started yelling at the cashiers for \\\\&quot;serving off their orders\\\\&quot; when they didn\\&#x27;t have their food. But neither cashier was anywhere near those controls, and the manager was the one serving food to customers and clearing the boards.\\\\nThe manager was rude when giving me my order. She didn\\&#x27;t make sure that I had everything ON MY RECEIPT, and never even had the decency to apologize that I felt I was getting poor service.\\\\nI\\&#x27;ve eaten at various McDonalds restaurants for over 30 years. I\\&#x27;ve worked at more than one location. I expect bad days, bad moods, and the occasional mistake. But I have yet to have a decent experience at this store. It will remain a place I avoid unless someone in my party needs to avoid illness from low blood sugar. Perhaps I should go back to the racially biased service of Steak n Shake instead!&#x27;</span>}`,wrap:!1}}),U=new I({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJnb29nbGUtYmVydCUyRmJlcnQtYmFzZS1jYXNlZCUyMiklMEElMEElMEFkZWYlMjB0b2tlbml6ZV9mdW5jdGlvbihleGFtcGxlcyklM0ElMEElMjAlMjAlMjAlMjByZXR1cm4lMjB0b2tlbml6ZXIoZXhhbXBsZXMlNUIlMjJ0ZXh0JTIyJTVEJTJDJTIwcGFkZGluZyUzRCUyMm1heF9sZW5ndGglMjIlMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSklMEElMEElMEF0b2tlbml6ZWRfZGF0YXNldHMlMjAlM0QlMjBkYXRhc2V0Lm1hcCh0b2tlbml6ZV9mdW5jdGlvbiUyQyUyMGJhdGNoZWQlM0RUcnVlKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;google-bert/bert-base-cased&quot;</span>)


<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">examples</span>):
<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> tokenizer(examples[<span class="hljs-string">&quot;text&quot;</span>], padding=<span class="hljs-string">&quot;max_length&quot;</span>, truncation=<span class="hljs-literal">True</span>)


<span class="hljs-meta">&gt;&gt;&gt; </span>tokenized_datasets = dataset.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)`,wrap:!1}}),C=new I({props:{code:"c21hbGxfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnNodWZmbGUoc2VlZCUzRDQyKS5zZWxlY3QocmFuZ2UoMTAwMCkpJTBBc21hbGxfZXZhbF9kYXRhc2V0JTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydGVzdCUyMiU1RC5zaHVmZmxlKHNlZWQlM0Q0Mikuc2VsZWN0KHJhbmdlKDEwMDApKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>small_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))
<span class="hljs-meta">&gt;&gt;&gt; </span>small_eval_dataset = tokenized_datasets[<span class="hljs-string">&quot;test&quot;</span>].shuffle(seed=<span class="hljs-number">42</span>).select(<span class="hljs-built_in">range</span>(<span class="hljs-number">1000</span>))`,wrap:!1}}),$e=new ke({props:{title:"Training",local:"training",headingTag:"h2"}}),V=new lt({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[bt],pytorch:[ft]},$$scope:{ctx:he}}}),Q=new ke({props:{title:"Trainieren in nativem PyTorch",local:"trainieren-in-nativem-pytorch",headingTag:"h2"}}),z=new lt({props:{pytorch:!0,tensorflow:!1,jax:!1,$$slots:{pytorch:[yt]},$$scope:{ctx:he}}}),D=new ke({props:{title:"Zusätzliche Ressourcen",local:"zusätzliche-ressourcen",headingTag:"h2"}}),Ue=new ut({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/de/training.md"}}),{c(){p=c("meta"),T=i(),m=c("p"),k=i(),g(v.$$.fragment),le=i(),g(B.$$.fragment),ie=i(),E=c("p"),E.textContent=re,S=i(),A=c("ul"),A.innerHTML=ce,F=i(),J=c("a"),fe=i(),g(H.$$.fragment),ge=i(),g(X.$$.fragment),x=i(),ne=c("p"),ne.textContent=Me,Y=i(),se=c("p"),se.innerHTML=R,Te=i(),g(Z.$$.fragment),q=i(),pe=c("p"),pe.innerHTML=L,P=i(),g(U.$$.fragment),be=i(),me=c("p"),me.textContent=N,K=i(),g(C.$$.fragment),we=i(),ae=c("a"),_=i(),g($e.$$.fragment),O=i(),G=c("p"),G.textContent=ye,de=i(),g(V.$$.fragment),ee=i(),W=c("a"),oe=i(),g(Q.$$.fragment),te=i(),g(z.$$.fragment),ue=i(),a=c("a"),u=i(),g(D.$$.fragment),ve=i(),Je=c("p"),Je.textContent=ze,je=i(),l=c("ul"),l.innerHTML=h,Ie=i(),g(Ue.$$.fragment),Ce=i(),We=c("p"),this.h()},l(n){const d=dt("svelte-u9bgzb",document.head);p=f(d,"META",{name:!0,content:!0}),d.forEach(t),T=r(n),m=f(n,"P",{}),Ge(m).forEach(t),k=r(n),M(v.$$.fragment,n),le=r(n),M(B.$$.fragment,n),ie=r(n),E=f(n,"P",{"data-svelte-h":!0}),j(E)!=="svelte-46px7v"&&(E.textContent=re),S=r(n),A=f(n,"UL",{"data-svelte-h":!0}),j(A)!=="svelte-cokzju"&&(A.innerHTML=ce),F=r(n),J=f(n,"A",{id:!0}),Ge(J).forEach(t),fe=r(n),M(H.$$.fragment,n),ge=r(n),M(X.$$.fragment,n),x=r(n),ne=f(n,"P",{"data-svelte-h":!0}),j(ne)!=="svelte-1kkyfva"&&(ne.textContent=Me),Y=r(n),se=f(n,"P",{"data-svelte-h":!0}),j(se)!=="svelte-3hvgts"&&(se.innerHTML=R),Te=r(n),M(Z.$$.fragment,n),q=r(n),pe=f(n,"P",{"data-svelte-h":!0}),j(pe)!=="svelte-12zcv4y"&&(pe.innerHTML=L),P=r(n),M(U.$$.fragment,n),be=r(n),me=f(n,"P",{"data-svelte-h":!0}),j(me)!=="svelte-1dfxks2"&&(me.textContent=N),K=r(n),M(C.$$.fragment,n),we=r(n),ae=f(n,"A",{id:!0}),Ge(ae).forEach(t),_=r(n),M($e.$$.fragment,n),O=r(n),G=f(n,"P",{"data-svelte-h":!0}),j(G)!=="svelte-yu7n3b"&&(G.textContent=ye),de=r(n),M(V.$$.fragment,n),ee=r(n),W=f(n,"A",{id:!0}),Ge(W).forEach(t),oe=r(n),M(Q.$$.fragment,n),te=r(n),M(z.$$.fragment,n),ue=r(n),a=f(n,"A",{id:!0}),Ge(a).forEach(t),u=r(n),M(D.$$.fragment,n),ve=r(n),Je=f(n,"P",{"data-svelte-h":!0}),j(Je)!=="svelte-itd6v5"&&(Je.textContent=ze),je=r(n),l=f(n,"UL",{"data-svelte-h":!0}),j(l)!=="svelte-xl1tq6"&&(l.innerHTML=h),Ie=r(n),M(Ue.$$.fragment,n),Ce=r(n),We=f(n,"P",{}),Ge(We).forEach(t),this.h()},h(){Ae(p,"name","hf:doc:metadata"),Ae(p,"content",Tt),Ae(J,"id","data-processing"),Ae(ae,"id","trainer"),Ae(W,"id","pytorch_native"),Ae(a,"id","additional-resources")},m(n,d){_e(document.head,p),s(n,T,d),s(n,m,d),s(n,k,d),b(v,n,d),s(n,le,d),b(B,n,d),s(n,ie,d),s(n,E,d),s(n,S,d),s(n,A,d),s(n,F,d),s(n,J,d),s(n,fe,d),b(H,n,d),s(n,ge,d),b(X,n,d),s(n,x,d),s(n,ne,d),s(n,Y,d),s(n,se,d),s(n,Te,d),b(Z,n,d),s(n,q,d),s(n,pe,d),s(n,P,d),b(U,n,d),s(n,be,d),s(n,me,d),s(n,K,d),b(C,n,d),s(n,we,d),s(n,ae,d),s(n,_,d),b($e,n,d),s(n,O,d),s(n,G,d),s(n,de,d),b(V,n,d),s(n,ee,d),s(n,W,d),s(n,oe,d),b(Q,n,d),s(n,te,d),b(z,n,d),s(n,ue,d),s(n,a,d),s(n,u,d),b(D,n,d),s(n,ve,d),s(n,Je,d),s(n,je,d),s(n,l,d),s(n,Ie,d),b(Ue,n,d),s(n,Ce,d),s(n,We,d),Ze=!0},p(n,[d]){const He={};d&2&&(He.$$scope={dirty:d,ctx:n}),V.$set(He);const Re={};d&2&&(Re.$$scope={dirty:d,ctx:n}),z.$set(Re)},i(n){Ze||(w(v.$$.fragment,n),w(B.$$.fragment,n),w(H.$$.fragment,n),w(X.$$.fragment,n),w(Z.$$.fragment,n),w(U.$$.fragment,n),w(C.$$.fragment,n),w($e.$$.fragment,n),w(V.$$.fragment,n),w(Q.$$.fragment,n),w(z.$$.fragment,n),w(D.$$.fragment,n),w(Ue.$$.fragment,n),Ze=!0)},o(n){$(v.$$.fragment,n),$(B.$$.fragment,n),$(H.$$.fragment,n),$(X.$$.fragment,n),$(Z.$$.fragment,n),$(U.$$.fragment,n),$(C.$$.fragment,n),$($e.$$.fragment,n),$(V.$$.fragment,n),$(Q.$$.fragment,n),$(z.$$.fragment,n),$(D.$$.fragment,n),$(Ue.$$.fragment,n),Ze=!1},d(n){n&&(t(T),t(m),t(k),t(le),t(ie),t(E),t(S),t(A),t(F),t(J),t(fe),t(ge),t(x),t(ne),t(Y),t(se),t(Te),t(q),t(pe),t(P),t(be),t(me),t(K),t(we),t(ae),t(_),t(O),t(G),t(de),t(ee),t(W),t(oe),t(te),t(ue),t(a),t(u),t(ve),t(Je),t(je),t(l),t(Ie),t(Ce),t(We)),t(p),y(v,n),y(B,n),y(H,n),y(X,n),y(Z,n),y(U,n),y(C,n),y($e,n),y(V,n),y(Q,n),y(z,n),y(D,n),y(Ue,n)}}}const Tt='{"title":"Optimierung eines vortrainierten Modells","local":"optimierung-eines-vortrainierten-modells","sections":[{"title":"Vorbereitung eines Datensatzes","local":"vorbereitung-eines-datensatzes","sections":[],"depth":2},{"title":"Training","local":"training","sections":[],"depth":2},{"title":"Trainieren mit PyTorch Trainer","local":"trainieren-mit-pytorch-trainer","sections":[{"title":"Hyperparameter für das Training","local":"hyperparameter-für-das-training","sections":[],"depth":3},{"title":"Auswerten","local":"auswerten","sections":[],"depth":3},{"title":"Trainer","local":"trainer","sections":[],"depth":3}],"depth":2},{"title":"Trainieren Sie ein TensorFlow-Modell mit Keras","local":"trainieren-sie-ein-tensorflow-modell-mit-keras","sections":[{"title":"Laden von Daten für Keras","local":"laden-von-daten-für-keras","sections":[],"depth":3},{"title":"Laden von Daten als tf.data.Dataset","local":"laden-von-daten-als-tfdatadataset","sections":[],"depth":3}],"depth":2},{"title":"Trainieren in nativem PyTorch","local":"trainieren-in-nativem-pytorch","sections":[{"title":"DataLoader","local":"dataloader","sections":[],"depth":3},{"title":"Optimierer und Lernratensteuerung","local":"optimierer-und-lernratensteuerung","sections":[],"depth":3},{"title":"Trainingsschleife","local":"trainingsschleife","sections":[],"depth":3},{"title":"Auswertung","local":"auswertung","sections":[],"depth":3}],"depth":2},{"title":"Zusätzliche Ressourcen","local":"zusätzliche-ressourcen","sections":[],"depth":2}],"depth":1}';function kt(he){return rt(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class It extends pt{constructor(p){super(),mt(this,p,kt,jt,it,{})}}export{It as component};
