import{s as La,f as Fa,o as Pa,n as Sn}from"../chunks/scheduler.37c15a92.js";import{S as Ka,i as Oa,g as m,s,r as u,A as nc,h as y,f as l,c as a,j as zs,u as o,x as d,k as In,y as lc,a as t,v as J,t as r,b as At,d as M,w as T,p as zt}from"../chunks/index.2bf4358c.js";import{T as ll}from"../chunks/Tip.363c041f.js";import{Y as Vs}from"../chunks/Youtube.1e50a667.js";import{C as w}from"../chunks/CodeBlock.4e987730.js";import{D as Da}from"../chunks/DocNotebookDropdown.efc1fb7c.js";import{F as tc}from"../chunks/FrameworkSwitchCourse.8d4d4ab6.js";import{H as _n,E as ec}from"../chunks/index.b8688d36.js";function sc(v){let c,j;return c=new Da({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/vi/chapter7/section4_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/vi/chapter7/section4_tf.ipynb"}]}}),{c(){u(c.$$.fragment)},l(i){o(c.$$.fragment,i)},m(i,b){J(c,i,b),j=!0},i(i){j||(M(c.$$.fragment,i),j=!0)},o(i){r(c.$$.fragment,i),j=!1},d(i){T(c,i)}}}function ac(v){let c,j;return c=new Da({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/vi/chapter7/section4_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/vi/chapter7/section4_pt.ipynb"}]}}),{c(){u(c.$$.fragment)},l(i){o(c.$$.fragment,i)},m(i,b){J(c,i,b),j=!0},i(i){j||(M(c.$$.fragment,i),j=!0)},o(i){r(c.$$.fragment,i),j=!1},d(i){T(c,i)}}}function cc(v){let c,j="✏️ <strong>Đến lượt bạn!</strong> Một từ tiếng Anh khác thường được sử dụng trong tiếng Pháp là “email”. Tìm mẫu đầu tiên trong tập dữ liệu huấn luyện sử dụng từ này. Nó được dịch như thế nào? Làm thế nào để mô hình huấn luyện trước dịch cùng một câu tiếng Anh?";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-7c22o9"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function hc(v){let c,j="💡 Nếu bạn đang sử dụng trình tokenize đa ngôn ngữ như mBART, mBART-50 hoặc M2M100, bạn sẽ cần đặt mã ngôn ngữ của đầu vào và nhãn của mình trong trình tokenize bằng cách đặt <code>tokenizer.src_lang</code> và <code>tokenizer.tgt_lang</code> ở bên phải các giá trị.";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-2kuyzh"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function ic(v){let c,j="💡 Nếu bạn đang sử dụng mô hình T5 (cụ thể hơn là một trong các checkpoint <code>t5-xxx</code>), mô hình sẽ mong đợi các đầu vào văn bản có tiền tố cho biết tác vụ đang thực hiện, chẳng hạn như <code>translate: English to French:</code>.";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-mmotu2"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function pc(v){let c,j="⚠️ Chúng ta không chú ý đến attention mask của các nhãn, vì mô hình sẽ không mong đợi điều đó. Thay vào đó, các nhãn tương ứng với token đệm phải được đặt thành <code>-100</code> để chúng bị bỏ qua trong tính toán mất mát. Điều này sẽ được thực hiện bởi trình đối chiếu dữ liệu của chúng ta sau này vì chúng ta đang áp dụng đệm động, nhưng nếu bạn sử dụng đệm ở đây, bạn nên điều chỉnh chức năng tiền xử lý để đặt tất cả các nhãn tương ứng với token đệm thành <code>-100</code>.";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-1eaqk2u"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function Mc(v){let c,j,i,b="Điều đầu tiên, chúng ta cần một mô hình thực tế để tinh chỉnh. Chúng ta sẽ sử dụng API <code>AutoModel</code>:",$,g,Z,_,x;return c=new _n({props:{title:"Tinh chỉnh mô hình với Keras",local:"tinh-chỉnh-mô-hình-với-keras",headingTag:"h2"}}),g=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yU2VxMlNlcUxNJTBBJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcTJTZXFMTS5mcm9tX3ByZXRyYWluZWQobW9kZWxfY2hlY2twb2ludCUyQyUyMGZyb21fcHQlM0RUcnVlKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForSeq2SeqLM

model = TFAutoModelForSeq2SeqLM.from_pretrained(model_checkpoint, from_pt=<span class="hljs-literal">True</span>)`,wrap:!1}}),_=new ll({props:{warning:!1,$$slots:{default:[mc]},$$scope:{ctx:v}}}),{c(){u(c.$$.fragment),j=s(),i=m("p"),i.innerHTML=b,$=s(),u(g.$$.fragment),Z=s(),u(_.$$.fragment)},l(I){o(c.$$.fragment,I),j=a(I),i=y(I,"P",{"data-svelte-h":!0}),d(i)!=="svelte-qd10rh"&&(i.innerHTML=b),$=a(I),o(g.$$.fragment,I),Z=a(I),o(_.$$.fragment,I)},m(I,f){J(c,I,f),t(I,j,f),t(I,i,f),t(I,$,f),J(g,I,f),t(I,Z,f),J(_,I,f),x=!0},i(I){x||(M(c.$$.fragment,I),M(g.$$.fragment,I),M(_.$$.fragment,I),x=!0)},o(I){r(c.$$.fragment,I),r(g.$$.fragment,I),r(_.$$.fragment,I),x=!1},d(I){I&&(l(j),l(i),l($),l(Z)),T(c,I),T(g,I),T(_,I)}}}function rc(v){let c,j,i,b='Đoạn mã thực sử dụng <code>Trainer</code> sẽ giống như trước đây, chỉ với một thay đổi nhỏ: chúng ta sử dụng <a href="https://huggingface.co/transformers/main_classes/trainer.html#seq2seqtrainer" rel="nofollow"><code>Seq2SeqTrainer</code></a> tại đây, là một lớp con của <code>Trainer</code> sẽ cho phép chúng ta xử lý tốt việc đánh giá, sử dụng phương thức <code>generate()</code> để dự đoán kết quả đầu ra từ các đầu vào. Chúng ta sẽ đi sâu vào vấn đề đó chi tiết hơn khi ta nói về tính toán số liệu.',$,g,Z="Điều đầu tiên, chúng ta cần một mô hình thực tế để tinh chỉnh. Chúng ta sẽ sử dụng API <code>AutoModel</code>:",_,x,I;return c=new _n({props:{title:"Tinh chỉnh mô hình với API Trainer",local:"tinh-chỉnh-mô-hình-với-api-trainer",headingTag:"h2"}}),x=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcTJTZXFMTSUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yU2VxMlNlcUxNLmZyb21fcHJldHJhaW5lZChtb2RlbF9jaGVja3BvaW50KQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained(model_checkpoint)`,wrap:!1}}),{c(){u(c.$$.fragment),j=s(),i=m("p"),i.innerHTML=b,$=s(),g=m("p"),g.innerHTML=Z,_=s(),u(x.$$.fragment)},l(f){o(c.$$.fragment,f),j=a(f),i=y(f,"P",{"data-svelte-h":!0}),d(i)!=="svelte-jp9kln"&&(i.innerHTML=b),$=a(f),g=y(f,"P",{"data-svelte-h":!0}),d(g)!=="svelte-qd10rh"&&(g.innerHTML=Z),_=a(f),o(x.$$.fragment,f)},m(f,B){J(c,f,B),t(f,j,B),t(f,i,B),t(f,$,B),t(f,g,B),t(f,_,B),J(x,f,B),I=!0},i(f){I||(M(c.$$.fragment,f),M(x.$$.fragment,f),I=!0)},o(f){r(c.$$.fragment,f),r(x.$$.fragment,f),I=!1},d(f){f&&(l(j),l(i),l($),l(g),l(_)),T(c,f),T(x,f)}}}function mc(v){let c,j="💡 Checkpoint <code>Helsinki-NLP/opus-mt-en-fr</code> chỉ có trọng số PyTorch, nên bạn sẽ nhận được lỗi nếu bạn cố tải mô hình mà không sử dụng tham số <code>from_pt=True</code>, thư viện sẽ tự động tải và chuyển các trọng số Pytorch cho bạn. Như bạn có thể thấy, rất đơn giản để chuyển giữa các khung trong 🤗 Transformers!";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-11i0y9x"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function yc(v){let c,j;return c=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclNlcTJTZXElMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yU2VxMlNlcSh0b2tlbml6ZXIlMkMlMjBtb2RlbCUzRG1vZGVsJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForSeq2Seq

data_collator = DataCollatorForSeq2Seq(tokenizer, model=model, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){u(c.$$.fragment)},l(i){o(c.$$.fragment,i)},m(i,b){J(c,i,b),j=!0},i(i){j||(M(c.$$.fragment,i),j=!0)},o(i){r(c.$$.fragment,i),j=!1},d(i){T(c,i)}}}function uc(v){let c,j;return c=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclNlcTJTZXElMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yU2VxMlNlcSh0b2tlbml6ZXIlMkMlMjBtb2RlbCUzRG1vZGVsKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForSeq2Seq

data_collator = DataCollatorForSeq2Seq(tokenizer, model=model)`,wrap:!1}}),{c(){u(c.$$.fragment)},l(i){o(c.$$.fragment,i)},m(i,b){J(c,i,b),j=!0},i(i){j||(M(c.$$.fragment,i),j=!0)},o(i){r(c.$$.fragment,i),j=!1},d(i){T(c,i)}}}function oc(v){let c,j="Ta có thể sử dụng <code>data_collator</code> để chuyển mỗi phần dữ liệu thành <code>tf.data.Dataset</code>, sẵn sàng để huấn luyện:",i,b,$;return b=new w({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnRvX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwY29sdW1ucyUzRCU1QiUyMmlucHV0X2lkcyUyMiUyQyUyMCUyMmF0dGVudGlvbl9tYXNrJTIyJTJDJTIwJTIybGFiZWxzJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0QzMiUyQyUwQSklMEF0Zl9ldmFsX2RhdGFzZXQlMjAlM0QlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ2YWxpZGF0aW9uJTIyJTVELnRvX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwY29sdW1ucyUzRCU1QiUyMmlucHV0X2lkcyUyMiUyQyUyMCUyMmF0dGVudGlvbl9tYXNrJTIyJTJDJTIwJTIybGFiZWxzJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNERmFsc2UlMkMlMEElMjAlMjAlMjAlMjBiYXRjaF9zaXplJTNEMTYlMkMlMEEp",highlighted:`tf_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">True</span>,
    batch_size=<span class="hljs-number">32</span>,
)
tf_eval_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">False</span>,
    batch_size=<span class="hljs-number">16</span>,
)`,wrap:!1}}),{c(){c=m("p"),c.innerHTML=j,i=s(),u(b.$$.fragment)},l(g){c=y(g,"P",{"data-svelte-h":!0}),d(c)!=="svelte-8y0p3w"&&(c.innerHTML=j),i=a(g),o(b.$$.fragment,g)},m(g,Z){t(g,c,Z),t(g,i,Z),J(b,g,Z),$=!0},i(g){$||(M(b.$$.fragment,g),$=!0)},o(g){r(b.$$.fragment,g),$=!1},d(g){g&&(l(c),l(i)),T(b,g)}}}function Jc(v){let c,j="Chúng ta sẽ truyền <code>data_collator</code> vào <code>Seq2SeqTrainer</code>. Tiếp theo, chúng ta hãy xem xét chỉ số.";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-111s26n"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},i:Sn,o:Sn,d(i){i&&l(c)}}}function Sa(v){let c,j="Tính năng mà <code>Seq2SeqTrainer</code> thêm vào lớp cha <code>Trainer</code> của nó là khả năng sử dụng phương thức <code>generate()</code> trong quá trình đánh giá hoặc dự đoán. Trong quá trình huấn luyện, mô hình sẽ sử dụng <code>decoder_input_ids</code> với attention mask đảm bảo nó không sử dụng các token sau token mà nó đang cố gắng dự đoán, để tăng tốc độ huấn luyện. Trong quá trình luận suy, chúng ta sẽ không thể sử dụng những thứ đó vì chúng ta sẽ không có nhãn, vì vậy, bạn nên đánh giá mô hình của mình với cùng một thiết lập.",i,b,$='Như chúng ta đã thấy trong <a href="/course/chapter1/6">Chương 1</a>, bộ giải mã thực hiện luận suy bằng cách dự đoán từng token - một thứ được triển khai phía sau trong 🤗 Transformers bằng phương thức <code>generate()</code>. <code>Seq2SeqTrainer</code> sẽ cho phép chúng ta sử dụng phương pháp đó để đánh giá nếu chúng ta đặt <code>predict_with_generate=True</code>.';return{c(){c=m("p"),c.innerHTML=j,i=s(),b=m("p"),b.innerHTML=$},l(g){c=y(g,"P",{"data-svelte-h":!0}),d(c)!=="svelte-m698me"&&(c.innerHTML=j),i=a(g),b=y(g,"P",{"data-svelte-h":!0}),d(b)!=="svelte-k2vbfa"&&(b.innerHTML=$)},m(g,Z){t(g,c,Z),t(g,i,Z),t(g,b,Z)},d(g){g&&(l(c),l(i),l(b))}}}function Tc(v){let c,j="To get from the model outputs to texts the metric can use, we will use the <code>tokenizer.batch_decode()</code> method. We just have to clean up all the <code>-100</code>s in the labels (the tokenizer will automatically do the same for the padding token):",i,b,$;return b=new w({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBJTBBJTBBZGVmJTIwY29tcHV0ZV9tZXRyaWNzKGV2YWxfcHJlZHMpJTNBJTBBJTIwJTIwJTIwJTIwcHJlZHMlMkMlMjBsYWJlbHMlMjAlM0QlMjBldmFsX3ByZWRzJTBBJTIwJTIwJTIwJTIwJTIzJTIwVHJvbmclMjB0ciVDNiVCMCVFMSVCQiU5RG5nJTIwaCVFMSVCQiVBM3AlMjBtJUMzJUI0JTIwaCVDMyVBQ25oJTIwdHIlRTElQkElQTMlMjB2JUUxJUJCJTgxJTIwbmhpJUUxJUJCJTgxdSUyMGglQzYlQTFuJTIwbG9naXQlMjBkJUUxJUJCJUIxJTIwJUM0JTkxbyVDMyVBMW4lMEElMjAlMjAlMjAlMjBpZiUyMGlzaW5zdGFuY2UocHJlZHMlMkMlMjB0dXBsZSklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcmVkcyUyMCUzRCUyMHByZWRzJTVCMCU1RCUwQSUwQSUyMCUyMCUyMCUyMGRlY29kZWRfcHJlZHMlMjAlM0QlMjB0b2tlbml6ZXIuYmF0Y2hfZGVjb2RlKHByZWRzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBJTBBJTIwJTIwJTIwJTIwJTIzJTIwVGhheSUyMGMlQzMlQTFjJTIwZyVDMyVBRGElMjB0ciVFMSVCQiU4QiUyMC0xMDAlMjB0cm9uZyUyMG5oJUMzJUEzbiUyMHYlQzMlQUMlMjB0YSUyMGtoJUMzJUI0bmclMjBnaSVFMSVCQSVBM2klMjBtJUMzJUEzJTIwY2glQzMlQkFuZyUwQSUyMCUyMCUyMCUyMGxhYmVscyUyMCUzRCUyMG5wLndoZXJlKGxhYmVscyUyMCElM0QlMjAtMTAwJTJDJTIwbGFiZWxzJTJDJTIwdG9rZW5pemVyLnBhZF90b2tlbl9pZCklMEElMjAlMjAlMjAlMjBkZWNvZGVkX2xhYmVscyUyMCUzRCUyMHRva2VuaXplci5iYXRjaF9kZWNvZGUobGFiZWxzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBJTBBJTIwJTIwJTIwJTIwJTIzJTIwVGglRTElQkIlQjFjJTIwbSVFMSVCQiU5OXQlMjBtJUUxJUJCJTk5dCUyMHglRTElQkIlOTElMjBoJUUxJUJBJUFEdSUyMHglRTElQkIlQTclMjBsJUMzJUJEJTIwJUM0JTkxJUM2JUExbiUyMGdpJUUxJUJBJUEzbiUwQSUyMCUyMCUyMCUyMGRlY29kZWRfcHJlZHMlMjAlM0QlMjAlNUJwcmVkLnN0cmlwKCklMjBmb3IlMjBwcmVkJTIwaW4lMjBkZWNvZGVkX3ByZWRzJTVEJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9sYWJlbHMlMjAlM0QlMjAlNUIlNUJsYWJlbC5zdHJpcCgpJTVEJTIwZm9yJTIwbGFiZWwlMjBpbiUyMGRlY29kZWRfbGFiZWxzJTVEJTBBJTBBJTIwJTIwJTIwJTIwcmVzdWx0JTIwJTNEJTIwbWV0cmljLmNvbXB1dGUocHJlZGljdGlvbnMlM0RkZWNvZGVkX3ByZWRzJTJDJTIwcmVmZXJlbmNlcyUzRGRlY29kZWRfbGFiZWxzKSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMCU3QiUyMmJsZXUlMjIlM0ElMjByZXN1bHQlNUIlMjJzY29yZSUyMiU1RCU3RA==",highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np


<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>(<span class="hljs-params">eval_preds</span>):
    preds, labels = eval_preds
    <span class="hljs-comment"># Trong trường hợp mô hình trả về nhiều hơn logit dự đoán</span>
    <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(preds, <span class="hljs-built_in">tuple</span>):
        preds = preds[<span class="hljs-number">0</span>]

    decoded_preds = tokenizer.batch_decode(preds, skip_special_tokens=<span class="hljs-literal">True</span>)

    <span class="hljs-comment"># Thay các gía trị -100 trong nhãn vì ta không giải mã chúng</span>
    labels = np.where(labels != -<span class="hljs-number">100</span>, labels, tokenizer.pad_token_id)
    decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=<span class="hljs-literal">True</span>)

    <span class="hljs-comment"># Thực một một xố hậu xủ lý đơn giản</span>
    decoded_preds = [pred.strip() <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> decoded_preds]
    decoded_labels = [[label.strip()] <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> decoded_labels]

    result = metric.compute(predictions=decoded_preds, references=decoded_labels)
    <span class="hljs-keyword">return</span> {<span class="hljs-string">&quot;bleu&quot;</span>: result[<span class="hljs-string">&quot;score&quot;</span>]}`,wrap:!1}}),{c(){c=m("p"),c.innerHTML=j,i=s(),u(b.$$.fragment)},l(g){c=y(g,"P",{"data-svelte-h":!0}),d(c)!=="svelte-12prd39"&&(c.innerHTML=j),i=a(g),o(b.$$.fragment,g)},m(g,Z){t(g,c,Z),t(g,i,Z),J(b,g,Z),$=!0},i(g){$||(M(b.$$.fragment,g),$=!0)},o(g){r(b.$$.fragment,g),$=!1},d(g){g&&(l(c),l(i)),T(b,g)}}}function dc(v){let c,j="Để chuyển từ kết quả đầu ra của mô hình thành văn bản mà chỉ số có thể sử dụng, chúng ta sẽ sử dụng phương thức <code>tokenizer.batch_decode()</code>. Chúng ta chỉ cần xóa tất cả các <code>-100</code> trong các nhãn; tokenizer sẽ tự động làm điều tương tự đối với token đệm. Hãy xác định một hàm sử dụng mô hình và tập dữ liệu của chúng ta và tính toán các số liệu trên đó. Vì việc tạo chuỗi dài có thể chậm, chúng ta lấy mẫu thay thế bộ kiểm định để đảm bảo điều này không chạy mãi mãi:",i,b,$;return b=new w({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBJTBBJTBBZGVmJTIwY29tcHV0ZV9tZXRyaWNzKCklM0ElMEElMjAlMjAlMjAlMjBhbGxfcHJlZHMlMjAlM0QlMjAlNUIlNUQlMEElMjAlMjAlMjAlMjBhbGxfbGFiZWxzJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwc2FtcGxlZF9kYXRhc2V0JTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydmFsaWRhdGlvbiUyMiU1RC5zaHVmZmxlKCkuc2VsZWN0KHJhbmdlKDIwMCkpJTBBJTIwJTIwJTIwJTIwdGZfZ2VuZXJhdGVfZGF0YXNldCUyMCUzRCUyMHNhbXBsZWRfZGF0YXNldC50b190Zl9kYXRhc2V0KCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNvbHVtbnMlM0QlNUIlMjJpbnB1dF9pZHMlMjIlMkMlMjAlMjJhdHRlbnRpb25fbWFzayUyMiUyQyUyMCUyMmxhYmVscyUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNvbGxhdGVfZm4lM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwc2h1ZmZsZSUzREZhbHNlJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDQlMkMlMEElMjAlMjAlMjAlMjApJTBBJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRmX2dlbmVyYXRlX2RhdGFzZXQlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlucHV0X2lkcyUzRGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEJTJDJTIwYXR0ZW50aW9uX21hc2slM0RiYXRjaCU1QiUyMmF0dGVudGlvbl9tYXNrJTIyJTVEJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGRlY29kZWRfcHJlZHMlMjAlM0QlMjB0b2tlbml6ZXIuYmF0Y2hfZGVjb2RlKHByZWRpY3Rpb25zJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwYmF0Y2glNUIlMjJsYWJlbHMlMjIlNUQubnVtcHkoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxhYmVscyUyMCUzRCUyMG5wLndoZXJlKGxhYmVscyUyMCElM0QlMjAtMTAwJTJDJTIwbGFiZWxzJTJDJTIwdG9rZW5pemVyLnBhZF90b2tlbl9pZCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBkZWNvZGVkX2xhYmVscyUyMCUzRCUyMHRva2VuaXplci5iYXRjaF9kZWNvZGUobGFiZWxzJTJDJTIwc2tpcF9zcGVjaWFsX3Rva2VucyUzRFRydWUpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZGVjb2RlZF9wcmVkcyUyMCUzRCUyMCU1QnByZWQuc3RyaXAoKSUyMGZvciUyMHByZWQlMjBpbiUyMGRlY29kZWRfcHJlZHMlNUQlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBkZWNvZGVkX2xhYmVscyUyMCUzRCUyMCU1QiU1QmxhYmVsLnN0cmlwKCklNUQlMjBmb3IlMjBsYWJlbCUyMGluJTIwZGVjb2RlZF9sYWJlbHMlNUQlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBhbGxfcHJlZHMuZXh0ZW5kKGRlY29kZWRfcHJlZHMpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWxsX2xhYmVscy5leHRlbmQoZGVjb2RlZF9sYWJlbHMpJTBBJTBBJTIwJTIwJTIwJTIwcmVzdWx0JTIwJTNEJTIwbWV0cmljLmNvbXB1dGUocHJlZGljdGlvbnMlM0RhbGxfcHJlZHMlMkMlMjByZWZlcmVuY2VzJTNEYWxsX2xhYmVscyklMEElMjAlMjAlMjAlMjByZXR1cm4lMjAlN0IlMjJibGV1JTIyJTNBJTIwcmVzdWx0JTVCJTIyc2NvcmUlMjIlNUQlN0Q=",highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np


<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>():
    all_preds = []
    all_labels = []
    sampled_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].shuffle().select(<span class="hljs-built_in">range</span>(<span class="hljs-number">200</span>))
    tf_generate_dataset = sampled_dataset.to_tf_dataset(
        columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
        collate_fn=data_collator,
        shuffle=<span class="hljs-literal">False</span>,
        batch_size=<span class="hljs-number">4</span>,
    )
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> tf_generate_dataset:
        predictions = model.generate(
            input_ids=batch[<span class="hljs-string">&quot;input_ids&quot;</span>], attention_mask=batch[<span class="hljs-string">&quot;attention_mask&quot;</span>]
        )
        decoded_preds = tokenizer.batch_decode(predictions, skip_special_tokens=<span class="hljs-literal">True</span>)
        labels = batch[<span class="hljs-string">&quot;labels&quot;</span>].numpy()
        labels = np.where(labels != -<span class="hljs-number">100</span>, labels, tokenizer.pad_token_id)
        decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=<span class="hljs-literal">True</span>)
        decoded_preds = [pred.strip() <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> decoded_preds]
        decoded_labels = [[label.strip()] <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> decoded_labels]
        all_preds.extend(decoded_preds)
        all_labels.extend(decoded_labels)

    result = metric.compute(predictions=all_preds, references=all_labels)
    <span class="hljs-keyword">return</span> {<span class="hljs-string">&quot;bleu&quot;</span>: result[<span class="hljs-string">&quot;score&quot;</span>]}`,wrap:!1}}),{c(){c=m("p"),c.innerHTML=j,i=s(),u(b.$$.fragment)},l(g){c=y(g,"P",{"data-svelte-h":!0}),d(c)!=="svelte-1xc789c"&&(c.innerHTML=j),i=a(g),o(b.$$.fragment,g)},m(g,Z){t(g,c,Z),t(g,i,Z),J(b,g,Z),$=!0},i(g){$||(M(b.$$.fragment,g),$=!0)},o(g){r(b.$$.fragment,g),$=!1},d(g){g&&(l(c),l(i)),T(b,g)}}}function gc(v){let c,j="Khi điều này được thực hiện, chúng ta có thể xác định <code>Seq2SeqTrainingArguments</code>. Giống như đối với <code>Trainer</code>, chúng ta sử dụng một lớp con của <code>TrainingArguments</code> chứa thêm một số trường:",i,b,$,g,Z="Ngoài các siêu tham số thông thường (như tốc độ học, số epoch, kích thước lô và một số phân rã trọng số), đây là một số thay đổi so với những gì chúng ta đã thấy trong các phần trước:",_,x,I="<li>Chúng ta không đặt bất kỳ đánh giá thường xuyên nào, vì quá trình đánh giá sẽ mất một khoảng thời gian; chúng ta sẽ chỉ đánh giá mô hình của mình một lần trước khi huấn luyện và sau đó.</li> <li>Chúng ta đặt <code>fp16=True</code>, giúp tăng tốc quá trình huấn luyện trên các GPU hiện đại.</li> <li>Chúng ta đặt <code>predict_with_generate=True</code>, như đã thảo luận ở trên.</li> <li>Chúng ta sử dụng <code>push_to_hub=True</code> để tải mô hình lên Hub vào cuối mỗi epoch.</li>",f,B,O='Lưu ý rằng bạn có thể chỉ định tên đầy đủ của kho lưu trữ mà bạn muốn đẩy đến bằng tham số <code>hub_model_id</code> (đặc biệt, bạn sẽ phải sử dụng tham số này để đẩy đến một tổ chức). Ví dụ: khi chúng ta đẩy mô hình vào tổ chức <a href="https://huggingface.co/huggingface-course" rel="nofollow"><code>huggingface-course</code></a>, chúng ta đã thêm <code>hub_model_id=&quot;huggingface-course/marian-finetuned-kde4-en-to-fr&quot;</code> thành <code>Seq2SeqTrainingArguments</code>. Theo mặc định, kho lưu trữ được sử dụng sẽ nằm trong không gian tên của bạn và được đặt tên theo thư mục đầu ra mà bạn đã đặt, vì vậy trong trường hợp của chúng tôi, nó sẽ là <code>&quot;sgugger/marian-finetuned-kde4-en-to-fr&quot;</code> (là mô hình chúng tôi liên kết đến ở đầu phần này).',on,X,H,L,N="Cuối cùng, ta chỉ cần truyền mọi thứ cho <code>Seq2SeqTrainer</code>:",Jn,A,Y,P,W="Trước khi huấn luyện, trước tiên chúng ta sẽ xem xét điểm mà mô hình của chúng ta nhận được, để kiểm tra kỹ xem chúng ta có đang không làm mọi thứ tồi tệ hơn với việc tinh chỉnh của chúng ta hay không. Lệnh này sẽ mất một chút thời gian, vì vậy bạn có thể uống một ly cà phê trong khi nó thực thi:",$n,K,R,nn,z,V,hn="Điểm BLEU là 39 không quá tệ, điều này phản ánh thực tế là mô hình của chúng ta đã rất giỏi trong việc dịch các câu tiếng Anh sang tiếng Pháp.",ln,Q,U="Tiếp theo là huấn luyện, cũng sẽ mất một chút thời gian:",G,tn,Tn,mn,pn="Lưu ý rằng trong khi quá trình huấn luyện diễn ra, mỗi khi mô hình được lưu (ở đây, mỗi epoch), nó sẽ được tải lên Hub ở chế độ nền. Bằng cách này, bạn sẽ có thể tiếp tục huấn luyện của mình trên một máy khác nếu cần.",bn,F,qn="Sau khi huấn luyện xong, chúng ta đánh giá lại mô hình của mình - hy vọng chúng ta sẽ thấy một số cải thiện trong điểm BLEU!",jn,S,wn,q,Fn,yn,Mn="Đó là một cải tiến hơn gần 14 điểm, thật tuyệt vời.",fn,D,Dn="Cuối cùng, chúng ta sử dụng phương thức <code>push_to_hub()</code> để đảm bảo tải lên phiên bản mới nhất của mô hình. <code>Trainer</code> cũng soạn thảo một thẻ mô hình với tất cả các kết quả đánh giá và tải nó lên. Thẻ mô hình này chứa siêu dữ liệu giúp Model Hub chọn tiện ích con cho bản trình diễn luận suy. Thông thường, không cần phải nói bất cứ điều gì vì nó có thể suy ra tiện ích con phù hợp từ lớp mô hình, nhưng trong trường hợp này, cùng một lớp mô hình có thể được sử dụng cho tất cả các loại vấn đề chuỗi sang chuỗi, vì vậy chúng ta chỉ định đó là một mô hình dịch:",kn,E,xn,en,vn="Lệnh này trả về URL của cam kết mà nó vừa thực hiện, nếu bạn muốn kiểm tra nó:",Gn,sn,dn,un,rn="Ở giai đoạn này, bạn có thể sử dụng tiện ích luận suy trên Model Hub để kiểm tra mô hình của mình và chia sẻ với bạn bè. Bạn đã tinh chỉnh thành công một mô hình trong tác vụ dịch - xin chúc mừng!",Bn,an,Zn="Nếu bạn muốn tìm hiểu sâu hơn một chút về vòng lặp huấn luyện, bây giờ chúng tôi sẽ hướng dẫn bạn cách thực hiện điều tương tự bằng cách sử dụng 🤗 Accelerate.",Cn;return b=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFNlcTJTZXFUcmFpbmluZ0FyZ3VtZW50cyUwQSUwQWFyZ3MlMjAlM0QlMjBTZXEyU2VxVHJhaW5pbmdBcmd1bWVudHMoJTBBJTIwJTIwJTIwJTIwZiUyMm1hcmlhbi1maW5ldHVuZWQta2RlNC1lbi10by1mciUyMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWx1YXRpb25fc3RyYXRlZ3klM0QlMjJubyUyMiUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfc3RyYXRlZ3klM0QlMjJlcG9jaCUyMiUyQyUwQSUyMCUyMCUyMCUyMGxlYXJuaW5nX3JhdGUlM0QyZS01JTJDJTBBJTIwJTIwJTIwJTIwcGVyX2RldmljZV90cmFpbl9iYXRjaF9zaXplJTNEMzIlMkMlMEElMjAlMjAlMjAlMjBwZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUzRDY0JTJDJTBBJTIwJTIwJTIwJTIwd2VpZ2h0X2RlY2F5JTNEMC4wMSUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfdG90YWxfbGltaXQlM0QzJTJDJTBBJTIwJTIwJTIwJTIwbnVtX3RyYWluX2Vwb2NocyUzRDMlMkMlMEElMjAlMjAlMjAlMjBwcmVkaWN0X3dpdGhfZ2VuZXJhdGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwZnAxNiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBwdXNoX3RvX2h1YiUzRFRydWUlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Seq2SeqTrainingArguments

args = Seq2SeqTrainingArguments(
    <span class="hljs-string">f&quot;marian-finetuned-kde4-en-to-fr&quot;</span>,
    evaluation_strategy=<span class="hljs-string">&quot;no&quot;</span>,
    save_strategy=<span class="hljs-string">&quot;epoch&quot;</span>,
    learning_rate=<span class="hljs-number">2e-5</span>,
    per_device_train_batch_size=<span class="hljs-number">32</span>,
    per_device_eval_batch_size=<span class="hljs-number">64</span>,
    weight_decay=<span class="hljs-number">0.01</span>,
    save_total_limit=<span class="hljs-number">3</span>,
    num_train_epochs=<span class="hljs-number">3</span>,
    predict_with_generate=<span class="hljs-literal">True</span>,
    fp16=<span class="hljs-literal">True</span>,
    push_to_hub=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),X=new ll({props:{$$slots:{default:[bc]},$$scope:{ctx:v}}}),A=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFNlcTJTZXFUcmFpbmVyJTBBJTBBdHJhaW5lciUyMCUzRCUyMFNlcTJTZXFUcmFpbmVyKCUwQSUyMCUyMCUyMCUyMG1vZGVsJTJDJTBBJTIwJTIwJTIwJTIwYXJncyUyQyUwQSUyMCUyMCUyMCUyMHRyYWluX2RhdGFzZXQlM0R0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMGV2YWxfZGF0YXNldCUzRHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkYXRpb24lMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBkYXRhX2NvbGxhdG9yJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHRva2VuaXplciUzRHRva2VuaXplciUyQyUwQSUyMCUyMCUyMCUyMGNvbXB1dGVfbWV0cmljcyUzRGNvbXB1dGVfbWV0cmljcyUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Seq2SeqTrainer

trainer = Seq2SeqTrainer(
    model,
    args,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>],
    data_collator=data_collator,
    tokenizer=tokenizer,
    compute_metrics=compute_metrics,
)`,wrap:!1}}),K=new w({props:{code:"dHJhaW5lci5ldmFsdWF0ZShtYXhfbGVuZ3RoJTNEbWF4X3RhcmdldF9sZW5ndGgp",highlighted:"trainer.evaluate(max_length=max_target_length)",wrap:!1}}),nn=new w({props:{code:"JTdCJ2V2YWxfbG9zcyclM0ElMjAxLjY5NjQ0MDgxNTkyNTU5ODElMkMlMEElMjAnZXZhbF9ibGV1JyUzQSUyMDM5LjI2ODY1MDYxMDA3NjE2JTJDJTBBJTIwJ2V2YWxfcnVudGltZSclM0ElMjA5NjUuODg4NCUyQyUwQSUyMCdldmFsX3NhbXBsZXNfcGVyX3NlY29uZCclM0ElMjAyMS43NiUyQyUwQSUyMCdldmFsX3N0ZXBzX3Blcl9zZWNvbmQnJTNBJTIwMC4zNDElN0Q=",highlighted:`{<span class="hljs-string">&#x27;eval_loss&#x27;</span>: <span class="hljs-number">1.6964408159255981</span>,
 <span class="hljs-string">&#x27;eval_bleu&#x27;</span>: <span class="hljs-number">39.26865061007616</span>,
 <span class="hljs-string">&#x27;eval_runtime&#x27;</span>: <span class="hljs-number">965.8884</span>,
 <span class="hljs-string">&#x27;eval_samples_per_second&#x27;</span>: <span class="hljs-number">21.76</span>,
 <span class="hljs-string">&#x27;eval_steps_per_second&#x27;</span>: <span class="hljs-number">0.341</span>}`,wrap:!1}}),tn=new w({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:"trainer.train()",wrap:!1}}),S=new w({props:{code:"dHJhaW5lci5ldmFsdWF0ZShtYXhfbGVuZ3RoJTNEbWF4X3RhcmdldF9sZW5ndGgp",highlighted:"trainer.evaluate(max_length=max_target_length)",wrap:!1}}),q=new w({props:{code:"JTdCJ2V2YWxfbG9zcyclM0ElMjAwLjg1NTg1MDU3NzM1NDQzMTIlMkMlMEElMjAnZXZhbF9ibGV1JyUzQSUyMDUyLjk0MTYxMzM3Nzc1NTc2JTJDJTBBJTIwJ2V2YWxfcnVudGltZSclM0ElMjA3MTQuMjU3NiUyQyUwQSUyMCdldmFsX3NhbXBsZXNfcGVyX3NlY29uZCclM0ElMjAyOS40MjYlMkMlMEElMjAnZXZhbF9zdGVwc19wZXJfc2Vjb25kJyUzQSUyMDAuNDYxJTJDJTBBJTIwJ2Vwb2NoJyUzQSUyMDMuMCU3RA==",highlighted:`{<span class="hljs-string">&#x27;eval_loss&#x27;</span>: <span class="hljs-number">0.8558505773544312</span>,
 <span class="hljs-string">&#x27;eval_bleu&#x27;</span>: <span class="hljs-number">52.94161337775576</span>,
 <span class="hljs-string">&#x27;eval_runtime&#x27;</span>: <span class="hljs-number">714.2576</span>,
 <span class="hljs-string">&#x27;eval_samples_per_second&#x27;</span>: <span class="hljs-number">29.426</span>,
 <span class="hljs-string">&#x27;eval_steps_per_second&#x27;</span>: <span class="hljs-number">0.461</span>,
 <span class="hljs-string">&#x27;epoch&#x27;</span>: <span class="hljs-number">3.0</span>}`,wrap:!1}}),E=new w({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yih0YWdzJTNEJTIydHJhbnNsYXRpb24lMjIlMkMlMjBjb21taXRfbWVzc2FnZSUzRCUyMlRyYWluaW5nJTIwY29tcGxldGUlMjIp",highlighted:'trainer.push_to_hub(tags=<span class="hljs-string">&quot;translation&quot;</span>, commit_message=<span class="hljs-string">&quot;Training complete&quot;</span>)',wrap:!1}}),sn=new w({props:{code:"J2h0dHBzJTNBJTJGJTJGaHVnZ2luZ2ZhY2UuY28lMkZzZ3VnZ2VyJTJGbWFyaWFuLWZpbmV0dW5lZC1rZGU0LWVuLXRvLWZyJTJGY29tbWl0JTJGMzYwMWQ2MjFlM2JhYWUyYmM2M2QzMzExNDUyNTM1ZjhmNThmNmVmMyc=",highlighted:'<span class="hljs-string">&#x27;https://huggingface.co/sgugger/marian-finetuned-kde4-en-to-fr/commit/3601d621e3baae2bc63d3311452535f8f58f6ef3&#x27;</span>',wrap:!1}}),{c(){c=m("p"),c.innerHTML=j,i=s(),u(b.$$.fragment),$=s(),g=m("p"),g.textContent=Z,_=s(),x=m("ul"),x.innerHTML=I,f=s(),B=m("p"),B.innerHTML=O,on=s(),u(X.$$.fragment),H=s(),L=m("p"),L.innerHTML=N,Jn=s(),u(A.$$.fragment),Y=s(),P=m("p"),P.textContent=W,$n=s(),u(K.$$.fragment),R=s(),u(nn.$$.fragment),z=s(),V=m("p"),V.textContent=hn,ln=s(),Q=m("p"),Q.textContent=U,G=s(),u(tn.$$.fragment),Tn=s(),mn=m("p"),mn.textContent=pn,bn=s(),F=m("p"),F.textContent=qn,jn=s(),u(S.$$.fragment),wn=s(),u(q.$$.fragment),Fn=s(),yn=m("p"),yn.textContent=Mn,fn=s(),D=m("p"),D.innerHTML=Dn,kn=s(),u(E.$$.fragment),xn=s(),en=m("p"),en.textContent=vn,Gn=s(),u(sn.$$.fragment),dn=s(),un=m("p"),un.textContent=rn,Bn=s(),an=m("p"),an.textContent=Zn},l(p){c=y(p,"P",{"data-svelte-h":!0}),d(c)!=="svelte-fhr20w"&&(c.innerHTML=j),i=a(p),o(b.$$.fragment,p),$=a(p),g=y(p,"P",{"data-svelte-h":!0}),d(g)!=="svelte-1t6vwsd"&&(g.textContent=Z),_=a(p),x=y(p,"UL",{"data-svelte-h":!0}),d(x)!=="svelte-17o829q"&&(x.innerHTML=I),f=a(p),B=y(p,"P",{"data-svelte-h":!0}),d(B)!=="svelte-jldzif"&&(B.innerHTML=O),on=a(p),o(X.$$.fragment,p),H=a(p),L=y(p,"P",{"data-svelte-h":!0}),d(L)!=="svelte-15jdgqx"&&(L.innerHTML=N),Jn=a(p),o(A.$$.fragment,p),Y=a(p),P=y(p,"P",{"data-svelte-h":!0}),d(P)!=="svelte-e80l1j"&&(P.textContent=W),$n=a(p),o(K.$$.fragment,p),R=a(p),o(nn.$$.fragment,p),z=a(p),V=y(p,"P",{"data-svelte-h":!0}),d(V)!=="svelte-9tev16"&&(V.textContent=hn),ln=a(p),Q=y(p,"P",{"data-svelte-h":!0}),d(Q)!=="svelte-1n5v5hm"&&(Q.textContent=U),G=a(p),o(tn.$$.fragment,p),Tn=a(p),mn=y(p,"P",{"data-svelte-h":!0}),d(mn)!=="svelte-1fxnk8l"&&(mn.textContent=pn),bn=a(p),F=y(p,"P",{"data-svelte-h":!0}),d(F)!=="svelte-1v67fq4"&&(F.textContent=qn),jn=a(p),o(S.$$.fragment,p),wn=a(p),o(q.$$.fragment,p),Fn=a(p),yn=y(p,"P",{"data-svelte-h":!0}),d(yn)!=="svelte-s7wtfy"&&(yn.textContent=Mn),fn=a(p),D=y(p,"P",{"data-svelte-h":!0}),d(D)!=="svelte-twmov4"&&(D.innerHTML=Dn),kn=a(p),o(E.$$.fragment,p),xn=a(p),en=y(p,"P",{"data-svelte-h":!0}),d(en)!=="svelte-1iip4y1"&&(en.textContent=vn),Gn=a(p),o(sn.$$.fragment,p),dn=a(p),un=y(p,"P",{"data-svelte-h":!0}),d(un)!=="svelte-qbcc6p"&&(un.textContent=rn),Bn=a(p),an=y(p,"P",{"data-svelte-h":!0}),d(an)!=="svelte-1ebqyle"&&(an.textContent=Zn)},m(p,C){t(p,c,C),t(p,i,C),J(b,p,C),t(p,$,C),t(p,g,C),t(p,_,C),t(p,x,C),t(p,f,C),t(p,B,C),t(p,on,C),J(X,p,C),t(p,H,C),t(p,L,C),t(p,Jn,C),J(A,p,C),t(p,Y,C),t(p,P,C),t(p,$n,C),J(K,p,C),t(p,R,C),J(nn,p,C),t(p,z,C),t(p,V,C),t(p,ln,C),t(p,Q,C),t(p,G,C),J(tn,p,C),t(p,Tn,C),t(p,mn,C),t(p,bn,C),t(p,F,C),t(p,jn,C),J(S,p,C),t(p,wn,C),J(q,p,C),t(p,Fn,C),t(p,yn,C),t(p,fn,C),t(p,D,C),t(p,kn,C),J(E,p,C),t(p,xn,C),t(p,en,C),t(p,Gn,C),J(sn,p,C),t(p,dn,C),t(p,un,C),t(p,Bn,C),t(p,an,C),Cn=!0},i(p){Cn||(M(b.$$.fragment,p),M(X.$$.fragment,p),M(A.$$.fragment,p),M(K.$$.fragment,p),M(nn.$$.fragment,p),M(tn.$$.fragment,p),M(S.$$.fragment,p),M(q.$$.fragment,p),M(E.$$.fragment,p),M(sn.$$.fragment,p),Cn=!0)},o(p){r(b.$$.fragment,p),r(X.$$.fragment,p),r(A.$$.fragment,p),r(K.$$.fragment,p),r(nn.$$.fragment,p),r(tn.$$.fragment,p),r(S.$$.fragment,p),r(q.$$.fragment,p),r(E.$$.fragment,p),r(sn.$$.fragment,p),Cn=!1},d(p){p&&(l(c),l(i),l($),l(g),l(_),l(x),l(f),l(B),l(on),l(H),l(L),l(Jn),l(Y),l(P),l($n),l(R),l(z),l(V),l(ln),l(Q),l(G),l(Tn),l(mn),l(bn),l(F),l(jn),l(wn),l(Fn),l(yn),l(fn),l(D),l(kn),l(xn),l(en),l(Gn),l(dn),l(un),l(Bn),l(an)),T(b,p),T(X,p),T(A,p),T(K,p),T(nn,p),T(tn,p),T(S,p),T(q,p),T(E,p),T(sn,p)}}}function Uc(v){let c,j="Trước khi bắt đầu, hãy xem loại kết quả nào chúng tôi nhận được từ mô hình của mình mà không cần huấn luyện:",i,b,$,g,Z,_,x="Khi điều này được thực hiện, chúng ta có thể chuẩn bị mọi thứ cần để biên dịch và huấn luyện mô hình của mình. Lưu ý việc sử dụng <code>tf.keras.mixed_precision.set_global_policy(&quot;mixed_float16&quot;)</code> - điều này sẽ yêu cầu Keras huấn luyện bằng cách sử dụng float16, điều có thể giúp tăng tốc đáng kể trên các GPU hỗ trợ nó (Nvidia 20xx/V100 hoặc mới hơn).",I,f,B,O,on='Tiếp theo, chúng ta xác định một <code>PushToHubCallback</code> để tải mô hình lên Hub trong quá trình huấn luyện, như chúng ta đã thấy trong <a href="(/course/chapter7/2)">phần 2</a>, và sau đó chúng ta chỉ cần điều chỉnh mô hình với lệnh gọi lại đó:',X,H,L,N,Jn='Lưu ý rằng bạn có thể chỉ định tên của kho lưu trữ mà bạn muốn đẩy lên bằng tham số <code>hub_model_id</code> (cụ thể là bạn sẽ phải sử dụng tham số này để đẩy lên một tổ chức). Ví dụ: khi chúng tôi đẩy mô hình vào tổ chức <a href="https://huggingface.co/huggingface-course" rel="nofollow"><code>huggingface-course</code></a>, chúng ta đã thêm <code>hub_model_id=&quot;huggingface-course/marian-finetuned-kde4-en-to-fr&quot;</code> thành <code>Seq2SeqTrainingArguments</code>. Theo mặc định, kho lưu trữ được sử dụng sẽ nằm trong không gian tên của bạn và được đặt tên theo thư mục đầu ra mà bạn đã đặt, vì vậy ở đây nó sẽ là <code>&quot;sgugger/marian-finetuned-kde4-en-to-fr&quot;</code> (là mô hình mà chúng tôi đã liên kết với ở đầu phần này).',A,Y,P,W,$n="Cuối cùng, hãy xem các chỉ số của chúng ta trông như thế nào khi quá trình huấn luyện đã kết thúc:",K,R,nn,z,V,hn,ln="Ở giai đoạn này, bạn có thể sử dụng tiện ích luận suy trên Model Hub để kiểm tra mô hình của mình và chia sẻ với bạn bè. Bạn đã tinh chỉnh thành công một mô hình trong tác vụ dịch - xin chúc mừng!",Q;return b=new w({props:{code:"cHJpbnQoY29tcHV0ZV9tZXRyaWNzKCkp",highlighted:'<span class="hljs-built_in">print</span>(compute_metrics())',wrap:!1}}),g=new w({props:{code:"JTdCJ2JsZXUnJTNBJTIwMzMuMjY5ODM3MDE0NTQ3MzMlN0Q=",highlighted:'{&#x27;bleu&#x27;: <span class="hljs-number">33.26983701454733</span>}',wrap:!1}}),f=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGNyZWF0ZV9vcHRpbWl6ZXIlMEFmcm9tJTIwdHJhbnNmb3JtZXJzLmtlcmFzX2NhbGxiYWNrcyUyMGltcG9ydCUyMFB1c2hUb0h1YkNhbGxiYWNrJTBBaW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEElMEElMjMlMjBTJUUxJUJCJTkxJTIwYiVDNiVCMCVFMSVCQiU5QmMlMjBodSVFMSVCQSVBNW4lMjBsdXklRTElQkIlODduJTIwbCVDMyVBMCUyMHMlRTElQkIlOTElMjBsJUM2JUIwJUUxJUJCJUEzbmclMjBtJUUxJUJBJUFCdSUyMHRyb25nJTIwdCVFMSVCQSVBRHAlMjBkJUUxJUJCJUFGJTIwbGklRTElQkIlODd1JTJDJTIwY2hpYSUyMGNobyUyMGslQzMlQURjaCUyMHRoJUM2JUIwJUUxJUJCJTlCYyUyMGwlQzMlQjQlMjBzYXUlMjAlQzQlOTElQzMlQjMlMjBuaCVDMyVBMm4lMEElMjMlMjB2JUUxJUJCJTlCaSUyMHQlRTElQkIlOTVuZyUyMHMlRTElQkIlOTElMjBlcG9jaC4lMjBMJUM2JUIwdSUyMCVDMyVCRCUyMHIlRTElQkElQjFuZyUyMHRmX3RyYWluX2RhdGFzZXQlMjAlRTElQkIlOUYlMjAlQzQlOTElQzMlQTJ5JTIwbCVDMyVBMCUyMHRmLmRhdGEuRGF0YXNldCUyMHRoZW8lMjBsJUMzJUI0JTJDJTBBJTIzJTIwa2glQzMlQjRuZyUyMHBoJUUxJUJBJUEzaSUyMGwlQzMlQTAlMjBIdWdnaW5nJTIwRmFjZSUyMERhdGFzZXQlMjBiYW4lMjAlQzQlOTElRTElQkElQTd1JTJDJTIwdiVDMyVBQyUyMHYlRTElQkElQUR5JTIwbGVuKCklMjBjJUUxJUJCJUE3YSUyMG4lQzMlQjMlMjB2JUUxJUJCJTkxbiUyMGwlQzMlQTAlMjBudW1fc2FtcGxlcyUyMCUyRiUyRiUyMGJhdGNoX3NpemUuJTBBJTBBbnVtX2Vwb2NocyUyMCUzRCUyMDMlMEFudW1fdHJhaW5fc3RlcHMlMjAlM0QlMjBsZW4odGZfdHJhaW5fZGF0YXNldCklMjAqJTIwbnVtX2Vwb2NocyUwQSUwQW9wdGltaXplciUyQyUyMHNjaGVkdWxlJTIwJTNEJTIwY3JlYXRlX29wdGltaXplciglMEElMjAlMjAlMjAlMjBpbml0X2xyJTNENWUtNSUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QwJTJDJTBBJTIwJTIwJTIwJTIwbnVtX3RyYWluX3N0ZXBzJTNEbnVtX3RyYWluX3N0ZXBzJTJDJTBBJTIwJTIwJTIwJTIwd2VpZ2h0X2RlY2F5X3JhdGUlM0QwLjAxJTJDJTBBKSUwQW1vZGVsLmNvbXBpbGUob3B0aW1pemVyJTNEb3B0aW1pemVyKSUwQSUwQSUyMyUyMEh1JUUxJUJBJUE1biUyMGx1eSVFMSVCQiU4N24lMjB0cm9uZyUyMG1peGVkLXByZWNpc2lvbiUyMGZsb2F0MTYlMEF0Zi5rZXJhcy5taXhlZF9wcmVjaXNpb24uc2V0X2dsb2JhbF9wb2xpY3koJTIybWl4ZWRfZmxvYXQxNiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> create_optimizer
<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># Số bước huấn luyện là số lượng mẫu trong tập dữ liệu, chia cho kích thước lô sau đó nhân</span>
<span class="hljs-comment"># với tổng số epoch. Lưu ý rằng tf_train_dataset ở đây là tf.data.Dataset theo lô,</span>
<span class="hljs-comment"># không phải là Hugging Face Dataset ban đầu, vì vậy len() của nó vốn là num_samples // batch_size.</span>

num_epochs = <span class="hljs-number">3</span>
num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset) * num_epochs

optimizer, schedule = create_optimizer(
    init_lr=<span class="hljs-number">5e-5</span>,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_train_steps=num_train_steps,
    weight_decay_rate=<span class="hljs-number">0.01</span>,
)
model.<span class="hljs-built_in">compile</span>(optimizer=optimizer)

<span class="hljs-comment"># Huấn luyện trong mixed-precision float16</span>
tf.keras.mixed_precision.set_global_policy(<span class="hljs-string">&quot;mixed_float16&quot;</span>)`,wrap:!1}}),H=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQWNhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2soJTBBJTIwJTIwJTIwJTIwb3V0cHV0X2RpciUzRCUyMm1hcmlhbi1maW5ldHVuZWQta2RlNC1lbi10by1mciUyMiUyQyUyMHRva2VuaXplciUzRHRva2VuaXplciUwQSklMEElMEFtb2RlbC5maXQoJTBBJTIwJTIwJTIwJTIwdGZfdHJhaW5fZGF0YXNldCUyQyUwQSUyMCUyMCUyMCUyMHZhbGlkYXRpb25fZGF0YSUzRHRmX2V2YWxfZGF0YXNldCUyQyUwQSUyMCUyMCUyMCUyMGNhbGxiYWNrcyUzRCU1QmNhbGxiYWNrJTVEJTJDJTBBJTIwJTIwJTIwJTIwZXBvY2hzJTNEbnVtX2Vwb2NocyUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback

callback = PushToHubCallback(
    output_dir=<span class="hljs-string">&quot;marian-finetuned-kde4-en-to-fr&quot;</span>, tokenizer=tokenizer
)

model.fit(
    tf_train_dataset,
    validation_data=tf_eval_dataset,
    callbacks=[callback],
    epochs=num_epochs,
)`,wrap:!1}}),Y=new ll({props:{$$slots:{default:[jc]},$$scope:{ctx:v}}}),R=new w({props:{code:"cHJpbnQoY29tcHV0ZV9tZXRyaWNzKCkp",highlighted:'<span class="hljs-built_in">print</span>(compute_metrics())',wrap:!1}}),z=new w({props:{code:"JTdCJ2JsZXUnJTNBJTIwNTcuMzM0MDY2MjcxNTQ1ODY1JTdE",highlighted:'{&#x27;bleu&#x27;: <span class="hljs-number">57.334066271545865</span>}',wrap:!1}}),{c(){c=m("p"),c.textContent=j,i=s(),u(b.$$.fragment),$=s(),u(g.$$.fragment),Z=s(),_=m("p"),_.innerHTML=x,I=s(),u(f.$$.fragment),B=s(),O=m("p"),O.innerHTML=on,X=s(),u(H.$$.fragment),L=s(),N=m("p"),N.innerHTML=Jn,A=s(),u(Y.$$.fragment),P=s(),W=m("p"),W.textContent=$n,K=s(),u(R.$$.fragment),nn=s(),u(z.$$.fragment),V=s(),hn=m("p"),hn.textContent=ln},l(U){c=y(U,"P",{"data-svelte-h":!0}),d(c)!=="svelte-e2hmu0"&&(c.textContent=j),i=a(U),o(b.$$.fragment,U),$=a(U),o(g.$$.fragment,U),Z=a(U),_=y(U,"P",{"data-svelte-h":!0}),d(_)!=="svelte-1o2tkbb"&&(_.innerHTML=x),I=a(U),o(f.$$.fragment,U),B=a(U),O=y(U,"P",{"data-svelte-h":!0}),d(O)!=="svelte-1a912om"&&(O.innerHTML=on),X=a(U),o(H.$$.fragment,U),L=a(U),N=y(U,"P",{"data-svelte-h":!0}),d(N)!=="svelte-2328v7"&&(N.innerHTML=Jn),A=a(U),o(Y.$$.fragment,U),P=a(U),W=y(U,"P",{"data-svelte-h":!0}),d(W)!=="svelte-e3jqn0"&&(W.textContent=$n),K=a(U),o(R.$$.fragment,U),nn=a(U),o(z.$$.fragment,U),V=a(U),hn=y(U,"P",{"data-svelte-h":!0}),d(hn)!=="svelte-qbcc6p"&&(hn.textContent=ln)},m(U,G){t(U,c,G),t(U,i,G),J(b,U,G),t(U,$,G),J(g,U,G),t(U,Z,G),t(U,_,G),t(U,I,G),J(f,U,G),t(U,B,G),t(U,O,G),t(U,X,G),J(H,U,G),t(U,L,G),t(U,N,G),t(U,A,G),J(Y,U,G),t(U,P,G),t(U,W,G),t(U,K,G),J(R,U,G),t(U,nn,G),J(z,U,G),t(U,V,G),t(U,hn,G),Q=!0},i(U){Q||(M(b.$$.fragment,U),M(g.$$.fragment,U),M(f.$$.fragment,U),M(H.$$.fragment,U),M(Y.$$.fragment,U),M(R.$$.fragment,U),M(z.$$.fragment,U),Q=!0)},o(U){r(b.$$.fragment,U),r(g.$$.fragment,U),r(f.$$.fragment,U),r(H.$$.fragment,U),r(Y.$$.fragment,U),r(R.$$.fragment,U),r(z.$$.fragment,U),Q=!1},d(U){U&&(l(c),l(i),l($),l(Z),l(_),l(I),l(B),l(O),l(X),l(L),l(N),l(A),l(P),l(W),l(K),l(nn),l(V),l(hn)),T(b,U),T(g,U),T(f,U),T(H,U),T(Y,U),T(R,U),T(z,U)}}}function bc(v){let c,j="💡 Nếu thư mục đầu ra bạn đang sử dụng đã tồn tại, nó cần phải là bản sao cục bộ của kho lưu trữ mà bạn muốn đẩy đến. Nếu không, bạn sẽ gặp lỗi khi xác định <code>Seq2SeqTrainer</code> của mình và sẽ cần đặt tên mới.";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-1jg226a"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function jc(v){let c,j="💡 Nếu thư mục đầu ra bạn đang sử dụng đã tồn tại, nó cần phải là bản sao cục bộ của kho lưu trữ mà bạn muốn đẩy đến. Nếu không, bạn sẽ gặp lỗi khi gọi <code>model.fit()</code> và sẽ cần đặt tên mới.";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-1vbugor"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function qa(v){let c,j,i,b='Bây giờ chúng ta hãy xem toàn bộ vòng lặp huấn luyện, vì vậy bạn có thể dễ dàng tùy chỉnh các phần bạn cần. Nó sẽ trông rất giống những gì chúng ta đã làm trong <a href="/course/chapter7/2">phần 2</a> và <a href="/course/chapter3/4">Chương 3</a>.',$,g,Z,_,x="Bạn đã thấy tất cả điều này một vài lần rồi, vì vậy chúng ta sẽ xem qua đoạn mã khá nhanh. Đầu tiên, chúng ta sẽ xây dựng các <code>DataLoader</code> từ các tập dữ liệu của mình, sau khi đặt các tập dữ liệu thành định dạng<code>&quot;torch&quot;</code>để chúng ta nhận được các tensor PyTorch:",I,f,B,O,on="Tiếp theo, chúng ta khôi phục mô hình của mình, để đảm bảo rằng chúng ta không tiếp tục tinh chỉnh từ trước mà bắt đầu lại từ mô hình đã được huấn luyện trước:",X,H,L,N,Jn="Then we will need an optimizer:",A,Y,P,W,$n="Khi chúng ta có tất cả các đối tượng đó, chúng ta có thể gửi chúng đến phương thức <code>accelerator.prepare()</code>. Hãy nhớ rằng nếu bạn muốn huấn luyện về TPU trong notebook Colab, bạn sẽ cần chuyển tất cả mã này vào một hàm huấn luyện và điều đó sẽ không thực thi bất kỳ ô nào khởi tạo một <code>Accelerator</code>.",K,R,nn,z,V="Bây giờ, chúng ta đã gửi <code>train_dataloader</code> của mình tới <code>accelerator.prepare()</code>, chúng ta có thể sử dụng độ dài của nó để tính số bước huấn luyện. Hãy nhớ rằng chúng ta phải luôn làm điều này sau khi chuẩn bị dataloader, vì phương thức đó sẽ thay đổi độ dài của <code>DataLoader</code>. Chúng ta sử dụng một lịch trình tuyến tính cổ điển từ tốc độ học đến 0:",hn,ln,Q,U,G="Cuối cùng, để đẩy mô hình của mình lên Hub, chúng ta sẽ cần tạo một đối tượng <code>Repository</code> trong một thư mục đang làm việc. Đầu tiên hãy đăng nhập vào Hugging Face Hub, nếu bạn chưa đăng nhập. Chúng ta sẽ xác định tên kho lưu trữ từ ID mô hình mà chúng ta muốn cung cấp cho mô hình của mình (vui lòng thay thế <code>repo_name</code> bằng sự lựa chọn của riêng bạn; nó chỉ cần chứa tên người dùng của bạn, đó là những gì hàm <code>get_full_repo_name()</code> thực hiện):",tn,Tn,mn,pn,bn,F,qn="Sau đó, chúng ta có thể sao chép kho lưu trữ đó trong một thư mục cục bộ. Nếu nó đã tồn tại, thư mục cục bộ này phải là bản sao của kho lưu trữ mà chúng ta đang làm việc:",jn,S,wn,q,Fn="Bây giờ chúng ta có thể tải lên bất cứ thứ gì chúng ta lưu trong <code>output_dir</code> bằng cách gọi phương thức <code>repo.push_to_hub()</code>. Điều này sẽ giúp chúng ta tải lên các mô hình trung gian ở cuối mỗi epoch.",yn,Mn,fn,D,Dn="Bây giờ chúng ta đã sẵn sàng để viết vòng lặp huấn luyện đầy đủ. Để đơn giản hóa phần đánh giá của nó, chúng ta định nghĩa hàm <code>postprocess()</code> này lấy các dự đoán và nhãn và chuyển đổi chúng thành danh sách các chuỗi mà đối tượng <code>metric</code> kì vọng:",kn,E,xn,en,vn='Vòng lặp huấn luyện trông rất giống với các vòng lặp trong <a href="/course/chapter7/2">phần 2</a> và <a href="/course/chapter3">Chương 3</a>, với một vài điểm khác biệt trong phần đánh giá - vì vậy hãy tập trung vào điều đó!',Gn,sn,dn="Điều đầu tiên cần lưu ý là chúng ta sử dụng phương thức <code>generate()</code> để tính toán các dự đoán, nhưng đây là một phương thức trên mô hình cơ sở, không phải mô hình được bao bọc 🤗 Accelerate được tạo trong phương thức <code>prepare()</code> . Đó là lý do tại sao chúng ta mở mô hình trước, sau đó gọi phương thức này.",un,rn,Bn='Điều thứ hai là, giống như với <a href="/course/chapter7/2">phân loại token</a>, hai quy trình có thể đã đêm các đầu vào và nhãn thành các hình dạng khác nhau, vì vậy chúng tôi sử dụng <code>accelerator.pad_across_processes()</code> để đưa ra các dự đoán và nhãn cùng một hình dạng trước khi gọi phương thức <code>gather()</code> . Nếu chúng ta không làm điều này, đánh giá sẽ bị lỗi hoặc bị treo vĩnh viễn.',an,Zn,Cn,p,C,gn,tl='Khi điều này được thực hiện, bạn sẽ có một mô hình có kết quả khá giống với mô hình được huấn luyện với <code>Seq2SeqTrainer</code>. Bạn có thể kiểm tra đoạn mã mà chúng ta đã huấn luyện bằng cách sử dụng mã này tại <a href="https://huggingface.co/huggingface-course/marian-finetuned-kde4-en-to-fr-accelerate" rel="nofollow"><em>huggingface-course/marian-finetuned-kde4-en-to-fr-accelerate</em></a>. Và nếu bạn muốn kiểm tra bất kỳ tinh chỉnh nào đối với vòng lặp huấn luyện, bạn có thể trực tiếp thực hiện chúng bằng cách chỉnh sửa đoạn mã được hiển thị ở trên!',Vn;return c=new _n({props:{title:"Một vòng huấn luyện tùy chỉnh",local:"một-vòng-huấn-luyện-tùy-chỉnh",headingTag:"h2"}}),g=new _n({props:{title:"Chuẩn bị mọi thứ cho qua trình huấn luyện",local:"chuẩn-bị-mọi-thứ-cho-qua-trình-huấn-luyện",headingTag:"h3"}}),f=new w({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGElMjBpbXBvcnQlMjBEYXRhTG9hZGVyJTBBJTBBdG9rZW5pemVkX2RhdGFzZXRzLnNldF9mb3JtYXQoJTIydG9yY2glMjIpJTBBdHJhaW5fZGF0YWxvYWRlciUyMCUzRCUyMERhdGFMb2FkZXIoJTBBJTIwJTIwJTIwJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMGNvbGxhdGVfZm4lM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDglMkMlMEEpJTBBZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwRGF0YUxvYWRlciglMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ2YWxpZGF0aW9uJTIyJTVEJTJDJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMjBiYXRjaF9zaXplJTNEOCUwQSk=",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data <span class="hljs-keyword">import</span> DataLoader

tokenized_datasets.set_format(<span class="hljs-string">&quot;torch&quot;</span>)
train_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    shuffle=<span class="hljs-literal">True</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)
eval_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>], collate_fn=data_collator, batch_size=<span class="hljs-number">8</span>
)`,wrap:!1}}),H=new w({props:{code:"bW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXEyU2VxTE0uZnJvbV9wcmV0cmFpbmVkKG1vZGVsX2NoZWNrcG9pbnQp",highlighted:"model = AutoModelForSeq2SeqLM.from_pretrained(model_checkpoint)",wrap:!1}}),Y=new w({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjBsciUzRDJlLTUp",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">2e-5</span>)`,wrap:!1}}),R=new w({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoKSUwQW1vZGVsJTJDJTIwb3B0aW1pemVyJTJDJTIwdHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyMCUzRCUyMGFjY2VsZXJhdG9yLnByZXBhcmUoJTBBJTIwJTIwJTIwJTIwbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMkMlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

accelerator = Accelerator()
model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
    model, optimizer, train_dataloader, eval_dataloader
)`,wrap:!1}}),ln=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fdHJhaW5fZXBvY2hzJTIwJTNEJTIwMyUwQW51bV91cGRhdGVfc3RlcHNfcGVyX2Vwb2NoJTIwJTNEJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX3RyYWluX2Vwb2NocyUyMColMjBudW1fdXBkYXRlX3N0ZXBzX3Blcl9lcG9jaCUwQSUwQWxyX3NjaGVkdWxlciUyMCUzRCUyMGdldF9zY2hlZHVsZXIoJTBBJTIwJTIwJTIwJTIwJTIybGluZWFyJTIyJTJDJTBBJTIwJTIwJTIwJTIwb3B0aW1pemVyJTNEb3B0aW1pemVyJTJDJTBBJTIwJTIwJTIwJTIwbnVtX3dhcm11cF9zdGVwcyUzRDAlMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5pbmdfc3RlcHMlM0RudW1fdHJhaW5pbmdfc3RlcHMlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

num_train_epochs = <span class="hljs-number">3</span>
num_update_steps_per_epoch = <span class="hljs-built_in">len</span>(train_dataloader)
num_training_steps = num_train_epochs * num_update_steps_per_epoch

lr_scheduler = get_scheduler(
    <span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_training_steps=num_training_steps,
)`,wrap:!1}}),Tn=new w({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMFJlcG9zaXRvcnklMkMlMjBnZXRfZnVsbF9yZXBvX25hbWUlMEElMEFtb2RlbF9uYW1lJTIwJTNEJTIwJTIybWFyaWFuLWZpbmV0dW5lZC1rZGU0LWVuLXRvLWZyLWFjY2VsZXJhdGUlMjIlMEFyZXBvX25hbWUlMjAlM0QlMjBnZXRfZnVsbF9yZXBvX25hbWUobW9kZWxfbmFtZSklMEFyZXBvX25hbWU=",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> Repository, get_full_repo_name

model_name = <span class="hljs-string">&quot;marian-finetuned-kde4-en-to-fr-accelerate&quot;</span>
repo_name = get_full_repo_name(model_name)
repo_name`,wrap:!1}}),pn=new w({props:{code:"J3NndWdnZXIlMkZtYXJpYW4tZmluZXR1bmVkLWtkZTQtZW4tdG8tZnItYWNjZWxlcmF0ZSc=",highlighted:'<span class="hljs-string">&#x27;sgugger/marian-finetuned-kde4-en-to-fr-accelerate&#x27;</span>',wrap:!1}}),S=new w({props:{code:"b3V0cHV0X2RpciUyMCUzRCUyMCUyMm1hcmlhbi1maW5ldHVuZWQta2RlNC1lbi10by1mci1hY2NlbGVyYXRlJTIyJTBBcmVwbyUyMCUzRCUyMFJlcG9zaXRvcnkob3V0cHV0X2RpciUyQyUyMGNsb25lX2Zyb20lM0RyZXBvX25hbWUp",highlighted:`output_dir = <span class="hljs-string">&quot;marian-finetuned-kde4-en-to-fr-accelerate&quot;</span>
repo = Repository(output_dir, clone_from=repo_name)`,wrap:!1}}),Mn=new _n({props:{title:"Vòng lặp huấn luyện",local:"vòng-lặp-huấn-luyện",headingTag:"h3"}}),E=new w({props:{code:"ZGVmJTIwcG9zdHByb2Nlc3MocHJlZGljdGlvbnMlMkMlMjBsYWJlbHMpJTNBJTBBJTIwJTIwJTIwJTIwcHJlZGljdGlvbnMlMjAlM0QlMjBwcmVkaWN0aW9ucy5jcHUoKS5udW1weSgpJTBBJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwbGFiZWxzLmNwdSgpLm51bXB5KCklMEElMEElMjAlMjAlMjAlMjBkZWNvZGVkX3ByZWRzJTIwJTNEJTIwdG9rZW5pemVyLmJhdGNoX2RlY29kZShwcmVkaWN0aW9ucyUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKSUwQSUwQSUyMCUyMCUyMCUyMCUyMyUyMFRoYXklMjAtMTAwJTIwdHJvbmclMjBuaCVDMyVBM24lMjB2JUMzJUFDJTIwdGElMjBraCVDMyVCNG5nJTIwdGglRTElQkElQkYlMjBnaSVFMSVCQSVBM2klMjBtJUMzJUEzJTIwY2glQzMlQkFuZy4lMEElMjAlMjAlMjAlMjBsYWJlbHMlMjAlM0QlMjBucC53aGVyZShsYWJlbHMlMjAhJTNEJTIwLTEwMCUyQyUyMGxhYmVscyUyQyUyMHRva2VuaXplci5wYWRfdG9rZW5faWQpJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9sYWJlbHMlMjAlM0QlMjB0b2tlbml6ZXIuYmF0Y2hfZGVjb2RlKGxhYmVscyUyQyUyMHNraXBfc3BlY2lhbF90b2tlbnMlM0RUcnVlKSUwQSUwQSUyMCUyMCUyMCUyMCUyMyUyMFRoJUUxJUJCJUIxYyUyMGhpJUUxJUJCJTg3biUyMG0lRTElQkIlOTl0JTIwcyVFMSVCQiU5MSUyMGglRTElQkElQUR1JTIweCVFMSVCQiVBRCUyMGwlQzMlQkQlMjAlQzQlOTElQzYlQTFuJTIwZ2klRTElQkElQTNuJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9wcmVkcyUyMCUzRCUyMCU1QnByZWQuc3RyaXAoKSUyMGZvciUyMHByZWQlMjBpbiUyMGRlY29kZWRfcHJlZHMlNUQlMEElMjAlMjAlMjAlMjBkZWNvZGVkX2xhYmVscyUyMCUzRCUyMCU1QiU1QmxhYmVsLnN0cmlwKCklNUQlMjBmb3IlMjBsYWJlbCUyMGluJTIwZGVjb2RlZF9sYWJlbHMlNUQlMEElMjAlMjAlMjAlMjByZXR1cm4lMjBkZWNvZGVkX3ByZWRzJTJDJTIwZGVjb2RlZF9sYWJlbHM=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">postprocess</span>(<span class="hljs-params">predictions, labels</span>):
    predictions = predictions.cpu().numpy()
    labels = labels.cpu().numpy()

    decoded_preds = tokenizer.batch_decode(predictions, skip_special_tokens=<span class="hljs-literal">True</span>)

    <span class="hljs-comment"># Thay -100 trong nhãn vì ta không thế giải mã chúng.</span>
    labels = np.where(labels != -<span class="hljs-number">100</span>, labels, tokenizer.pad_token_id)
    decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=<span class="hljs-literal">True</span>)

    <span class="hljs-comment"># Thực hiện một số hậu xử lý đơn giản</span>
    decoded_preds = [pred.strip() <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> decoded_preds]
    decoded_labels = [[label.strip()] <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> decoded_labels]
    <span class="hljs-keyword">return</span> decoded_preds, decoded_labels`,wrap:!1}}),Zn=new w({props:{code:"ZnJvbSUyMHRxZG0uYXV0byUyMGltcG9ydCUyMHRxZG0lMEFpbXBvcnQlMjB0b3JjaCUwQSUwQXByb2dyZXNzX2JhciUyMCUzRCUyMHRxZG0ocmFuZ2UobnVtX3RyYWluaW5nX3N0ZXBzKSklMEElMEFmb3IlMjBlcG9jaCUyMGluJTIwcmFuZ2UobnVtX3RyYWluX2Vwb2NocyklM0ElMEElMjAlMjAlMjAlMjAlMjMlMjBIdSVFMSVCQSVBNW4lMjBsdXklRTElQkIlODduJTBBJTIwJTIwJTIwJTIwbW9kZWwudHJhaW4oKSUwQSUyMCUyMCUyMCUyMGZvciUyMGJhdGNoJTIwaW4lMjB0cmFpbl9kYXRhbG9hZGVyJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3V0cHV0cyUyMCUzRCUyMG1vZGVsKCoqYmF0Y2gpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zcyUyMCUzRCUyMG91dHB1dHMubG9zcyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEpJTBBJTBBJTIwJTIwJTIwJTIwJTIzJTIwJUM0JTkwJUMzJUExbmglMjBnaSVDMyVBMSUwQSUyMCUyMCUyMCUyMG1vZGVsLmV2YWwoKSUwQSUyMCUyMCUyMCUyMGZvciUyMGJhdGNoJTIwaW4lMjB0cWRtKGV2YWxfZGF0YWxvYWRlciklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3aXRoJTIwdG9yY2gubm9fZ3JhZCgpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZ2VuZXJhdGVkX3Rva2VucyUyMCUzRCUyMGFjY2VsZXJhdG9yLnVud3JhcF9tb2RlbChtb2RlbCkuZ2VuZXJhdGUoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2glNUIlMjJpbnB1dF9pZHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBhdHRlbnRpb25fbWFzayUzRGJhdGNoJTVCJTIyYXR0ZW50aW9uX21hc2slMjIlNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEMTI4JTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxhYmVscyUyMCUzRCUyMGJhdGNoJTVCJTIybGFiZWxzJTIyJTVEJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIzJTIwQyVFMSVCQSVBN24lMjAlQzQlOTElRTElQkIlODdtJTIwZCVFMSVCQiVCMSUyMCVDNCU5MW8lQzMlQTFuJTIwdiVDMyVBMCUyMG5oJUMzJUEzbiUyMCVDNCU5MSVFMSVCQiU4MyUyMGQlRTElQkIlODUlMjBnb20lMjBsJUUxJUJBJUExaSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGdlbmVyYXRlZF90b2tlbnMlMjAlM0QlMjBhY2NlbGVyYXRvci5wYWRfYWNyb3NzX3Byb2Nlc3NlcyglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBnZW5lcmF0ZWRfdG9rZW5zJTJDJTIwZGltJTNEMSUyQyUyMHBhZF9pbmRleCUzRHRva2VuaXplci5wYWRfdG9rZW5faWQlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjApJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwYWNjZWxlcmF0b3IucGFkX2Fjcm9zc19wcm9jZXNzZXMobGFiZWxzJTJDJTIwZGltJTNEMSUyQyUyMHBhZF9pbmRleCUzRC0xMDApJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJlZGljdGlvbnNfZ2F0aGVyZWQlMjAlM0QlMjBhY2NlbGVyYXRvci5nYXRoZXIoZ2VuZXJhdGVkX3Rva2VucyklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsYWJlbHNfZ2F0aGVyZWQlMjAlM0QlMjBhY2NlbGVyYXRvci5nYXRoZXIobGFiZWxzKSUwQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGRlY29kZWRfcHJlZHMlMkMlMjBkZWNvZGVkX2xhYmVscyUyMCUzRCUyMHBvc3Rwcm9jZXNzKHByZWRpY3Rpb25zX2dhdGhlcmVkJTJDJTIwbGFiZWxzX2dhdGhlcmVkKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG1ldHJpYy5hZGRfYmF0Y2gocHJlZGljdGlvbnMlM0RkZWNvZGVkX3ByZWRzJTJDJTIwcmVmZXJlbmNlcyUzRGRlY29kZWRfbGFiZWxzKSUwQSUwQSUyMCUyMCUyMCUyMHJlc3VsdHMlMjAlM0QlMjBtZXRyaWMuY29tcHV0ZSgpJTBBJTIwJTIwJTIwJTIwcHJpbnQoZiUyMmVwb2NoJTIwJTdCZXBvY2glN0QlMkMlMjBCTEVVJTIwc2NvcmUlM0ElMjAlN0JyZXN1bHRzJTVCJ3Njb3JlJyU1RCUzQS4yZiU3RCUyMiklMEElMEElMjAlMjAlMjAlMjAlMjMlMjBMJUM2JUIwdSUyMHYlQzMlQTAlMjB0JUUxJUJBJUEzaSUwQSUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLndhaXRfZm9yX2V2ZXJ5b25lKCklMEElMjAlMjAlMjAlMjB1bndyYXBwZWRfbW9kZWwlMjAlM0QlMjBhY2NlbGVyYXRvci51bndyYXBfbW9kZWwobW9kZWwpJTBBJTIwJTIwJTIwJTIwdW53cmFwcGVkX21vZGVsLnNhdmVfcHJldHJhaW5lZChvdXRwdXRfZGlyJTJDJTIwc2F2ZV9mdW5jdGlvbiUzRGFjY2VsZXJhdG9yLnNhdmUpJTBBJTIwJTIwJTIwJTIwaWYlMjBhY2NlbGVyYXRvci5pc19tYWluX3Byb2Nlc3MlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB0b2tlbml6ZXIuc2F2ZV9wcmV0cmFpbmVkKG91dHB1dF9kaXIpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcmVwby5wdXNoX3RvX2h1YiglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBjb21taXRfbWVzc2FnZSUzRGYlMjJUcmFpbmluZyUyMGluJTIwcHJvZ3Jlc3MlMjBlcG9jaCUyMCU3QmVwb2NoJTdEJTIyJTJDJTIwYmxvY2tpbmclM0RGYWxzZSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCk=",highlighted:`<span class="hljs-keyword">from</span> tqdm.auto <span class="hljs-keyword">import</span> tqdm
<span class="hljs-keyword">import</span> torch

progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_train_epochs):
    <span class="hljs-comment"># Huấn luyện</span>
    model.train()
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
        outputs = model(**batch)
        loss = outputs.loss
        accelerator.backward(loss)

        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(<span class="hljs-number">1</span>)

    <span class="hljs-comment"># Đánh giá</span>
    model.<span class="hljs-built_in">eval</span>()
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> tqdm(eval_dataloader):
        <span class="hljs-keyword">with</span> torch.no_grad():
            generated_tokens = accelerator.unwrap_model(model).generate(
                batch[<span class="hljs-string">&quot;input_ids&quot;</span>],
                attention_mask=batch[<span class="hljs-string">&quot;attention_mask&quot;</span>],
                max_length=<span class="hljs-number">128</span>,
            )
        labels = batch[<span class="hljs-string">&quot;labels&quot;</span>]

        <span class="hljs-comment"># Cần đệm dự đoán và nhãn để dễ gom lại</span>
        generated_tokens = accelerator.pad_across_processes(
            generated_tokens, dim=<span class="hljs-number">1</span>, pad_index=tokenizer.pad_token_id
        )
        labels = accelerator.pad_across_processes(labels, dim=<span class="hljs-number">1</span>, pad_index=-<span class="hljs-number">100</span>)

        predictions_gathered = accelerator.gather(generated_tokens)
        labels_gathered = accelerator.gather(labels)

        decoded_preds, decoded_labels = postprocess(predictions_gathered, labels_gathered)
        metric.add_batch(predictions=decoded_preds, references=decoded_labels)

    results = metric.compute()
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;epoch <span class="hljs-subst">{epoch}</span>, BLEU score: <span class="hljs-subst">{results[<span class="hljs-string">&#x27;score&#x27;</span>]:<span class="hljs-number">.2</span>f}</span>&quot;</span>)

    <span class="hljs-comment"># Lưu và tải</span>
    accelerator.wait_for_everyone()
    unwrapped_model = accelerator.unwrap_model(model)
    unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)
    <span class="hljs-keyword">if</span> accelerator.is_main_process:
        tokenizer.save_pretrained(output_dir)
        repo.push_to_hub(
            commit_message=<span class="hljs-string">f&quot;Training in progress epoch <span class="hljs-subst">{epoch}</span>&quot;</span>, blocking=<span class="hljs-literal">False</span>
        )`,wrap:!1}}),p=new w({props:{code:"ZXBvY2glMjAwJTJDJTIwQkxFVSUyMHNjb3JlJTNBJTIwNTMuNDclMEFlcG9jaCUyMDElMkMlMjBCTEVVJTIwc2NvcmUlM0ElMjA1NC4yNCUwQWVwb2NoJTIwMiUyQyUyMEJMRVUlMjBzY29yZSUzQSUyMDU0LjQ0",highlighted:`epoch <span class="hljs-number">0</span>, BLEU score: <span class="hljs-number">53.47</span>
epoch <span class="hljs-number">1</span>, BLEU score: <span class="hljs-number">54.24</span>
epoch <span class="hljs-number">2</span>, BLEU score: <span class="hljs-number">54.44</span>`,wrap:!1}}),{c(){u(c.$$.fragment),j=s(),i=m("p"),i.innerHTML=b,$=s(),u(g.$$.fragment),Z=s(),_=m("p"),_.innerHTML=x,I=s(),u(f.$$.fragment),B=s(),O=m("p"),O.textContent=on,X=s(),u(H.$$.fragment),L=s(),N=m("p"),N.textContent=Jn,A=s(),u(Y.$$.fragment),P=s(),W=m("p"),W.innerHTML=$n,K=s(),u(R.$$.fragment),nn=s(),z=m("p"),z.innerHTML=V,hn=s(),u(ln.$$.fragment),Q=s(),U=m("p"),U.innerHTML=G,tn=s(),u(Tn.$$.fragment),mn=s(),u(pn.$$.fragment),bn=s(),F=m("p"),F.textContent=qn,jn=s(),u(S.$$.fragment),wn=s(),q=m("p"),q.innerHTML=Fn,yn=s(),u(Mn.$$.fragment),fn=s(),D=m("p"),D.innerHTML=Dn,kn=s(),u(E.$$.fragment),xn=s(),en=m("p"),en.innerHTML=vn,Gn=s(),sn=m("p"),sn.innerHTML=dn,un=s(),rn=m("p"),rn.innerHTML=Bn,an=s(),u(Zn.$$.fragment),Cn=s(),u(p.$$.fragment),C=s(),gn=m("p"),gn.innerHTML=tl},l(h){o(c.$$.fragment,h),j=a(h),i=y(h,"P",{"data-svelte-h":!0}),d(i)!=="svelte-1vzu1n4"&&(i.innerHTML=b),$=a(h),o(g.$$.fragment,h),Z=a(h),_=y(h,"P",{"data-svelte-h":!0}),d(_)!=="svelte-mtb390"&&(_.innerHTML=x),I=a(h),o(f.$$.fragment,h),B=a(h),O=y(h,"P",{"data-svelte-h":!0}),d(O)!=="svelte-rzppnb"&&(O.textContent=on),X=a(h),o(H.$$.fragment,h),L=a(h),N=y(h,"P",{"data-svelte-h":!0}),d(N)!=="svelte-47lq6z"&&(N.textContent=Jn),A=a(h),o(Y.$$.fragment,h),P=a(h),W=y(h,"P",{"data-svelte-h":!0}),d(W)!=="svelte-u0izcb"&&(W.innerHTML=$n),K=a(h),o(R.$$.fragment,h),nn=a(h),z=y(h,"P",{"data-svelte-h":!0}),d(z)!=="svelte-1vp141b"&&(z.innerHTML=V),hn=a(h),o(ln.$$.fragment,h),Q=a(h),U=y(h,"P",{"data-svelte-h":!0}),d(U)!=="svelte-itdnx7"&&(U.innerHTML=G),tn=a(h),o(Tn.$$.fragment,h),mn=a(h),o(pn.$$.fragment,h),bn=a(h),F=y(h,"P",{"data-svelte-h":!0}),d(F)!=="svelte-1yyb0p9"&&(F.textContent=qn),jn=a(h),o(S.$$.fragment,h),wn=a(h),q=y(h,"P",{"data-svelte-h":!0}),d(q)!=="svelte-ahqxuc"&&(q.innerHTML=Fn),yn=a(h),o(Mn.$$.fragment,h),fn=a(h),D=y(h,"P",{"data-svelte-h":!0}),d(D)!=="svelte-1m6dupy"&&(D.innerHTML=Dn),kn=a(h),o(E.$$.fragment,h),xn=a(h),en=y(h,"P",{"data-svelte-h":!0}),d(en)!=="svelte-1rf0fyi"&&(en.innerHTML=vn),Gn=a(h),sn=y(h,"P",{"data-svelte-h":!0}),d(sn)!=="svelte-ry3nt8"&&(sn.innerHTML=dn),un=a(h),rn=y(h,"P",{"data-svelte-h":!0}),d(rn)!=="svelte-y4enw0"&&(rn.innerHTML=Bn),an=a(h),o(Zn.$$.fragment,h),Cn=a(h),o(p.$$.fragment,h),C=a(h),gn=y(h,"P",{"data-svelte-h":!0}),d(gn)!=="svelte-1b9yxno"&&(gn.innerHTML=tl)},m(h,k){J(c,h,k),t(h,j,k),t(h,i,k),t(h,$,k),J(g,h,k),t(h,Z,k),t(h,_,k),t(h,I,k),J(f,h,k),t(h,B,k),t(h,O,k),t(h,X,k),J(H,h,k),t(h,L,k),t(h,N,k),t(h,A,k),J(Y,h,k),t(h,P,k),t(h,W,k),t(h,K,k),J(R,h,k),t(h,nn,k),t(h,z,k),t(h,hn,k),J(ln,h,k),t(h,Q,k),t(h,U,k),t(h,tn,k),J(Tn,h,k),t(h,mn,k),J(pn,h,k),t(h,bn,k),t(h,F,k),t(h,jn,k),J(S,h,k),t(h,wn,k),t(h,q,k),t(h,yn,k),J(Mn,h,k),t(h,fn,k),t(h,D,k),t(h,kn,k),J(E,h,k),t(h,xn,k),t(h,en,k),t(h,Gn,k),t(h,sn,k),t(h,un,k),t(h,rn,k),t(h,an,k),J(Zn,h,k),t(h,Cn,k),J(p,h,k),t(h,C,k),t(h,gn,k),Vn=!0},i(h){Vn||(M(c.$$.fragment,h),M(g.$$.fragment,h),M(f.$$.fragment,h),M(H.$$.fragment,h),M(Y.$$.fragment,h),M(R.$$.fragment,h),M(ln.$$.fragment,h),M(Tn.$$.fragment,h),M(pn.$$.fragment,h),M(S.$$.fragment,h),M(Mn.$$.fragment,h),M(E.$$.fragment,h),M(Zn.$$.fragment,h),M(p.$$.fragment,h),Vn=!0)},o(h){r(c.$$.fragment,h),r(g.$$.fragment,h),r(f.$$.fragment,h),r(H.$$.fragment,h),r(Y.$$.fragment,h),r(R.$$.fragment,h),r(ln.$$.fragment,h),r(Tn.$$.fragment,h),r(pn.$$.fragment,h),r(S.$$.fragment,h),r(Mn.$$.fragment,h),r(E.$$.fragment,h),r(Zn.$$.fragment,h),r(p.$$.fragment,h),Vn=!1},d(h){h&&(l(j),l(i),l($),l(Z),l(_),l(I),l(B),l(O),l(X),l(L),l(N),l(A),l(P),l(W),l(K),l(nn),l(z),l(hn),l(Q),l(U),l(tn),l(mn),l(bn),l(F),l(jn),l(wn),l(q),l(yn),l(fn),l(D),l(kn),l(xn),l(en),l(Gn),l(sn),l(un),l(rn),l(an),l(Cn),l(C),l(gn)),T(c,h),T(g,h),T(f,h),T(H,h),T(Y,h),T(R,h),T(ln,h),T(Tn,h),T(pn,h),T(S,h),T(Mn,h),T(E,h),T(Zn,h),T(p,h)}}}function wc(v){let c,j="✏️ <strong>Đến lượt bạn!</strong> Mô hình trả về cái gì với từ “email” bạn xác định trước đó?";return{c(){c=m("p"),c.innerHTML=j},l(i){c=y(i,"P",{"data-svelte-h":!0}),d(c)!=="svelte-1xx7h46"&&(c.innerHTML=j)},m(i,b){t(i,c,b)},p:Sn,d(i){i&&l(c)}}}function fc(v){let c,j,i,b,$,g,Z,_,x,I,f,B,O='Bây giờ chúng ta hãy đi sâu vào dịch máy. Đây là một <a href="/course/chapter1/7">tác vụ chuỗi sang chuỗi</a>, có nghĩa là đây là một vấn đề có thể được hình thành như đi từ một chuỗi này sang chuỗi khác. Theo nghĩa đó, vấn đề khá giống với <a href="/course/chapter7/6">tóm tắt</a> và bạn có thể điều chỉnh những gì chúng ta sẽ thấy ở đây thành các vấn đề chuỗi sang chuỗi khác như:',on,X,H="<li><strong>Chuyển văn phong</strong>: Tạo mô hình <em>dịch</em> văn bản được viết theo một phong cách nhất định sang một phong cách khác (ví dụ: từ trang trọng sang thông thường hoặc tiếng Anh Shakespearean sang tiếng Anh hiện đại)</li> <li><strong>Hỏi đáp chung</strong>: Tạo một mô hình tạo câu trả lời cho các câu hỏi, dựa trên ngữ cảnh</li>",L,N,Jn,A,Y='Nếu bạn có một kho văn bản đủ lớn với hai (hoặc nhiều) ngôn ngữ, bạn có thể huấn luyện một mô hình dịch mới từ đầu giống như chúng ta sẽ làm trong phần <a href="/course/chapter7/6">lập mô hình ngôn ngữ nhân quả</a>. Tuy nhiên, sẽ nhanh hơn nếu tinh chỉnh mô hình dịch hiện có, có thể là mô hình đa ngôn ngữ như mT5 hoặc mBART mà bạn muốn tinh chỉnh cho phù hợp với một cặp ngôn ngữ cụ thể hoặc thậm chí là một mô hình chuyên dụng để dịch từ ngôn ngữ này sang ngôn ngữ khác mà bạn muốn tinh chỉnh để phù hợp với kho dữ liệu cụ thể của mình.',P,W,$n='Trong phần này, chúng ta sẽ tinh chỉnh mô hình Marian được huấn luyện trước để dịch từ tiếng Anh sang tiếng Pháp (vì rất nhiều nhân viên của Hugging Face nói cả hai ngôn ngữ đó) trên <a href="https://huggingface.co/datasets/kde4" rel="nofollow">tập dữ liệu KDE4</a>, là tập dữ liệu các tệp được bản địa hóa cho <a href="https://apps.kde.org/" rel="nofollow">ứng dụng KDE</a>. Mô hình chúng ta sẽ sử dụng đã được huấn luyện trước trên một kho dữ liệu lớn gồm các văn bản tiếng Pháp và tiếng Anh được lấy từ <a href="https://opus.nlpl.eu/" rel="nofollow">Tập dữ liệu Opus</a>, thực sự chứa tập dữ liệu KDE4. Nhưng ngay cả khi mô hình huấn luyện trước mà chúng ta sử dụng đã nhìn thấy dữ liệu đó trong quá trình huấn luyện trước của nó, chúng ta sẽ thấy rằng ta có thể nhận được phiên bản tốt hơn của nó sau khi tinh chỉnh.',K,R,nn="Sau khi hoàn thành, chúng ta sẽ có một mô hình có thể đưa ra các dự đoán như sau:",z,V,hn,ln,Q,U='<img class="block dark:hidden lg:w-3/5" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/modeleval-marian-finetuned-kde4-en-to-fr.png" alt="One-hot encoded labels for question answering."/> <img class="hidden dark:block lg:w-3/5" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/modeleval-marian-finetuned-kde4-en-to-fr-dark.png" alt="One-hot encoded labels for question answering."/>',G,tn,Tn='Như trong các phần trước, bạn có thể tìm thấy mô hình thực tế mà chúng ta sẽ huấn luyện và tải lên Hub bằng cách sử dụng đoạn mã bên dưới và kiểm tra kỹ các dự đoán của nó <a href="https://huggingface.co/huggingface-course/marian-finetuned-kde4-en-to-fr?text=This+plugin+allows+you+to+automatically+translate+web+pages+between+several+languages." rel="nofollow">tại đây</a>.',mn,pn,bn,F,qn='Để tinh chỉnh hoặc huấn luyện một mô hình dịch từ đầu, chúng ta sẽ cần một tập dữ liệu phù hợp với tác vụ. Như đã đề cập trước đây, chúng ta sẽ sử dụng <a href="https://huggingface.co/datasets/kde4" rel="nofollow">tập dữ liệu KDE4</a> trong phần này, nhưng bạn có thể điều chỉnh đoạn mã để sử dụng dữ liệu của riêng mình khá dễ dàng, miễn là bạn có các cặp của các câu bằng hai ngôn ngữ mà bạn muốn dịch từ và tới. Tham khảo lại <a href="/course/chapter5">Chương 5</a> nếu bạn cần lời nhắc về cách tải dữ liệu tùy chỉnh của mình trong <code>Dataset</code>.',jn,S,wn,q,Fn="Như thường lệ, chúng ta tải xuống tập dữ liệu của mình bằng cách sử dụng hàm <code>load_dataset()</code>:",yn,Mn,fn,D,Dn='Nếu bạn muốn làm việc với một cặp ngôn ngữ khác, bạn có thể chỉ định chúng bằng đoạn mã của chúng. Có tổng số 92 ngôn ngữ có sẵn cho bộ dữ liệu này; bạn có thể thấy tất cả chúng bằng cách mở rộng các thẻ ngôn ngữ trên <a href="https://huggingface.co/datasets/kde4" rel="nofollow">thẻ dữ liệu</a> của nó.',kn,E,xn,en,vn,Gn="Hãy xem tập dữ liệu:",sn,dn,un,rn,Bn,an,Zn='Chúng ta có 210,173 cặp câu, nhưng chỉ trong một lần tách, vì vậy chúng ta sẽ cần tạo bộ kiểm định của riêng mình. Như chúng ta đã thấy trong <a href="/course/chapter5">Chương 5</a>, <code>Dataset</code> có phương thức <code>train_test_split()</code> có thể giúp chúng ta. Chúng ta sẽ cung cấp một hạt giống (seed) cho khả năng tái tạo:',Cn,p,C,gn,tl,Vn,h="Bạn có thể đổi <code>&quot;test&quot;</code> thành <code>&quot;validation&quot;</code> như sau:",k,el,Pt,sl,Es="Bây giờ chúng ta hãy xem xét một phần tử của tập dữ liệu:",Kt,al,Ot,cl,ne,hl,Hs="Chúng ta nhận được một từ điển có hai câu bằng cặp ngôn ngữ mà ta yêu cầu. Một điểm đặc biệt của bộ dữ liệu đầy đủ các thuật ngữ khoa học máy tính kỹ thuật này là chúng đều được dịch hoàn toàn bằng tiếng Pháp. Tuy nhiên, các kỹ sư Pháp thường lười biếng và để lại hầu hết các từ chuyên ngành khoa học máy tính bằng tiếng Anh khi họ nói chuyện. Ví dụ, ở đây, từ “threads” có thể xuất hiện trong một câu tiếng Pháp, đặc biệt là trong một cuộc trò chuyện kỹ thuật; nhưng trong tập dữ liệu này, nó đã được dịch thành đúng hơn là “fils de discussion”. Mô hình huấn luyện trước mà chúng ta sử dụng, đã được huấn luyện trước trên một kho ngữ liệu lớn hơn của các câu tiếng Pháp và tiếng Anh, có tùy chọn dễ dàng hơn là để nguyên từ như sau:",le,il,te,pl,ee,Ml,Ys=`Một ví dụ khác về hành vi này có thể được nhìn thấy với từ “plugin”, đây không phải là một từ chính thức trong tiếng Pháp nhưng hầu hết người bản ngữ sẽ hiểu và không bận tâm đến việc dịch.
Trong tập dữ liệu KDE4, từ này đã được dịch bằng tiếng Pháp một cách chính thống hơn thành “module d’extension”:`,se,rl,ae,ml,ce,yl,Fs="Tuy nhiên, mô hình được huấn luyện trước của chúng ta gắn với từ tiếng Anh nhỏ gọn và quen thuộc:",he,ul,ie,ol,pe,Jl,Ss="Sẽ rất thú vị khi xem liệu mô hình tinh chỉnh của mình có tiếp thu những đặc điểm đó của tập dữ liệu hay không (cảnh báo spoiler: nó sẽ xảy ra).",Me,Tl,re,Ln,me,dl,ye,gl,ue,Ul,qs='Bây giờ bạn nên biết điều này: tất cả các văn bản cần được chuyển đổi thành tập hợp các token ID để mô hình có thể hiểu được chúng. Đối với tác vụ này, chúng ta sẽ cần tokenize cả đầu vào và nhãn. Tác vụ đầu tiên của chúng ta là tạo đối tượng <code>tokenizer</code>. Như đã lưu ý trước đó, chúng ta sẽ sử dụng mô hình huấn luyện trước từ tiếng Anh sang tiếng Pháp của Marian. Nếu bạn đang thử đoạn mã này với một cặp ngôn ngữ khác, hãy đảm bảo điều chỉnh checkpoint của mô hình. Tổ chức <a href="https://huggingface.co/Helsinki-NLP" rel="nofollow">Helsinki-NLP</a> cung cấp hơn một nghìn mô hình bằng nhiều ngôn ngữ.',oe,bl,Je,jl,Ds='You can also replace the <code>model_checkpoint</code> with any other model you prefer from the <a href="https://huggingface.co/models" rel="nofollow">Hub</a>, or a local folder where you’ve saved a pretrained model and a tokenizer.',Te,Pn,de,wl,Ls="Việc chuẩn bị dữ liệu của chúng ta khá đơn giản. Chỉ có một điều cần nhớ: bạn xử lý các đầu vào như bình thường, nhưng đối với các nhãn, bạn cần phải bọc tokenizer bên trong trình quản lý ngữ cảnh <code>as_target_tokenizer()</code>.",ge,fl,Ps="Trình quản lý ngữ cảnh trong Python được giới thiệu với câu lệnh <code>with</code> và rất hữu ích khi bạn có hai hoạt động liên quan để thực thi như một cặp. Ví dụ phổ biến nhất về điều này là khi bạn viết hoặc đọc một tệp, thường được thực hiện bên trong một lệnh như:",Ue,kl,be,Cl,Ks="Ở đây, hai hoạt động liên quan được thực hiện như một cặp là các hành động mở và đóng tệp. Đối tượng tương ứng với tệp đã mở <code>f</code> chỉ tồn tại bên trong khối được thụt lề dưới dấu <code>with</code>; sự mở đầu xảy ra trước khối đó và đóng ở cuối khối.",je,Il,Os="Trong trường hợp này, trình quản lý ngữ cảnh <code>as_target_tokenizer()</code> sẽ đặt tokenizer ở ngôn ngữ đầu ra (ở đây, tiếng Pháp) trước khi khối được thụt lề được thực thi, sau đó đặt nó trở lại bằng ngôn ngữ đầu vào (ở đây, tiếng Anh).",we,$l,na="Vì vậy, việc xử lý trước một mẫu trông như thế này:",fe,vl,ke,Zl,la="Nếu chúng ta quên tokenize các nhãn bên trong trình quản lý ngữ cảnh, chúng sẽ được tokenize bởi trình tokenize đầu vào, trong trường hợp mô hình Marian sẽ không hoạt động tốt chút nào:",Ce,_l,Ie,xl,$e,Gl,ta="Như chúng ta có thể thấy, việc sử dụng trình tokenize tiếng Anh để xử lý trước một câu tiếng Pháp dẫn đến nhiều token hơn, vì trình tokenize không biết bất kỳ từ tiếng Pháp nào (ngoại trừ những từ cũng xuất hiện trong tiếng Anh, như “discussion”).",ve,Bl,ea="Cả <code>inputs</code> và <code>targets</code> đều là từ điển với các khóa thông thường của chúng ta (ID đầu vào, attention mask, v.v.), vì vậy bước cuối cùng là đặt <code>&quot;labels&quot;</code> bên trong các đầu vào. Chúng ta thực hiện điều này trong chức năng tiền xử lý mà ta sẽ áp dụng trên các tập dữ liệu:",Ze,Vl,_e,Rl,sa="Note that we set similar maximum lengths for our inputs and outputs. Since the texts we’re dealing with seem pretty short, we use 128.",xe,Kn,Ge,On,Be,Ql,aa="Bây giờ chúng ta có thể áp dụng tiền xử lý đó trong một lần trên tất cả các phần của tập dữ liệu của mình:",Ve,Nl,Re,Wl,ca="Bây giờ dữ liệu đã được tiền xử lý, chúng ta đã sẵn sàng để tinh chỉnh mô hình tiền xử lý của mình!",Qe,Rn,Qn,Et,Xl,ha="Lưu ý rằng lần này chúng ta đang sử dụng một mô hình đã được huấn luyện về tác vụ dịch và thực sự có thể được sử dụng, vì vậy không có cảnh báo nào về việc thiếu các trọng số hoặc những trọng số mới được khởi tạo.",Ne,Al,We,zl,ia="Chúng ta sẽ cần một công cụ đối chiếu dữ liệu để xử lý phần đệm cho phân phối động. Chúng ta không thể chỉ sử dụng một <code>DataCollatorWithPadding</code> như [Chương 3](/course/ chapter3) trong trường hợp này, bởi vì điều đó chỉ đệm các đầu vào (ID đầu vào, attention mask, và loại token ID). Các nhãn của chúng ta cũng phải được đệm theo chiều dài tối đa có trong nhãn. Và, như đã đề cập trước đây, giá trị đệm được sử dụng để đệm các nhãn phải là <code>-100</code> chứ không phải token đệm của trình tokenize, để đảm bảo các giá trị đệm đó bị bỏ qua trong tính toán mất mát.",Xe,El,pa='Tất cả điều này được thực hiện bởi <a href="https://huggingface.co/transformers/main_classes/data_collator.html#datacollatorforseq2seq" rel="nofollow"><code>DataCollatorForSeq2Seq</code></a>. Giống như <code>DataCollatorWithPadding</code>, nó sử dụng <code>tokenizer</code> được sử dụng để xử lý trước các đầu vào, nhưng nó cũng lấy <code>model</code>. Điều này là do trình đối chiếu dữ liệu này cũng sẽ chịu trách nhiệm chuẩn bị các ID đầu vào của bộ giải mã, là các phiên bản được dịch chuyển của các nhãn với một token đặc biệt ở đầu. Vì sự thay đổi này được thực hiện hơi khác đối với các kiến ​​trúc khác nhau, nên <code>DataCollatorForSeq2Seq</code> cần biết đối tượng <code>model</code>:',Ae,Nn,Wn,Ht,Hl,Ma="Để kiểm tra điều này trên một số mẫu, chúng ta chỉ cần gọi nó trong danh sách các ví dụ từ bộ huấn luyện được tokenize của mình:",ze,Yl,Ee,Fl,He,Sl,ra="Chúng tôi có thể kiểm tra nhãn đã được đệm đến độ dài tối đa của lô hay chưa, bằng cách sử dụng <code>-100</code>:",Ye,ql,Fe,Dl,Se,Ll,ma="Và chúng tôi cũng có thể xem xét các ID đầu vào của bộ giải mã, để biết rằng chúng là các phiên bản được thay đổi của nhãn:",qe,Pl,De,Kl,Le,Ol,ya="Dưới đây là các nhãn cho các phần tử đầu tiên và thứ hai trong tập dữ liệu của mình:",Pe,nt,Ke,lt,Oe,Xn,An,Yt,tt,ns,et,ls,Ft,st,ua='Chỉ số truyền thống được sử dụng cho bài toán dịch là <a href="https://en.wikipedia.org/wiki/BLEU" rel="nofollow">điểm BLEU</a>, được giới thiệu trong <a href="https://aclanthology.org/P02-1040.pdf" rel="nofollow">một bài báo năm 2002</a> bởi Kishore Papineni và cộng sự. Điểm BLEU đánh giá mức độ gần gũi của bản dịch với nhãn của chúng. Nó không đo lường mức độ dễ hiểu hoặc tính đúng ngữ pháp của các đầu ra được tạo ra của mô hình, nhưng sử dụng các quy tắc thống kê để đảm bảo rằng tất cả các từ trong các đầu ra được tạo cũng xuất hiện trong các nhãn. Ngoài ra, có các quy tắc phạt việc lặp lại các từ giống nhau nếu chúng không được lặp lại trong các nhãn (để tránh mô hình xuất ra các câu như <code>&quot;the the the&quot;</code>) và xuất ra các câu ngắn hơn các câu trong nhãn (để tránh mô hình xuất ra các câu như <code>&quot;the&quot;</code>).',ts,at,oa='Một điểm yếu của BLEU là nó mong đợi văn bản đã được tokenize, điều này gây khó khăn cho việc so sánh điểm giữa các mô hình sử dụng các bộ tokenize khác nhau. Vì vậy, thay vào đó, chỉ số được sử dụng phổ biến nhất cho các mô hình dịch điểm chuẩn ngày nay là <a href="https://github.com/mjpost/sacrebleu" rel="nofollow">SacreBLEU</a>, giải quyết điểm yếu này (và các chỉ số khác) bằng cách chuẩn hóa bước tokenize. Để sử dụng chỉ số này, trước tiên chúng ta cần cài đặt thư viện SacreBLEU:',es,ct,ss,ht,Ja='Chúng ta có thể tải nó với <code>evaluate.load()</code> như chúng ta đã làm trong <a href="/course/chapter3">Chương 3</a>:',as,it,cs,pt,Ta="Chỉ số này sẽ lấy văn bản làm đầu vào và nhãn. Nó được thiết kế để chấp nhận một số nhãn có thể chấp nhận được, vì thường có nhiều bản dịch có thể chấp nhận được của cùng một câu - tập dữ liệu ta đang sử dụng chỉ cung cấp một nhãn, nhưng không hiếm trong NLP để tìm tập dữ liệu cung cấp một số câu dưới dạng nhãn. Vì vậy, các dự đoán phải là một danh sách các câu, nhưng các tham chiếu phải là một danh sách các danh sách các câu.",hs,Mt,da="Hãy thử một mẫu:",is,rt,ps,mt,Ms,yt,ga='Ta nhận được điểm BLEU là 46.75, khá tốt - để tham khảo, mô hình Transformer ban đầu trong bài báo <a href="https://arxiv.org/pdf/1706.03762.pdf" rel="nofollow">“Attention Is All You Need”</a> đạt được điểm BLEU là 41.8 cho một tác vụ dịch tương tự giữa tiếng Anh và tiếng Pháp! (Để biết thêm thông tin về các chỉ số riêng lẻ, như <code>counts</code> và <code>bp</code>, hãy xem <a href="https://github.com/mjpost/sacrebleu/blob/078c440168c6adc89ba75fe6d63f0d922d42bcfe/sacrebleu/metrics/bleu.py#L74" rel="nofollow">kho lưu trữ SacreBLEU</a>.) Mặt khác, nếu chúng ta thử với hai loại dự đoán không tốt (nhiều lần lặp lại hoặc quá ngắn) thường xuất hiện trong các mô hình dịch, chúng ta sẽ nhận được điểm BLEU khá tệ:',rs,ut,ms,ot,ys,Jt,us,Tt,os,dt,Ua="Điểm số có thể tăng từ 0 đến 100 và càng cao thì càng tốt.",Js,zn,En,St,gt,ba="Bây giờ điều này đã hoàn tất, chúng ta đã sẵn sàng tinh chỉnh mô hình của mình!",Ts,Ut,ds,bt,ja="Bước đầu tiên là đăng nhập vào Hugging Face để bạn có thể tải kết quả của mình lên Model Hub. Có một chức năng tiện lợi để giúp bạn làm điều này trong notebook:",gs,jt,Us,wt,wa="Thao tác này sẽ hiển thị một tiện ích mà bạn có thể nhập thông tin đăng nhập Hugging Face của mình.",bs,ft,fa="Nếu bạn không làm việc trong notebook, chỉ cần nhập dòng sau vào terminal của bạn:",js,kt,ws,Hn,Yn,qt,Dt,Ct,fs,It,ka="Chúng tôi đã chỉ cho bạn cách bạn có thể sử dụng mô hình mà ta đã tinh chỉnh trên Model Hub bằng tiện ích luận suy. Để sử dụng nó cục bộ trong một <code>pipeline</code>, chúng ta chỉ cần chỉ định mã định danh mô hình thích hợp:",ks,$t,Cs,vt,Is,Zt,Ca="Đúng như mong đợi, mô hình được huấn luyện trước của chúng ta đã điều chỉnh kiến thức của nó cho phù hợp với kho ngữ liệu mà chúng ta đã tinh chỉnh và thay vì để nguyên từ “thread” trong tiếng Anh, giờ đây nó đã dịch nó sang phiên bản chính thức tiếng Pháp. Đối với “plugin” cũng vậy:",$s,_t,vs,xt,Zs,Gt,Ia="Một ví dụ tuyệt vời khác về thích ứng chuyện môn!",_s,nl,xs,Bt,Gs,Lt,Bs;$=new tc({props:{fw:v[0]}}),Z=new _n({props:{title:"Dịch máy",local:"dịch-máy",headingTag:"h1"}});const $a=[ac,sc],Vt=[];function va(n,e){return n[0]==="pt"?0:1}x=va(v),I=Vt[x]=$a[x](v),N=new Vs({props:{id:"1JvfrvZgi6c"}}),pn=new _n({props:{title:"Chuẩn bị dữ liệu",local:"chuẩn-bị-dữ-liệu",headingTag:"h2"}}),S=new _n({props:{title:"Bộ dữ liệu KDE4",local:"bộ-dữ-liệu-kde4",headingTag:"h3"}}),Mn=new w({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBcmF3X2RhdGFzZXRzJTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmtkZTQlMjIlMkMlMjBsYW5nMSUzRCUyMmVuJTIyJTJDJTIwbGFuZzIlM0QlMjJmciUyMik=",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

raw_datasets = load_dataset(<span class="hljs-string">&quot;kde4&quot;</span>, lang1=<span class="hljs-string">&quot;en&quot;</span>, lang2=<span class="hljs-string">&quot;fr&quot;</span>)`,wrap:!1}}),dn=new w({props:{code:"cmF3X2RhdGFzZXRz",highlighted:"raw_datasets",wrap:!1}}),rn=new w({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2lkJyUyQyUyMCd0cmFuc2xhdGlvbiclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDIxMDE3MyUwQSUyMCUyMCUyMCUyMCU3RCklMEElN0Qp",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;id&#x27;</span>, <span class="hljs-string">&#x27;translation&#x27;</span>],
        num_rows: <span class="hljs-number">210173</span>
    })
})`,wrap:!1}}),p=new w({props:{code:"c3BsaXRfZGF0YXNldHMlMjAlM0QlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RC50cmFpbl90ZXN0X3NwbGl0KHRyYWluX3NpemUlM0QwLjklMkMlMjBzZWVkJTNEMjApJTBBc3BsaXRfZGF0YXNldHM=",highlighted:`split_datasets = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>].train_test_split(train_size=<span class="hljs-number">0.9</span>, seed=<span class="hljs-number">20</span>)
split_datasets`,wrap:!1}}),gn=new w({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2lkJyUyQyUyMCd0cmFuc2xhdGlvbiclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE4OTE1NSUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB0ZXN0JTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidpZCclMkMlMjAndHJhbnNsYXRpb24nJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3Jvd3MlM0ElMjAyMTAxOCUwQSUyMCUyMCUyMCUyMCU3RCklMEElN0Qp",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;id&#x27;</span>, <span class="hljs-string">&#x27;translation&#x27;</span>],
        num_rows: <span class="hljs-number">189155</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;id&#x27;</span>, <span class="hljs-string">&#x27;translation&#x27;</span>],
        num_rows: <span class="hljs-number">21018</span>
    })
})`,wrap:!1}}),el=new w({props:{code:"c3BsaXRfZGF0YXNldHMlNUIlMjJ2YWxpZGF0aW9uJTIyJTVEJTIwJTNEJTIwc3BsaXRfZGF0YXNldHMucG9wKCUyMnRlc3QlMjIp",highlighted:'split_datasets[<span class="hljs-string">&quot;validation&quot;</span>] = split_datasets.pop(<span class="hljs-string">&quot;test&quot;</span>)',wrap:!1}}),al=new w({props:{code:"c3BsaXRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjElNUQlNUIlMjJ0cmFuc2xhdGlvbiUyMiU1RA==",highlighted:'split_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">1</span>][<span class="hljs-string">&quot;translation&quot;</span>]',wrap:!1}}),cl=new w({props:{code:"JTdCJ2VuJyUzQSUyMCdEZWZhdWx0JTIwdG8lMjBleHBhbmRlZCUyMHRocmVhZHMnJTJDJTBBJTIwJ2ZyJyUzQSUyMCdQYXIlMjBkJUMzJUE5ZmF1dCUyQyUyMGQlQzMlQTl2ZWxvcHBlciUyMGxlcyUyMGZpbHMlMjBkZSUyMGRpc2N1c3Npb24nJTdE",highlighted:`{<span class="hljs-string">&#x27;en&#x27;</span>: <span class="hljs-string">&#x27;Default to expanded threads&#x27;</span>,
 <span class="hljs-string">&#x27;fr&#x27;</span>: <span class="hljs-string">&#x27;Par défaut, développer les fils de discussion&#x27;</span>}`,wrap:!1}}),il=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBbW9kZWxfY2hlY2twb2ludCUyMCUzRCUyMCUyMkhlbHNpbmtpLU5MUCUyRm9wdXMtbXQtZW4tZnIlMjIlMEF0cmFuc2xhdG9yJTIwJTNEJTIwcGlwZWxpbmUoJTIydHJhbnNsYXRpb24lMjIlMkMlMjBtb2RlbCUzRG1vZGVsX2NoZWNrcG9pbnQpJTBBdHJhbnNsYXRvciglMjJEZWZhdWx0JTIwdG8lMjBleHBhbmRlZCUyMHRocmVhZHMlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

model_checkpoint = <span class="hljs-string">&quot;Helsinki-NLP/opus-mt-en-fr&quot;</span>
translator = pipeline(<span class="hljs-string">&quot;translation&quot;</span>, model=model_checkpoint)
translator(<span class="hljs-string">&quot;Default to expanded threads&quot;</span>)`,wrap:!1}}),pl=new w({props:{code:"JTVCJTdCJ3RyYW5zbGF0aW9uX3RleHQnJTNBJTIwJ1BhciUyMGQlQzMlQTlmYXV0JTIwcG91ciUyMGxlcyUyMHRocmVhZHMlMjAlQzMlQTlsYXJnaXMnJTdEJTVE",highlighted:'[{<span class="hljs-string">&#x27;translation_text&#x27;</span>: <span class="hljs-string">&#x27;Par défaut pour les threads élargis&#x27;</span>}]',wrap:!1}}),rl=new w({props:{code:"c3BsaXRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjE3MiU1RCU1QiUyMnRyYW5zbGF0aW9uJTIyJTVE",highlighted:'split_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">172</span>][<span class="hljs-string">&quot;translation&quot;</span>]',wrap:!1}}),ml=new w({props:{code:"JTdCJ2VuJyUzQSUyMCdVbmFibGUlMjB0byUyMGltcG9ydCUyMCUyNTElMjB1c2luZyUyMHRoZSUyME9GWCUyMGltcG9ydGVyJTIwcGx1Z2luLiUyMFRoaXMlMjBmaWxlJTIwaXMlMjBub3QlMjB0aGUlMjBjb3JyZWN0JTIwZm9ybWF0LiclMkMlMEElMjAnZnInJTNBJTIwJTIySW1wb3NzaWJsZSUyMGQnaW1wb3J0ZXIlMjAlMjUxJTIwZW4lMjB1dGlsaXNhbnQlMjBsZSUyMG1vZHVsZSUyMGQnZXh0ZW5zaW9uJTIwZCdpbXBvcnRhdGlvbiUyME9GWC4lMjBDZSUyMGZpY2hpZXIlMjBuJ2ElMjBwYXMlMjB1biUyMGZvcm1hdCUyMGNvcnJlY3QuJTIyJTdE",highlighted:`{<span class="hljs-string">&#x27;en&#x27;</span>: <span class="hljs-string">&#x27;Unable to import %1 using the OFX importer plugin. This file is not the correct format.&#x27;</span>,
 <span class="hljs-string">&#x27;fr&#x27;</span>: <span class="hljs-string">&quot;Impossible d&#x27;importer %1 en utilisant le module d&#x27;extension d&#x27;importation OFX. Ce fichier n&#x27;a pas un format correct.&quot;</span>}`,wrap:!1}}),ul=new w({props:{code:"dHJhbnNsYXRvciglMEElMjAlMjAlMjAlMjAlMjJVbmFibGUlMjB0byUyMGltcG9ydCUyMCUyNTElMjB1c2luZyUyMHRoZSUyME9GWCUyMGltcG9ydGVyJTIwcGx1Z2luLiUyMFRoaXMlMjBmaWxlJTIwaXMlMjBub3QlMjB0aGUlMjBjb3JyZWN0JTIwZm9ybWF0LiUyMiUwQSk=",highlighted:`translator(
    <span class="hljs-string">&quot;Unable to import %1 using the OFX importer plugin. This file is not the correct format.&quot;</span>
)`,wrap:!1}}),ol=new w({props:{code:"JTVCJTdCJ3RyYW5zbGF0aW9uX3RleHQnJTNBJTIwJTIySW1wb3NzaWJsZSUyMGQnaW1wb3J0ZXIlMjAlMjUxJTIwZW4lMjB1dGlsaXNhbnQlMjBsZSUyMHBsdWdpbiUyMGQnaW1wb3J0YXRldXIlMjBPRlguJTIwQ2UlMjBmaWNoaWVyJTIwbidlc3QlMjBwYXMlMjBsZSUyMGJvbiUyMGZvcm1hdC4lMjIlN0QlNUQ=",highlighted:'[{<span class="hljs-string">&#x27;translation_text&#x27;</span>: <span class="hljs-string">&quot;Impossible d&#x27;importer %1 en utilisant le plugin d&#x27;importateur OFX. Ce fichier n&#x27;est pas le bon format.&quot;</span>}]',wrap:!1}}),Tl=new Vs({props:{id:"0Oxphw4Q9fo"}}),Ln=new ll({props:{$$slots:{default:[cc]},$$scope:{ctx:v}}}),dl=new _n({props:{title:"Chuẩn bị dữ liệu",local:"chuẩn-bị-dữ-liệu",headingTag:"h3"}}),gl=new Vs({props:{id:"XAR8jnZZuUs"}}),bl=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFtb2RlbF9jaGVja3BvaW50JTIwJTNEJTIwJTIySGVsc2lua2ktTkxQJTJGb3B1cy1tdC1lbi1mciUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKG1vZGVsX2NoZWNrcG9pbnQlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnRmJTIyKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

model_checkpoint = <span class="hljs-string">&quot;Helsinki-NLP/opus-mt-en-fr&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),Pn=new ll({props:{$$slots:{default:[hc]},$$scope:{ctx:v}}}),kl=new w({props:{code:"d2l0aCUyMG9wZW4oZmlsZV9wYXRoKSUyMGFzJTIwZiUzQSUwQSUyMCUyMCUyMCUyMGNvbnRlbnQlMjAlM0QlMjBmLnJlYWQoKQ==",highlighted:`<span class="hljs-keyword">with</span> <span class="hljs-built_in">open</span>(file_path) <span class="hljs-keyword">as</span> f:
    content = f.<span class="hljs-built_in">read</span>()`,wrap:!1}}),vl=new w({props:{code:"ZW5fc2VudGVuY2UlMjAlM0QlMjBzcGxpdF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTVCMSU1RCU1QiUyMnRyYW5zbGF0aW9uJTIyJTVEJTVCJTIyZW4lMjIlNUQlMEFmcl9zZW50ZW5jZSUyMCUzRCUyMHNwbGl0X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIxJTVEJTVCJTIydHJhbnNsYXRpb24lMjIlNUQlNUIlMjJmciUyMiU1RCUwQSUwQWlucHV0cyUyMCUzRCUyMHRva2VuaXplcihlbl9zZW50ZW5jZSklMEF3aXRoJTIwdG9rZW5pemVyLmFzX3RhcmdldF90b2tlbml6ZXIoKSUzQSUwQSUyMCUyMCUyMCUyMHRhcmdldHMlMjAlM0QlMjB0b2tlbml6ZXIoZnJfc2VudGVuY2Up",highlighted:`en_sentence = split_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">1</span>][<span class="hljs-string">&quot;translation&quot;</span>][<span class="hljs-string">&quot;en&quot;</span>]
fr_sentence = split_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">1</span>][<span class="hljs-string">&quot;translation&quot;</span>][<span class="hljs-string">&quot;fr&quot;</span>]

inputs = tokenizer(en_sentence)
<span class="hljs-keyword">with</span> tokenizer.as_target_tokenizer():
    targets = tokenizer(fr_sentence)`,wrap:!1}}),_l=new w({props:{code:"d3JvbmdfdGFyZ2V0cyUyMCUzRCUyMHRva2VuaXplcihmcl9zZW50ZW5jZSklMEFwcmludCh0b2tlbml6ZXIuY29udmVydF9pZHNfdG9fdG9rZW5zKHdyb25nX3RhcmdldHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQpKSUwQXByaW50KHRva2VuaXplci5jb252ZXJ0X2lkc190b190b2tlbnModGFyZ2V0cyU1QiUyMmlucHV0X2lkcyUyMiU1RCkp",highlighted:`wrong_targets = tokenizer(fr_sentence)
<span class="hljs-built_in">print</span>(tokenizer.convert_ids_to_tokens(wrong_targets[<span class="hljs-string">&quot;input_ids&quot;</span>]))
<span class="hljs-built_in">print</span>(tokenizer.convert_ids_to_tokens(targets[<span class="hljs-string">&quot;input_ids&quot;</span>]))`,wrap:!1}}),xl=new w({props:{code:"JTVCJyVFMiU5NiU4MVBhciclMkMlMjAnJUUyJTk2JTgxZCVDMyVBOSclMkMlMjAnZiclMkMlMjAnYXV0JyUyQyUyMCclMkMnJTJDJTIwJyVFMiU5NiU4MWQlQzMlQTknJTJDJTIwJ3ZlJyUyQyUyMCdsb3AnJTJDJTIwJ3BlciclMkMlMjAnJUUyJTk2JTgxbGVzJyUyQyUyMCclRTIlOTYlODFmaWwnJTJDJTIwJ3MnJTJDJTIwJyVFMiU5NiU4MWRlJyUyQyUyMCclRTIlOTYlODFkaXNjdXNzaW9uJyUyQyUyMCclM0MlMkZzJTNFJyU1RCUwQSU1QiclRTIlOTYlODFQYXInJTJDJTIwJyVFMiU5NiU4MWQlQzMlQTlmYXV0JyUyQyUyMCclMkMnJTJDJTIwJyVFMiU5NiU4MWQlQzMlQTl2ZWxvcHBlciclMkMlMjAnJUUyJTk2JTgxbGVzJyUyQyUyMCclRTIlOTYlODFmaWxzJyUyQyUyMCclRTIlOTYlODFkZSclMkMlMjAnJUUyJTk2JTgxZGlzY3Vzc2lvbiclMkMlMjAnJTNDJTJGcyUzRSclNUQ=",highlighted:`[<span class="hljs-string">&#x27;▁Par&#x27;</span>, <span class="hljs-string">&#x27;▁dé&#x27;</span>, <span class="hljs-string">&#x27;f&#x27;</span>, <span class="hljs-string">&#x27;aut&#x27;</span>, <span class="hljs-string">&#x27;,&#x27;</span>, <span class="hljs-string">&#x27;▁dé&#x27;</span>, <span class="hljs-string">&#x27;ve&#x27;</span>, <span class="hljs-string">&#x27;lop&#x27;</span>, <span class="hljs-string">&#x27;per&#x27;</span>, <span class="hljs-string">&#x27;▁les&#x27;</span>, <span class="hljs-string">&#x27;▁fil&#x27;</span>, <span class="hljs-string">&#x27;s&#x27;</span>, <span class="hljs-string">&#x27;▁de&#x27;</span>, <span class="hljs-string">&#x27;▁discussion&#x27;</span>, <span class="hljs-string">&#x27;&lt;/s&gt;&#x27;</span>]
[<span class="hljs-string">&#x27;▁Par&#x27;</span>, <span class="hljs-string">&#x27;▁défaut&#x27;</span>, <span class="hljs-string">&#x27;,&#x27;</span>, <span class="hljs-string">&#x27;▁développer&#x27;</span>, <span class="hljs-string">&#x27;▁les&#x27;</span>, <span class="hljs-string">&#x27;▁fils&#x27;</span>, <span class="hljs-string">&#x27;▁de&#x27;</span>, <span class="hljs-string">&#x27;▁discussion&#x27;</span>, <span class="hljs-string">&#x27;&lt;/s&gt;&#x27;</span>]`,wrap:!1}}),Vl=new w({props:{code:"bWF4X2lucHV0X2xlbmd0aCUyMCUzRCUyMDEyOCUwQW1heF90YXJnZXRfbGVuZ3RoJTIwJTNEJTIwMTI4JTBBJTBBJTBBZGVmJTIwcHJlcHJvY2Vzc19mdW5jdGlvbihleGFtcGxlcyklM0ElMEElMjAlMjAlMjAlMjBpbnB1dHMlMjAlM0QlMjAlNUJleCU1QiUyMmVuJTIyJTVEJTIwZm9yJTIwZXglMjBpbiUyMGV4YW1wbGVzJTVCJTIydHJhbnNsYXRpb24lMjIlNUQlNUQlMEElMjAlMjAlMjAlMjB0YXJnZXRzJTIwJTNEJTIwJTVCZXglNUIlMjJmciUyMiU1RCUyMGZvciUyMGV4JTIwaW4lMjBleGFtcGxlcyU1QiUyMnRyYW5zbGF0aW9uJTIyJTVEJTVEJTBBJTIwJTIwJTIwJTIwbW9kZWxfaW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKGlucHV0cyUyQyUyMG1heF9sZW5ndGglM0RtYXhfaW5wdXRfbGVuZ3RoJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUpJTBBJTBBJTIwJTIwJTIwJTIwJTIzJTIwVGhpJUUxJUJBJUJGdCUyMGwlRTElQkElQURwJTIwdG9rZW5pemVyJTIwY2hvJTIwbmglQzMlQTNuJTBBJTIwJTIwJTIwJTIwd2l0aCUyMHRva2VuaXplci5hc190YXJnZXRfdG9rZW5pemVyKCklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsYWJlbHMlMjAlM0QlMjB0b2tlbml6ZXIodGFyZ2V0cyUyQyUyMG1heF9sZW5ndGglM0RtYXhfdGFyZ2V0X2xlbmd0aCUyQyUyMHRydW5jYXRpb24lM0RUcnVlKSUwQSUwQSUyMCUyMCUyMCUyMG1vZGVsX2lucHV0cyU1QiUyMmxhYmVscyUyMiU1RCUyMCUzRCUyMGxhYmVscyU1QiUyMmlucHV0X2lkcyUyMiU1RCUwQSUyMCUyMCUyMCUyMHJldHVybiUyMG1vZGVsX2lucHV0cw==",highlighted:`max_input_length = <span class="hljs-number">128</span>
max_target_length = <span class="hljs-number">128</span>


<span class="hljs-keyword">def</span> <span class="hljs-title function_">preprocess_function</span>(<span class="hljs-params">examples</span>):
    inputs = [ex[<span class="hljs-string">&quot;en&quot;</span>] <span class="hljs-keyword">for</span> ex <span class="hljs-keyword">in</span> examples[<span class="hljs-string">&quot;translation&quot;</span>]]
    targets = [ex[<span class="hljs-string">&quot;fr&quot;</span>] <span class="hljs-keyword">for</span> ex <span class="hljs-keyword">in</span> examples[<span class="hljs-string">&quot;translation&quot;</span>]]
    model_inputs = tokenizer(inputs, max_length=max_input_length, truncation=<span class="hljs-literal">True</span>)

    <span class="hljs-comment"># Thiết lập tokenizer cho nhãn</span>
    <span class="hljs-keyword">with</span> tokenizer.as_target_tokenizer():
        labels = tokenizer(targets, max_length=max_target_length, truncation=<span class="hljs-literal">True</span>)

    model_inputs[<span class="hljs-string">&quot;labels&quot;</span>] = labels[<span class="hljs-string">&quot;input_ids&quot;</span>]
    <span class="hljs-keyword">return</span> model_inputs`,wrap:!1}}),Kn=new ll({props:{$$slots:{default:[ic]},$$scope:{ctx:v}}}),On=new ll({props:{warning:!0,$$slots:{default:[pc]},$$scope:{ctx:v}}}),Nl=new w({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwc3BsaXRfZGF0YXNldHMubWFwKCUwQSUyMCUyMCUyMCUyMHByZXByb2Nlc3NfZnVuY3Rpb24lMkMlMEElMjAlMjAlMjAlMjBiYXRjaGVkJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMHJlbW92ZV9jb2x1bW5zJTNEc3BsaXRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RC5jb2x1bW5fbmFtZXMlMkMlMEEp",highlighted:`tokenized_datasets = split_datasets.<span class="hljs-built_in">map</span>(
    preprocess_function,
    batched=<span class="hljs-literal">True</span>,
    remove_columns=split_datasets[<span class="hljs-string">&quot;train&quot;</span>].column_names,
)`,wrap:!1}});const Za=[rc,Mc],Rt=[];function _a(n,e){return n[0]==="pt"?0:1}Rn=_a(v),Qn=Rt[Rn]=Za[Rn](v),Al=new _n({props:{title:"Đối chiếu dữ liệu",local:"đối-chiếu-dữ-liệu",headingTag:"h3"}});const xa=[uc,yc],Qt=[];function Ga(n,e){return n[0]==="pt"?0:1}Nn=Ga(v),Wn=Qt[Nn]=xa[Nn](v),Yl=new w({props:{code:"YmF0Y2glMjAlM0QlMjBkYXRhX2NvbGxhdG9yKCU1QnRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTVCaSU1RCUyMGZvciUyMGklMjBpbiUyMHJhbmdlKDElMkMlMjAzKSU1RCklMEFiYXRjaC5rZXlzKCk=",highlighted:`batch = data_collator([tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">1</span>, <span class="hljs-number">3</span>)])
batch.keys()`,wrap:!1}}),Fl=new w({props:{code:"ZGljdF9rZXlzKCU1QidhdHRlbnRpb25fbWFzayclMkMlMjAnaW5wdXRfaWRzJyUyQyUyMCdsYWJlbHMnJTJDJTIwJ2RlY29kZXJfaW5wdXRfaWRzJyU1RCk=",highlighted:'dict_keys([<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;labels&#x27;</span>, <span class="hljs-string">&#x27;decoder_input_ids&#x27;</span>])',wrap:!1}}),ql=new w({props:{code:"YmF0Y2glNUIlMjJsYWJlbHMlMjIlNUQ=",highlighted:'batch[<span class="hljs-string">&quot;labels&quot;</span>]',wrap:!1}}),Dl=new w({props:{code:"dGVuc29yKCU1QiU1QiUyMCUyMDU3NyUyQyUyMCUyMDU4OTElMkMlMjAlMjAlMjAlMjAlMjAyJTJDJTIwJTIwMzE4NCUyQyUyMCUyMCUyMCUyMDE2JTJDJTIwJTIwMjU0MiUyQyUyMCUyMCUyMCUyMCUyMDUlMkMlMjAlMjAxNzEwJTJDJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMC0xMDAlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAtMTAwJTJDJTIwJTIwLTEwMCUyQyUyMCUyMC0xMDAlMkMlMjAlMjAtMTAwJTJDJTIwJTIwLTEwMCUyQyUyMCUyMC0xMDAlNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlNUIlMjAxMjExJTJDJTIwJTIwJTIwJTIwJTIwMyUyQyUyMCUyMCUyMCUyMDQ5JTJDJTIwJTIwOTQwOSUyQyUyMCUyMDEyMTElMkMlMjAlMjAlMjAlMjAlMjAzJTJDJTIwMjkxNDAlMkMlMjAlMjAlMjA4MTclMkMlMjAlMjAzMTI0JTJDJTIwJTIwJTIwODE3JTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNTUwJTJDJTIwJTIwNzAzMiUyQyUyMCUyMDU4MjElMkMlMjAlMjA3OTA3JTJDJTIwMTI2NDklMkMlMjAlMjAlMjAlMjAlMjAwJTVEJTVEKQ==",highlighted:`tensor([[  <span class="hljs-number">577</span>,  <span class="hljs-number">5891</span>,     <span class="hljs-number">2</span>,  <span class="hljs-number">3184</span>,    <span class="hljs-number">16</span>,  <span class="hljs-number">2542</span>,     <span class="hljs-number">5</span>,  <span class="hljs-number">1710</span>,     <span class="hljs-number">0</span>,  -<span class="hljs-number">100</span>,
          -<span class="hljs-number">100</span>,  -<span class="hljs-number">100</span>,  -<span class="hljs-number">100</span>,  -<span class="hljs-number">100</span>,  -<span class="hljs-number">100</span>,  -<span class="hljs-number">100</span>],
        [ <span class="hljs-number">1211</span>,     <span class="hljs-number">3</span>,    <span class="hljs-number">49</span>,  <span class="hljs-number">9409</span>,  <span class="hljs-number">1211</span>,     <span class="hljs-number">3</span>, <span class="hljs-number">29140</span>,   <span class="hljs-number">817</span>,  <span class="hljs-number">3124</span>,   <span class="hljs-number">817</span>,
           <span class="hljs-number">550</span>,  <span class="hljs-number">7032</span>,  <span class="hljs-number">5821</span>,  <span class="hljs-number">7907</span>, <span class="hljs-number">12649</span>,     <span class="hljs-number">0</span>]])`,wrap:!1}}),Pl=new w({props:{code:"YmF0Y2glNUIlMjJkZWNvZGVyX2lucHV0X2lkcyUyMiU1RA==",highlighted:'batch[<span class="hljs-string">&quot;decoder_input_ids&quot;</span>]',wrap:!1}}),Kl=new w({props:{code:"dGVuc29yKCU1QiU1QjU5NTEzJTJDJTIwJTIwJTIwNTc3JTJDJTIwJTIwNTg5MSUyQyUyMCUyMCUyMCUyMCUyMDIlMkMlMjAlMjAzMTg0JTJDJTIwJTIwJTIwJTIwMTYlMkMlMjAlMjAyNTQyJTJDJTIwJTIwJTIwJTIwJTIwNSUyQyUyMCUyMDE3MTAlMkMlMjAlMjAlMjAlMjAlMjAwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNTk1MTMlMkMlMjA1OTUxMyUyQyUyMDU5NTEzJTJDJTIwNTk1MTMlMkMlMjA1OTUxMyUyQyUyMDU5NTEzJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTVCNTk1MTMlMkMlMjAlMjAxMjExJTJDJTIwJTIwJTIwJTIwJTIwMyUyQyUyMCUyMCUyMCUyMDQ5JTJDJTIwJTIwOTQwOSUyQyUyMCUyMDEyMTElMkMlMjAlMjAlMjAlMjAlMjAzJTJDJTIwMjkxNDAlMkMlMjAlMjAlMjA4MTclMkMlMjAlMjAzMTI0JTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwODE3JTJDJTIwJTIwJTIwNTUwJTJDJTIwJTIwNzAzMiUyQyUyMCUyMDU4MjElMkMlMjAlMjA3OTA3JTJDJTIwMTI2NDklNUQlNUQp",highlighted:`tensor([[<span class="hljs-number">59513</span>,   <span class="hljs-number">577</span>,  <span class="hljs-number">5891</span>,     <span class="hljs-number">2</span>,  <span class="hljs-number">3184</span>,    <span class="hljs-number">16</span>,  <span class="hljs-number">2542</span>,     <span class="hljs-number">5</span>,  <span class="hljs-number">1710</span>,     <span class="hljs-number">0</span>,
         <span class="hljs-number">59513</span>, <span class="hljs-number">59513</span>, <span class="hljs-number">59513</span>, <span class="hljs-number">59513</span>, <span class="hljs-number">59513</span>, <span class="hljs-number">59513</span>],
        [<span class="hljs-number">59513</span>,  <span class="hljs-number">1211</span>,     <span class="hljs-number">3</span>,    <span class="hljs-number">49</span>,  <span class="hljs-number">9409</span>,  <span class="hljs-number">1211</span>,     <span class="hljs-number">3</span>, <span class="hljs-number">29140</span>,   <span class="hljs-number">817</span>,  <span class="hljs-number">3124</span>,
           <span class="hljs-number">817</span>,   <span class="hljs-number">550</span>,  <span class="hljs-number">7032</span>,  <span class="hljs-number">5821</span>,  <span class="hljs-number">7907</span>, <span class="hljs-number">12649</span>]])`,wrap:!1}}),nt=new w({props:{code:"Zm9yJTIwaSUyMGluJTIwcmFuZ2UoMSUyQyUyMDMpJTNBJTBBJTIwJTIwJTIwJTIwcHJpbnQodG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUJpJTVEJTVCJTIybGFiZWxzJTIyJTVEKQ==",highlighted:`<span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">1</span>, <span class="hljs-number">3</span>):
    <span class="hljs-built_in">print</span>(tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i][<span class="hljs-string">&quot;labels&quot;</span>])`,wrap:!1}}),lt=new w({props:{code:"JTVCNTc3JTJDJTIwNTg5MSUyQyUyMDIlMkMlMjAzMTg0JTJDJTIwMTYlMkMlMjAyNTQyJTJDJTIwNSUyQyUyMDE3MTAlMkMlMjAwJTVEJTBBJTVCMTIxMSUyQyUyMDMlMkMlMjA0OSUyQyUyMDk0MDklMkMlMjAxMjExJTJDJTIwMyUyQyUyMDI5MTQwJTJDJTIwODE3JTJDJTIwMzEyNCUyQyUyMDgxNyUyQyUyMDU1MCUyQyUyMDcwMzIlMkMlMjA1ODIxJTJDJTIwNzkwNyUyQyUyMDEyNjQ5JTJDJTIwMCU1RA==",highlighted:`[<span class="hljs-number">577</span>, <span class="hljs-number">5891</span>, <span class="hljs-number">2</span>, <span class="hljs-number">3184</span>, <span class="hljs-number">16</span>, <span class="hljs-number">2542</span>, <span class="hljs-number">5</span>, <span class="hljs-number">1710</span>, <span class="hljs-number">0</span>]
[<span class="hljs-number">1211</span>, <span class="hljs-number">3</span>, <span class="hljs-number">49</span>, <span class="hljs-number">9409</span>, <span class="hljs-number">1211</span>, <span class="hljs-number">3</span>, <span class="hljs-number">29140</span>, <span class="hljs-number">817</span>, <span class="hljs-number">3124</span>, <span class="hljs-number">817</span>, <span class="hljs-number">550</span>, <span class="hljs-number">7032</span>, <span class="hljs-number">5821</span>, <span class="hljs-number">7907</span>, <span class="hljs-number">12649</span>, <span class="hljs-number">0</span>]`,wrap:!1}});const Ba=[Jc,oc],Nt=[];function Va(n,e){return n[0]==="pt"?0:1}Xn=Va(v),An=Nt[Xn]=Ba[Xn](v),tt=new _n({props:{title:"Thước đo",local:"thước-đo",headingTag:"h3"}}),et=new Vs({props:{id:"M05L1DhFqcw"}});let Un=v[0]==="pt"&&Sa();ct=new w({props:{code:"IXBpcCUyMGluc3RhbGwlMjBzYWNyZWJsZXU=",highlighted:"!pip install sacrebleu",wrap:!1}}),it=new w({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMnNhY3JlYmxldSUyMik=",highlighted:`<span class="hljs-keyword">import</span> evaluate

metric = evaluate.load(<span class="hljs-string">&quot;sacrebleu&quot;</span>)`,wrap:!1}}),rt=new w({props:{code:"cHJlZGljdGlvbnMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlMjJUaGlzJTIwcGx1Z2luJTIwbGV0cyUyMHlvdSUyMHRyYW5zbGF0ZSUyMHdlYiUyMHBhZ2VzJTIwYmV0d2VlbiUyMHNldmVyYWwlMjBsYW5ndWFnZXMlMjBhdXRvbWF0aWNhbGx5LiUyMiUwQSU1RCUwQXJlZmVyZW5jZXMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJUaGlzJTIwcGx1Z2luJTIwYWxsb3dzJTIweW91JTIwdG8lMjBhdXRvbWF0aWNhbGx5JTIwdHJhbnNsYXRlJTIwd2ViJTIwcGFnZXMlMjBiZXR3ZWVuJTIwc2V2ZXJhbCUyMGxhbmd1YWdlcy4lMjIlMEElMjAlMjAlMjAlMjAlNUQlMEElNUQlMEFtZXRyaWMuY29tcHV0ZShwcmVkaWN0aW9ucyUzRHByZWRpY3Rpb25zJTJDJTIwcmVmZXJlbmNlcyUzRHJlZmVyZW5jZXMp",highlighted:`predictions = [
    <span class="hljs-string">&quot;This plugin lets you translate web pages between several languages automatically.&quot;</span>
]
references = [
    [
        <span class="hljs-string">&quot;This plugin allows you to automatically translate web pages between several languages.&quot;</span>
    ]
]
metric.compute(predictions=predictions, references=references)`,wrap:!1}}),mt=new w({props:{code:"JTdCJ3Njb3JlJyUzQSUyMDQ2Ljc1MDQ2OTY4Mjk5MDE2NSUyQyUwQSUyMCdjb3VudHMnJTNBJTIwJTVCMTElMkMlMjA2JTJDJTIwNCUyQyUyMDMlNUQlMkMlMEElMjAndG90YWxzJyUzQSUyMCU1QjEyJTJDJTIwMTElMkMlMjAxMCUyQyUyMDklNUQlMkMlMEElMjAncHJlY2lzaW9ucyclM0ElMjAlNUI5MS42NyUyQyUyMDU0LjU0JTJDJTIwNDAuMCUyQyUyMDMzLjMzJTVEJTJDJTBBJTIwJ2JwJyUzQSUyMDAuOTIwMDQ0NDE0NjI5MzIzMyUyQyUwQSUyMCdzeXNfbGVuJyUzQSUyMDEyJTJDJTBBJTIwJ3JlZl9sZW4nJTNBJTIwMTMlN0Q=",highlighted:`{<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">46.750469682990165</span>,
 <span class="hljs-string">&#x27;counts&#x27;</span>: [<span class="hljs-number">11</span>, <span class="hljs-number">6</span>, <span class="hljs-number">4</span>, <span class="hljs-number">3</span>],
 <span class="hljs-string">&#x27;totals&#x27;</span>: [<span class="hljs-number">12</span>, <span class="hljs-number">11</span>, <span class="hljs-number">10</span>, <span class="hljs-number">9</span>],
 <span class="hljs-string">&#x27;precisions&#x27;</span>: [<span class="hljs-number">91.67</span>, <span class="hljs-number">54.54</span>, <span class="hljs-number">40.0</span>, <span class="hljs-number">33.33</span>],
 <span class="hljs-string">&#x27;bp&#x27;</span>: <span class="hljs-number">0.9200444146293233</span>,
 <span class="hljs-string">&#x27;sys_len&#x27;</span>: <span class="hljs-number">12</span>,
 <span class="hljs-string">&#x27;ref_len&#x27;</span>: <span class="hljs-number">13</span>}`,wrap:!1}}),ut=new w({props:{code:"cHJlZGljdGlvbnMlMjAlM0QlMjAlNUIlMjJUaGlzJTIwVGhpcyUyMFRoaXMlMjBUaGlzJTIyJTVEJTBBcmVmZXJlbmNlcyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMlRoaXMlMjBwbHVnaW4lMjBhbGxvd3MlMjB5b3UlMjB0byUyMGF1dG9tYXRpY2FsbHklMjB0cmFuc2xhdGUlMjB3ZWIlMjBwYWdlcyUyMGJldHdlZW4lMjBzZXZlcmFsJTIwbGFuZ3VhZ2VzLiUyMiUwQSUyMCUyMCUyMCUyMCU1RCUwQSU1RCUwQW1ldHJpYy5jb21wdXRlKHByZWRpY3Rpb25zJTNEcHJlZGljdGlvbnMlMkMlMjByZWZlcmVuY2VzJTNEcmVmZXJlbmNlcyk=",highlighted:`predictions = [<span class="hljs-string">&quot;This This This This&quot;</span>]
references = [
    [
        <span class="hljs-string">&quot;This plugin allows you to automatically translate web pages between several languages.&quot;</span>
    ]
]
metric.compute(predictions=predictions, references=references)`,wrap:!1}}),ot=new w({props:{code:"JTdCJ3Njb3JlJyUzQSUyMDEuNjgzNjAyNjkzMTY3Njg5JTJDJTBBJTIwJ2NvdW50cyclM0ElMjAlNUIxJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTVEJTJDJTBBJTIwJ3RvdGFscyclM0ElMjAlNUI0JTJDJTIwMyUyQyUyMDIlMkMlMjAxJTVEJTJDJTBBJTIwJ3ByZWNpc2lvbnMnJTNBJTIwJTVCMjUuMCUyQyUyMDE2LjY3JTJDJTIwMTIuNSUyQyUyMDEyLjUlNUQlMkMlMEElMjAnYnAnJTNBJTIwMC4xMDUzOTkyMjQ1NjE4NjQzMyUyQyUwQSUyMCdzeXNfbGVuJyUzQSUyMDQlMkMlMEElMjAncmVmX2xlbiclM0ElMjAxMyU3RA==",highlighted:`{<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">1.683602693167689</span>,
 <span class="hljs-string">&#x27;counts&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
 <span class="hljs-string">&#x27;totals&#x27;</span>: [<span class="hljs-number">4</span>, <span class="hljs-number">3</span>, <span class="hljs-number">2</span>, <span class="hljs-number">1</span>],
 <span class="hljs-string">&#x27;precisions&#x27;</span>: [<span class="hljs-number">25.0</span>, <span class="hljs-number">16.67</span>, <span class="hljs-number">12.5</span>, <span class="hljs-number">12.5</span>],
 <span class="hljs-string">&#x27;bp&#x27;</span>: <span class="hljs-number">0.10539922456186433</span>,
 <span class="hljs-string">&#x27;sys_len&#x27;</span>: <span class="hljs-number">4</span>,
 <span class="hljs-string">&#x27;ref_len&#x27;</span>: <span class="hljs-number">13</span>}`,wrap:!1}}),Jt=new w({props:{code:"cHJlZGljdGlvbnMlMjAlM0QlMjAlNUIlMjJUaGlzJTIwcGx1Z2luJTIyJTVEJTBBcmVmZXJlbmNlcyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMlRoaXMlMjBwbHVnaW4lMjBhbGxvd3MlMjB5b3UlMjB0byUyMGF1dG9tYXRpY2FsbHklMjB0cmFuc2xhdGUlMjB3ZWIlMjBwYWdlcyUyMGJldHdlZW4lMjBzZXZlcmFsJTIwbGFuZ3VhZ2VzLiUyMiUwQSUyMCUyMCUyMCUyMCU1RCUwQSU1RCUwQW1ldHJpYy5jb21wdXRlKHByZWRpY3Rpb25zJTNEcHJlZGljdGlvbnMlMkMlMjByZWZlcmVuY2VzJTNEcmVmZXJlbmNlcyk=",highlighted:`predictions = [<span class="hljs-string">&quot;This plugin&quot;</span>]
references = [
    [
        <span class="hljs-string">&quot;This plugin allows you to automatically translate web pages between several languages.&quot;</span>
    ]
]
metric.compute(predictions=predictions, references=references)`,wrap:!1}}),Tt=new w({props:{code:"JTdCJ3Njb3JlJyUzQSUyMDAuMCUyQyUwQSUyMCdjb3VudHMnJTNBJTIwJTVCMiUyQyUyMDElMkMlMjAwJTJDJTIwMCU1RCUyQyUwQSUyMCd0b3RhbHMnJTNBJTIwJTVCMiUyQyUyMDElMkMlMjAwJTJDJTIwMCU1RCUyQyUwQSUyMCdwcmVjaXNpb25zJyUzQSUyMCU1QjEwMC4wJTJDJTIwMTAwLjAlMkMlMjAwLjAlMkMlMjAwLjAlNUQlMkMlMEElMjAnYnAnJTNBJTIwMC4wMDQwODY3NzE0Mzg0NjQwNjclMkMlMEElMjAnc3lzX2xlbiclM0ElMjAyJTJDJTBBJTIwJ3JlZl9sZW4nJTNBJTIwMTMlN0Q=",highlighted:`{<span class="hljs-string">&#x27;score&#x27;</span>: <span class="hljs-number">0.0</span>,
 <span class="hljs-string">&#x27;counts&#x27;</span>: [<span class="hljs-number">2</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
 <span class="hljs-string">&#x27;totals&#x27;</span>: [<span class="hljs-number">2</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
 <span class="hljs-string">&#x27;precisions&#x27;</span>: [<span class="hljs-number">100.0</span>, <span class="hljs-number">100.0</span>, <span class="hljs-number">0.0</span>, <span class="hljs-number">0.0</span>],
 <span class="hljs-string">&#x27;bp&#x27;</span>: <span class="hljs-number">0.004086771438464067</span>,
 <span class="hljs-string">&#x27;sys_len&#x27;</span>: <span class="hljs-number">2</span>,
 <span class="hljs-string">&#x27;ref_len&#x27;</span>: <span class="hljs-number">13</span>}`,wrap:!1}});const Ra=[dc,Tc],Wt=[];function Qa(n,e){return n[0]==="tf"?0:1}zn=Qa(v),En=Wt[zn]=Ra[zn](v),Ut=new _n({props:{title:"Tinh chỉnh mô hình",local:"tinh-chỉnh-mô-hình",headingTag:"h3"}}),jt=new w({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),kt=new w({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}});const Na=[Uc,gc],Xt=[];function Wa(n,e){return n[0]==="tf"?0:1}Hn=Wa(v),Yn=Xt[Hn]=Na[Hn](v);let cn=v[0]==="pt"&&qa();return Ct=new _n({props:{title:"Sử dụng mô hình tinh chỉnh",local:"sử-dụng-mô-hình-tinh-chỉnh",headingTag:"h2"}}),$t=new w({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBJTIzJTIwVGhheSUyMG4lQzMlQjMlMjB2JUUxJUJCJTlCaSUyMGNoZWNrcG9pbnQlMjBjJUUxJUJCJUE3YSUyMGIlRTElQkElQTFuJTBBbW9kZWxfY2hlY2twb2ludCUyMCUzRCUyMCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRm1hcmlhbi1maW5ldHVuZWQta2RlNC1lbi10by1mciUyMiUwQXRyYW5zbGF0b3IlMjAlM0QlMjBwaXBlbGluZSglMjJ0cmFuc2xhdGlvbiUyMiUyQyUyMG1vZGVsJTNEbW9kZWxfY2hlY2twb2ludCklMEF0cmFuc2xhdG9yKCUyMkRlZmF1bHQlMjB0byUyMGV4cGFuZGVkJTIwdGhyZWFkcyUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

<span class="hljs-comment"># Thay nó với checkpoint của bạn</span>
model_checkpoint = <span class="hljs-string">&quot;huggingface-course/marian-finetuned-kde4-en-to-fr&quot;</span>
translator = pipeline(<span class="hljs-string">&quot;translation&quot;</span>, model=model_checkpoint)
translator(<span class="hljs-string">&quot;Default to expanded threads&quot;</span>)`,wrap:!1}}),vt=new w({props:{code:"JTVCJTdCJ3RyYW5zbGF0aW9uX3RleHQnJTNBJTIwJ1BhciUyMGQlQzMlQTlmYXV0JTJDJTIwZCVDMyVBOXZlbG9wcGVyJTIwbGVzJTIwZmlscyUyMGRlJTIwZGlzY3Vzc2lvbiclN0QlNUQ=",highlighted:'[{<span class="hljs-string">&#x27;translation_text&#x27;</span>: <span class="hljs-string">&#x27;Par défaut, développer les fils de discussion&#x27;</span>}]',wrap:!1}}),_t=new w({props:{code:"dHJhbnNsYXRvciglMEElMjAlMjAlMjAlMjAlMjJVbmFibGUlMjB0byUyMGltcG9ydCUyMCUyNTElMjB1c2luZyUyMHRoZSUyME9GWCUyMGltcG9ydGVyJTIwcGx1Z2luLiUyMFRoaXMlMjBmaWxlJTIwaXMlMjBub3QlMjB0aGUlMjBjb3JyZWN0JTIwZm9ybWF0LiUyMiUwQSk=",highlighted:`translator(
    <span class="hljs-string">&quot;Unable to import %1 using the OFX importer plugin. This file is not the correct format.&quot;</span>
)`,wrap:!1}}),xt=new w({props:{code:"JTVCJTdCJ3RyYW5zbGF0aW9uX3RleHQnJTNBJTIwJTIySW1wb3NzaWJsZSUyMGQnaW1wb3J0ZXIlMjAlMjUxJTIwZW4lMjB1dGlsaXNhbnQlMjBsZSUyMG1vZHVsZSUyMGV4dGVybmUlMjBkJ2ltcG9ydGF0aW9uJTIwT0ZYLiUyMENlJTIwZmljaGllciUyMG4nZXN0JTIwcGFzJTIwbGUlMjBib24lMjBmb3JtYXQuJTIyJTdEJTVE",highlighted:'[{<span class="hljs-string">&#x27;translation_text&#x27;</span>: <span class="hljs-string">&quot;Impossible d&#x27;importer %1 en utilisant le module externe d&#x27;importation OFX. Ce fichier n&#x27;est pas le bon format.&quot;</span>}]',wrap:!1}}),nl=new ll({props:{$$slots:{default:[wc]},$$scope:{ctx:v}}}),Bt=new ec({props:{source:"https://github.com/huggingface/course/blob/main/chapters/vi/chapter7/4.mdx"}}),{c(){c=m("meta"),j=s(),i=m("p"),b=s(),u($.$$.fragment),g=s(),u(Z.$$.fragment),_=s(),I.c(),f=s(),B=m("p"),B.innerHTML=O,on=s(),X=m("ul"),X.innerHTML=H,L=s(),u(N.$$.fragment),Jn=s(),A=m("p"),A.innerHTML=Y,P=s(),W=m("p"),W.innerHTML=$n,K=s(),R=m("p"),R.textContent=nn,z=s(),V=m("iframe"),ln=s(),Q=m("a"),Q.innerHTML=U,G=s(),tn=m("p"),tn.innerHTML=Tn,mn=s(),u(pn.$$.fragment),bn=s(),F=m("p"),F.innerHTML=qn,jn=s(),u(S.$$.fragment),wn=s(),q=m("p"),q.innerHTML=Fn,yn=s(),u(Mn.$$.fragment),fn=s(),D=m("p"),D.innerHTML=Dn,kn=s(),E=m("img"),en=s(),vn=m("p"),vn.textContent=Gn,sn=s(),u(dn.$$.fragment),un=s(),u(rn.$$.fragment),Bn=s(),an=m("p"),an.innerHTML=Zn,Cn=s(),u(p.$$.fragment),C=s(),u(gn.$$.fragment),tl=s(),Vn=m("p"),Vn.innerHTML=h,k=s(),u(el.$$.fragment),Pt=s(),sl=m("p"),sl.textContent=Es,Kt=s(),u(al.$$.fragment),Ot=s(),u(cl.$$.fragment),ne=s(),hl=m("p"),hl.textContent=Hs,le=s(),u(il.$$.fragment),te=s(),u(pl.$$.fragment),ee=s(),Ml=m("p"),Ml.textContent=Ys,se=s(),u(rl.$$.fragment),ae=s(),u(ml.$$.fragment),ce=s(),yl=m("p"),yl.textContent=Fs,he=s(),u(ul.$$.fragment),ie=s(),u(ol.$$.fragment),pe=s(),Jl=m("p"),Jl.textContent=Ss,Me=s(),u(Tl.$$.fragment),re=s(),u(Ln.$$.fragment),me=s(),u(dl.$$.fragment),ye=s(),u(gl.$$.fragment),ue=s(),Ul=m("p"),Ul.innerHTML=qs,oe=s(),u(bl.$$.fragment),Je=s(),jl=m("p"),jl.innerHTML=Ds,Te=s(),u(Pn.$$.fragment),de=s(),wl=m("p"),wl.innerHTML=Ls,ge=s(),fl=m("p"),fl.innerHTML=Ps,Ue=s(),u(kl.$$.fragment),be=s(),Cl=m("p"),Cl.innerHTML=Ks,je=s(),Il=m("p"),Il.innerHTML=Os,we=s(),$l=m("p"),$l.textContent=na,fe=s(),u(vl.$$.fragment),ke=s(),Zl=m("p"),Zl.textContent=la,Ce=s(),u(_l.$$.fragment),Ie=s(),u(xl.$$.fragment),$e=s(),Gl=m("p"),Gl.textContent=ta,ve=s(),Bl=m("p"),Bl.innerHTML=ea,Ze=s(),u(Vl.$$.fragment),_e=s(),Rl=m("p"),Rl.textContent=sa,xe=s(),u(Kn.$$.fragment),Ge=s(),u(On.$$.fragment),Be=s(),Ql=m("p"),Ql.textContent=aa,Ve=s(),u(Nl.$$.fragment),Re=s(),Wl=m("p"),Wl.textContent=ca,Qe=s(),Qn.c(),Et=s(),Xl=m("p"),Xl.textContent=ha,Ne=s(),u(Al.$$.fragment),We=s(),zl=m("p"),zl.innerHTML=ia,Xe=s(),El=m("p"),El.innerHTML=pa,Ae=s(),Wn.c(),Ht=s(),Hl=m("p"),Hl.textContent=Ma,ze=s(),u(Yl.$$.fragment),Ee=s(),u(Fl.$$.fragment),He=s(),Sl=m("p"),Sl.innerHTML=ra,Ye=s(),u(ql.$$.fragment),Fe=s(),u(Dl.$$.fragment),Se=s(),Ll=m("p"),Ll.textContent=ma,qe=s(),u(Pl.$$.fragment),De=s(),u(Kl.$$.fragment),Le=s(),Ol=m("p"),Ol.textContent=ya,Pe=s(),u(nt.$$.fragment),Ke=s(),u(lt.$$.fragment),Oe=s(),An.c(),Yt=s(),u(tt.$$.fragment),ns=s(),u(et.$$.fragment),ls=s(),Un&&Un.c(),Ft=s(),st=m("p"),st.innerHTML=ua,ts=s(),at=m("p"),at.innerHTML=oa,es=s(),u(ct.$$.fragment),ss=s(),ht=m("p"),ht.innerHTML=Ja,as=s(),u(it.$$.fragment),cs=s(),pt=m("p"),pt.textContent=Ta,hs=s(),Mt=m("p"),Mt.textContent=da,is=s(),u(rt.$$.fragment),ps=s(),u(mt.$$.fragment),Ms=s(),yt=m("p"),yt.innerHTML=ga,rs=s(),u(ut.$$.fragment),ms=s(),u(ot.$$.fragment),ys=s(),u(Jt.$$.fragment),us=s(),u(Tt.$$.fragment),os=s(),dt=m("p"),dt.textContent=Ua,Js=s(),En.c(),St=s(),gt=m("p"),gt.textContent=ba,Ts=s(),u(Ut.$$.fragment),ds=s(),bt=m("p"),bt.textContent=ja,gs=s(),u(jt.$$.fragment),Us=s(),wt=m("p"),wt.textContent=wa,bs=s(),ft=m("p"),ft.textContent=fa,js=s(),u(kt.$$.fragment),ws=s(),Yn.c(),qt=s(),cn&&cn.c(),Dt=s(),u(Ct.$$.fragment),fs=s(),It=m("p"),It.innerHTML=ka,ks=s(),u($t.$$.fragment),Cs=s(),u(vt.$$.fragment),Is=s(),Zt=m("p"),Zt.textContent=Ca,$s=s(),u(_t.$$.fragment),vs=s(),u(xt.$$.fragment),Zs=s(),Gt=m("p"),Gt.textContent=Ia,_s=s(),u(nl.$$.fragment),xs=s(),u(Bt.$$.fragment),Gs=s(),Lt=m("p"),this.h()},l(n){const e=nc("svelte-u9bgzb",document.head);c=y(e,"META",{name:!0,content:!0}),e.forEach(l),j=a(n),i=y(n,"P",{}),zs(i).forEach(l),b=a(n),o($.$$.fragment,n),g=a(n),o(Z.$$.fragment,n),_=a(n),I.l(n),f=a(n),B=y(n,"P",{"data-svelte-h":!0}),d(B)!=="svelte-n1m2s9"&&(B.innerHTML=O),on=a(n),X=y(n,"UL",{"data-svelte-h":!0}),d(X)!=="svelte-1fd3jnf"&&(X.innerHTML=H),L=a(n),o(N.$$.fragment,n),Jn=a(n),A=y(n,"P",{"data-svelte-h":!0}),d(A)!=="svelte-6l8434"&&(A.innerHTML=Y),P=a(n),W=y(n,"P",{"data-svelte-h":!0}),d(W)!=="svelte-8ua662"&&(W.innerHTML=$n),K=a(n),R=y(n,"P",{"data-svelte-h":!0}),d(R)!=="svelte-nmfn4o"&&(R.textContent=nn),z=a(n),V=y(n,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),zs(V).forEach(l),ln=a(n),Q=y(n,"A",{class:!0,href:!0,"data-svelte-h":!0}),d(Q)!=="svelte-1ifl6xg"&&(Q.innerHTML=U),G=a(n),tn=y(n,"P",{"data-svelte-h":!0}),d(tn)!=="svelte-1jr42ed"&&(tn.innerHTML=Tn),mn=a(n),o(pn.$$.fragment,n),bn=a(n),F=y(n,"P",{"data-svelte-h":!0}),d(F)!=="svelte-kcznsg"&&(F.innerHTML=qn),jn=a(n),o(S.$$.fragment,n),wn=a(n),q=y(n,"P",{"data-svelte-h":!0}),d(q)!=="svelte-8sa60j"&&(q.innerHTML=Fn),yn=a(n),o(Mn.$$.fragment,n),fn=a(n),D=y(n,"P",{"data-svelte-h":!0}),d(D)!=="svelte-rbpyj8"&&(D.innerHTML=Dn),kn=a(n),E=y(n,"IMG",{src:!0,alt:!0,width:!0}),en=a(n),vn=y(n,"P",{"data-svelte-h":!0}),d(vn)!=="svelte-19orh71"&&(vn.textContent=Gn),sn=a(n),o(dn.$$.fragment,n),un=a(n),o(rn.$$.fragment,n),Bn=a(n),an=y(n,"P",{"data-svelte-h":!0}),d(an)!=="svelte-1xvp1i4"&&(an.innerHTML=Zn),Cn=a(n),o(p.$$.fragment,n),C=a(n),o(gn.$$.fragment,n),tl=a(n),Vn=y(n,"P",{"data-svelte-h":!0}),d(Vn)!=="svelte-n2rga5"&&(Vn.innerHTML=h),k=a(n),o(el.$$.fragment,n),Pt=a(n),sl=y(n,"P",{"data-svelte-h":!0}),d(sl)!=="svelte-1d5bfc8"&&(sl.textContent=Es),Kt=a(n),o(al.$$.fragment,n),Ot=a(n),o(cl.$$.fragment,n),ne=a(n),hl=y(n,"P",{"data-svelte-h":!0}),d(hl)!=="svelte-pq1aa2"&&(hl.textContent=Hs),le=a(n),o(il.$$.fragment,n),te=a(n),o(pl.$$.fragment,n),ee=a(n),Ml=y(n,"P",{"data-svelte-h":!0}),d(Ml)!=="svelte-h3j9nt"&&(Ml.textContent=Ys),se=a(n),o(rl.$$.fragment,n),ae=a(n),o(ml.$$.fragment,n),ce=a(n),yl=y(n,"P",{"data-svelte-h":!0}),d(yl)!=="svelte-uzxtb4"&&(yl.textContent=Fs),he=a(n),o(ul.$$.fragment,n),ie=a(n),o(ol.$$.fragment,n),pe=a(n),Jl=y(n,"P",{"data-svelte-h":!0}),d(Jl)!=="svelte-3biz2k"&&(Jl.textContent=Ss),Me=a(n),o(Tl.$$.fragment,n),re=a(n),o(Ln.$$.fragment,n),me=a(n),o(dl.$$.fragment,n),ye=a(n),o(gl.$$.fragment,n),ue=a(n),Ul=y(n,"P",{"data-svelte-h":!0}),d(Ul)!=="svelte-165v2ul"&&(Ul.innerHTML=qs),oe=a(n),o(bl.$$.fragment,n),Je=a(n),jl=y(n,"P",{"data-svelte-h":!0}),d(jl)!=="svelte-1akd2n2"&&(jl.innerHTML=Ds),Te=a(n),o(Pn.$$.fragment,n),de=a(n),wl=y(n,"P",{"data-svelte-h":!0}),d(wl)!=="svelte-yv5vrd"&&(wl.innerHTML=Ls),ge=a(n),fl=y(n,"P",{"data-svelte-h":!0}),d(fl)!=="svelte-1dnikek"&&(fl.innerHTML=Ps),Ue=a(n),o(kl.$$.fragment,n),be=a(n),Cl=y(n,"P",{"data-svelte-h":!0}),d(Cl)!=="svelte-1tcesqb"&&(Cl.innerHTML=Ks),je=a(n),Il=y(n,"P",{"data-svelte-h":!0}),d(Il)!=="svelte-l60m93"&&(Il.innerHTML=Os),we=a(n),$l=y(n,"P",{"data-svelte-h":!0}),d($l)!=="svelte-ce39ex"&&($l.textContent=na),fe=a(n),o(vl.$$.fragment,n),ke=a(n),Zl=y(n,"P",{"data-svelte-h":!0}),d(Zl)!=="svelte-i0l7xb"&&(Zl.textContent=la),Ce=a(n),o(_l.$$.fragment,n),Ie=a(n),o(xl.$$.fragment,n),$e=a(n),Gl=y(n,"P",{"data-svelte-h":!0}),d(Gl)!=="svelte-n1p1zr"&&(Gl.textContent=ta),ve=a(n),Bl=y(n,"P",{"data-svelte-h":!0}),d(Bl)!=="svelte-9z9mh7"&&(Bl.innerHTML=ea),Ze=a(n),o(Vl.$$.fragment,n),_e=a(n),Rl=y(n,"P",{"data-svelte-h":!0}),d(Rl)!=="svelte-18yll77"&&(Rl.textContent=sa),xe=a(n),o(Kn.$$.fragment,n),Ge=a(n),o(On.$$.fragment,n),Be=a(n),Ql=y(n,"P",{"data-svelte-h":!0}),d(Ql)!=="svelte-1wsc0yz"&&(Ql.textContent=aa),Ve=a(n),o(Nl.$$.fragment,n),Re=a(n),Wl=y(n,"P",{"data-svelte-h":!0}),d(Wl)!=="svelte-xwsbg3"&&(Wl.textContent=ca),Qe=a(n),Qn.l(n),Et=a(n),Xl=y(n,"P",{"data-svelte-h":!0}),d(Xl)!=="svelte-lyfnwi"&&(Xl.textContent=ha),Ne=a(n),o(Al.$$.fragment,n),We=a(n),zl=y(n,"P",{"data-svelte-h":!0}),d(zl)!=="svelte-1xcpdlw"&&(zl.innerHTML=ia),Xe=a(n),El=y(n,"P",{"data-svelte-h":!0}),d(El)!=="svelte-1yutq71"&&(El.innerHTML=pa),Ae=a(n),Wn.l(n),Ht=a(n),Hl=y(n,"P",{"data-svelte-h":!0}),d(Hl)!=="svelte-tp54x5"&&(Hl.textContent=Ma),ze=a(n),o(Yl.$$.fragment,n),Ee=a(n),o(Fl.$$.fragment,n),He=a(n),Sl=y(n,"P",{"data-svelte-h":!0}),d(Sl)!=="svelte-1lcbrts"&&(Sl.innerHTML=ra),Ye=a(n),o(ql.$$.fragment,n),Fe=a(n),o(Dl.$$.fragment,n),Se=a(n),Ll=y(n,"P",{"data-svelte-h":!0}),d(Ll)!=="svelte-1faic4p"&&(Ll.textContent=ma),qe=a(n),o(Pl.$$.fragment,n),De=a(n),o(Kl.$$.fragment,n),Le=a(n),Ol=y(n,"P",{"data-svelte-h":!0}),d(Ol)!=="svelte-1tianmv"&&(Ol.textContent=ya),Pe=a(n),o(nt.$$.fragment,n),Ke=a(n),o(lt.$$.fragment,n),Oe=a(n),An.l(n),Yt=a(n),o(tt.$$.fragment,n),ns=a(n),o(et.$$.fragment,n),ls=a(n),Un&&Un.l(n),Ft=a(n),st=y(n,"P",{"data-svelte-h":!0}),d(st)!=="svelte-zxyade"&&(st.innerHTML=ua),ts=a(n),at=y(n,"P",{"data-svelte-h":!0}),d(at)!=="svelte-gvjckf"&&(at.innerHTML=oa),es=a(n),o(ct.$$.fragment,n),ss=a(n),ht=y(n,"P",{"data-svelte-h":!0}),d(ht)!=="svelte-g2ncrc"&&(ht.innerHTML=Ja),as=a(n),o(it.$$.fragment,n),cs=a(n),pt=y(n,"P",{"data-svelte-h":!0}),d(pt)!=="svelte-4s9223"&&(pt.textContent=Ta),hs=a(n),Mt=y(n,"P",{"data-svelte-h":!0}),d(Mt)!=="svelte-1mw2cak"&&(Mt.textContent=da),is=a(n),o(rt.$$.fragment,n),ps=a(n),o(mt.$$.fragment,n),Ms=a(n),yt=y(n,"P",{"data-svelte-h":!0}),d(yt)!=="svelte-ynfd02"&&(yt.innerHTML=ga),rs=a(n),o(ut.$$.fragment,n),ms=a(n),o(ot.$$.fragment,n),ys=a(n),o(Jt.$$.fragment,n),us=a(n),o(Tt.$$.fragment,n),os=a(n),dt=y(n,"P",{"data-svelte-h":!0}),d(dt)!=="svelte-14v2pes"&&(dt.textContent=Ua),Js=a(n),En.l(n),St=a(n),gt=y(n,"P",{"data-svelte-h":!0}),d(gt)!=="svelte-18yqr5t"&&(gt.textContent=ba),Ts=a(n),o(Ut.$$.fragment,n),ds=a(n),bt=y(n,"P",{"data-svelte-h":!0}),d(bt)!=="svelte-70qsid"&&(bt.textContent=ja),gs=a(n),o(jt.$$.fragment,n),Us=a(n),wt=y(n,"P",{"data-svelte-h":!0}),d(wt)!=="svelte-nqz6ps"&&(wt.textContent=wa),bs=a(n),ft=y(n,"P",{"data-svelte-h":!0}),d(ft)!=="svelte-co4ylq"&&(ft.textContent=fa),js=a(n),o(kt.$$.fragment,n),ws=a(n),Yn.l(n),qt=a(n),cn&&cn.l(n),Dt=a(n),o(Ct.$$.fragment,n),fs=a(n),It=y(n,"P",{"data-svelte-h":!0}),d(It)!=="svelte-7jtect"&&(It.innerHTML=ka),ks=a(n),o($t.$$.fragment,n),Cs=a(n),o(vt.$$.fragment,n),Is=a(n),Zt=y(n,"P",{"data-svelte-h":!0}),d(Zt)!=="svelte-1k5t5jl"&&(Zt.textContent=Ca),$s=a(n),o(_t.$$.fragment,n),vs=a(n),o(xt.$$.fragment,n),Zs=a(n),Gt=y(n,"P",{"data-svelte-h":!0}),d(Gt)!=="svelte-1qyll4b"&&(Gt.textContent=Ia),_s=a(n),o(nl.$$.fragment,n),xs=a(n),o(Bt.$$.fragment,n),Gs=a(n),Lt=y(n,"P",{}),zs(Lt).forEach(l),this.h()},h(){In(c,"name","hf:doc:metadata"),In(c,"content",kc),Fa(V.src,hn="https://course-demos-marian-finetuned-kde4-en-to-fr.hf.space")||In(V,"src",hn),In(V,"frameborder","0"),In(V,"height","350"),In(V,"title","Gradio app"),In(V,"class","block dark:hidden container p-0 flex-grow space-iframe"),In(V,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),In(V,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),In(Q,"class","flex justify-center"),In(Q,"href","/huggingface-course/marian-finetuned-kde4-en-to-fr"),Fa(E.src,xn="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/language_tags.png")||In(E,"src",xn),In(E,"alt","Language available for the KDE4 dataset."),In(E,"width","100%")},m(n,e){lc(document.head,c),t(n,j,e),t(n,i,e),t(n,b,e),J($,n,e),t(n,g,e),J(Z,n,e),t(n,_,e),Vt[x].m(n,e),t(n,f,e),t(n,B,e),t(n,on,e),t(n,X,e),t(n,L,e),J(N,n,e),t(n,Jn,e),t(n,A,e),t(n,P,e),t(n,W,e),t(n,K,e),t(n,R,e),t(n,z,e),t(n,V,e),t(n,ln,e),t(n,Q,e),t(n,G,e),t(n,tn,e),t(n,mn,e),J(pn,n,e),t(n,bn,e),t(n,F,e),t(n,jn,e),J(S,n,e),t(n,wn,e),t(n,q,e),t(n,yn,e),J(Mn,n,e),t(n,fn,e),t(n,D,e),t(n,kn,e),t(n,E,e),t(n,en,e),t(n,vn,e),t(n,sn,e),J(dn,n,e),t(n,un,e),J(rn,n,e),t(n,Bn,e),t(n,an,e),t(n,Cn,e),J(p,n,e),t(n,C,e),J(gn,n,e),t(n,tl,e),t(n,Vn,e),t(n,k,e),J(el,n,e),t(n,Pt,e),t(n,sl,e),t(n,Kt,e),J(al,n,e),t(n,Ot,e),J(cl,n,e),t(n,ne,e),t(n,hl,e),t(n,le,e),J(il,n,e),t(n,te,e),J(pl,n,e),t(n,ee,e),t(n,Ml,e),t(n,se,e),J(rl,n,e),t(n,ae,e),J(ml,n,e),t(n,ce,e),t(n,yl,e),t(n,he,e),J(ul,n,e),t(n,ie,e),J(ol,n,e),t(n,pe,e),t(n,Jl,e),t(n,Me,e),J(Tl,n,e),t(n,re,e),J(Ln,n,e),t(n,me,e),J(dl,n,e),t(n,ye,e),J(gl,n,e),t(n,ue,e),t(n,Ul,e),t(n,oe,e),J(bl,n,e),t(n,Je,e),t(n,jl,e),t(n,Te,e),J(Pn,n,e),t(n,de,e),t(n,wl,e),t(n,ge,e),t(n,fl,e),t(n,Ue,e),J(kl,n,e),t(n,be,e),t(n,Cl,e),t(n,je,e),t(n,Il,e),t(n,we,e),t(n,$l,e),t(n,fe,e),J(vl,n,e),t(n,ke,e),t(n,Zl,e),t(n,Ce,e),J(_l,n,e),t(n,Ie,e),J(xl,n,e),t(n,$e,e),t(n,Gl,e),t(n,ve,e),t(n,Bl,e),t(n,Ze,e),J(Vl,n,e),t(n,_e,e),t(n,Rl,e),t(n,xe,e),J(Kn,n,e),t(n,Ge,e),J(On,n,e),t(n,Be,e),t(n,Ql,e),t(n,Ve,e),J(Nl,n,e),t(n,Re,e),t(n,Wl,e),t(n,Qe,e),Rt[Rn].m(n,e),t(n,Et,e),t(n,Xl,e),t(n,Ne,e),J(Al,n,e),t(n,We,e),t(n,zl,e),t(n,Xe,e),t(n,El,e),t(n,Ae,e),Qt[Nn].m(n,e),t(n,Ht,e),t(n,Hl,e),t(n,ze,e),J(Yl,n,e),t(n,Ee,e),J(Fl,n,e),t(n,He,e),t(n,Sl,e),t(n,Ye,e),J(ql,n,e),t(n,Fe,e),J(Dl,n,e),t(n,Se,e),t(n,Ll,e),t(n,qe,e),J(Pl,n,e),t(n,De,e),J(Kl,n,e),t(n,Le,e),t(n,Ol,e),t(n,Pe,e),J(nt,n,e),t(n,Ke,e),J(lt,n,e),t(n,Oe,e),Nt[Xn].m(n,e),t(n,Yt,e),J(tt,n,e),t(n,ns,e),J(et,n,e),t(n,ls,e),Un&&Un.m(n,e),t(n,Ft,e),t(n,st,e),t(n,ts,e),t(n,at,e),t(n,es,e),J(ct,n,e),t(n,ss,e),t(n,ht,e),t(n,as,e),J(it,n,e),t(n,cs,e),t(n,pt,e),t(n,hs,e),t(n,Mt,e),t(n,is,e),J(rt,n,e),t(n,ps,e),J(mt,n,e),t(n,Ms,e),t(n,yt,e),t(n,rs,e),J(ut,n,e),t(n,ms,e),J(ot,n,e),t(n,ys,e),J(Jt,n,e),t(n,us,e),J(Tt,n,e),t(n,os,e),t(n,dt,e),t(n,Js,e),Wt[zn].m(n,e),t(n,St,e),t(n,gt,e),t(n,Ts,e),J(Ut,n,e),t(n,ds,e),t(n,bt,e),t(n,gs,e),J(jt,n,e),t(n,Us,e),t(n,wt,e),t(n,bs,e),t(n,ft,e),t(n,js,e),J(kt,n,e),t(n,ws,e),Xt[Hn].m(n,e),t(n,qt,e),cn&&cn.m(n,e),t(n,Dt,e),J(Ct,n,e),t(n,fs,e),t(n,It,e),t(n,ks,e),J($t,n,e),t(n,Cs,e),J(vt,n,e),t(n,Is,e),t(n,Zt,e),t(n,$s,e),J(_t,n,e),t(n,vs,e),J(xt,n,e),t(n,Zs,e),t(n,Gt,e),t(n,_s,e),J(nl,n,e),t(n,xs,e),J(Bt,n,e),t(n,Gs,e),t(n,Lt,e),Bs=!0},p(n,[e]){const Xa={};e&1&&(Xa.fw=n[0]),$.$set(Xa);let Rs=x;x=va(n),x!==Rs&&(zt(),r(Vt[Rs],1,1,()=>{Vt[Rs]=null}),At(),I=Vt[x],I||(I=Vt[x]=$a[x](n),I.c()),M(I,1),I.m(f.parentNode,f));const Aa={};e&2&&(Aa.$$scope={dirty:e,ctx:n}),Ln.$set(Aa);const za={};e&2&&(za.$$scope={dirty:e,ctx:n}),Pn.$set(za);const Ea={};e&2&&(Ea.$$scope={dirty:e,ctx:n}),Kn.$set(Ea);const Ha={};e&2&&(Ha.$$scope={dirty:e,ctx:n}),On.$set(Ha);let Qs=Rn;Rn=_a(n),Rn!==Qs&&(zt(),r(Rt[Qs],1,1,()=>{Rt[Qs]=null}),At(),Qn=Rt[Rn],Qn||(Qn=Rt[Rn]=Za[Rn](n),Qn.c()),M(Qn,1),Qn.m(Et.parentNode,Et));let Ns=Nn;Nn=Ga(n),Nn!==Ns&&(zt(),r(Qt[Ns],1,1,()=>{Qt[Ns]=null}),At(),Wn=Qt[Nn],Wn||(Wn=Qt[Nn]=xa[Nn](n),Wn.c()),M(Wn,1),Wn.m(Ht.parentNode,Ht));let Ws=Xn;Xn=Va(n),Xn!==Ws&&(zt(),r(Nt[Ws],1,1,()=>{Nt[Ws]=null}),At(),An=Nt[Xn],An||(An=Nt[Xn]=Ba[Xn](n),An.c()),M(An,1),An.m(Yt.parentNode,Yt)),n[0]==="pt"?Un||(Un=Sa(),Un.c(),Un.m(Ft.parentNode,Ft)):Un&&(Un.d(1),Un=null);let Xs=zn;zn=Qa(n),zn!==Xs&&(zt(),r(Wt[Xs],1,1,()=>{Wt[Xs]=null}),At(),En=Wt[zn],En||(En=Wt[zn]=Ra[zn](n),En.c()),M(En,1),En.m(St.parentNode,St));let As=Hn;Hn=Wa(n),Hn!==As&&(zt(),r(Xt[As],1,1,()=>{Xt[As]=null}),At(),Yn=Xt[Hn],Yn||(Yn=Xt[Hn]=Na[Hn](n),Yn.c()),M(Yn,1),Yn.m(qt.parentNode,qt)),n[0]==="pt"?cn?e&1&&M(cn,1):(cn=qa(),cn.c(),M(cn,1),cn.m(Dt.parentNode,Dt)):cn&&(zt(),r(cn,1,1,()=>{cn=null}),At());const Ya={};e&2&&(Ya.$$scope={dirty:e,ctx:n}),nl.$set(Ya)},i(n){Bs||(M($.$$.fragment,n),M(Z.$$.fragment,n),M(I),M(N.$$.fragment,n),M(pn.$$.fragment,n),M(S.$$.fragment,n),M(Mn.$$.fragment,n),M(dn.$$.fragment,n),M(rn.$$.fragment,n),M(p.$$.fragment,n),M(gn.$$.fragment,n),M(el.$$.fragment,n),M(al.$$.fragment,n),M(cl.$$.fragment,n),M(il.$$.fragment,n),M(pl.$$.fragment,n),M(rl.$$.fragment,n),M(ml.$$.fragment,n),M(ul.$$.fragment,n),M(ol.$$.fragment,n),M(Tl.$$.fragment,n),M(Ln.$$.fragment,n),M(dl.$$.fragment,n),M(gl.$$.fragment,n),M(bl.$$.fragment,n),M(Pn.$$.fragment,n),M(kl.$$.fragment,n),M(vl.$$.fragment,n),M(_l.$$.fragment,n),M(xl.$$.fragment,n),M(Vl.$$.fragment,n),M(Kn.$$.fragment,n),M(On.$$.fragment,n),M(Nl.$$.fragment,n),M(Qn),M(Al.$$.fragment,n),M(Wn),M(Yl.$$.fragment,n),M(Fl.$$.fragment,n),M(ql.$$.fragment,n),M(Dl.$$.fragment,n),M(Pl.$$.fragment,n),M(Kl.$$.fragment,n),M(nt.$$.fragment,n),M(lt.$$.fragment,n),M(An),M(tt.$$.fragment,n),M(et.$$.fragment,n),M(ct.$$.fragment,n),M(it.$$.fragment,n),M(rt.$$.fragment,n),M(mt.$$.fragment,n),M(ut.$$.fragment,n),M(ot.$$.fragment,n),M(Jt.$$.fragment,n),M(Tt.$$.fragment,n),M(En),M(Ut.$$.fragment,n),M(jt.$$.fragment,n),M(kt.$$.fragment,n),M(Yn),M(cn),M(Ct.$$.fragment,n),M($t.$$.fragment,n),M(vt.$$.fragment,n),M(_t.$$.fragment,n),M(xt.$$.fragment,n),M(nl.$$.fragment,n),M(Bt.$$.fragment,n),Bs=!0)},o(n){r($.$$.fragment,n),r(Z.$$.fragment,n),r(I),r(N.$$.fragment,n),r(pn.$$.fragment,n),r(S.$$.fragment,n),r(Mn.$$.fragment,n),r(dn.$$.fragment,n),r(rn.$$.fragment,n),r(p.$$.fragment,n),r(gn.$$.fragment,n),r(el.$$.fragment,n),r(al.$$.fragment,n),r(cl.$$.fragment,n),r(il.$$.fragment,n),r(pl.$$.fragment,n),r(rl.$$.fragment,n),r(ml.$$.fragment,n),r(ul.$$.fragment,n),r(ol.$$.fragment,n),r(Tl.$$.fragment,n),r(Ln.$$.fragment,n),r(dl.$$.fragment,n),r(gl.$$.fragment,n),r(bl.$$.fragment,n),r(Pn.$$.fragment,n),r(kl.$$.fragment,n),r(vl.$$.fragment,n),r(_l.$$.fragment,n),r(xl.$$.fragment,n),r(Vl.$$.fragment,n),r(Kn.$$.fragment,n),r(On.$$.fragment,n),r(Nl.$$.fragment,n),r(Qn),r(Al.$$.fragment,n),r(Wn),r(Yl.$$.fragment,n),r(Fl.$$.fragment,n),r(ql.$$.fragment,n),r(Dl.$$.fragment,n),r(Pl.$$.fragment,n),r(Kl.$$.fragment,n),r(nt.$$.fragment,n),r(lt.$$.fragment,n),r(An),r(tt.$$.fragment,n),r(et.$$.fragment,n),r(ct.$$.fragment,n),r(it.$$.fragment,n),r(rt.$$.fragment,n),r(mt.$$.fragment,n),r(ut.$$.fragment,n),r(ot.$$.fragment,n),r(Jt.$$.fragment,n),r(Tt.$$.fragment,n),r(En),r(Ut.$$.fragment,n),r(jt.$$.fragment,n),r(kt.$$.fragment,n),r(Yn),r(cn),r(Ct.$$.fragment,n),r($t.$$.fragment,n),r(vt.$$.fragment,n),r(_t.$$.fragment,n),r(xt.$$.fragment,n),r(nl.$$.fragment,n),r(Bt.$$.fragment,n),Bs=!1},d(n){n&&(l(j),l(i),l(b),l(g),l(_),l(f),l(B),l(on),l(X),l(L),l(Jn),l(A),l(P),l(W),l(K),l(R),l(z),l(V),l(ln),l(Q),l(G),l(tn),l(mn),l(bn),l(F),l(jn),l(wn),l(q),l(yn),l(fn),l(D),l(kn),l(E),l(en),l(vn),l(sn),l(un),l(Bn),l(an),l(Cn),l(C),l(tl),l(Vn),l(k),l(Pt),l(sl),l(Kt),l(Ot),l(ne),l(hl),l(le),l(te),l(ee),l(Ml),l(se),l(ae),l(ce),l(yl),l(he),l(ie),l(pe),l(Jl),l(Me),l(re),l(me),l(ye),l(ue),l(Ul),l(oe),l(Je),l(jl),l(Te),l(de),l(wl),l(ge),l(fl),l(Ue),l(be),l(Cl),l(je),l(Il),l(we),l($l),l(fe),l(ke),l(Zl),l(Ce),l(Ie),l($e),l(Gl),l(ve),l(Bl),l(Ze),l(_e),l(Rl),l(xe),l(Ge),l(Be),l(Ql),l(Ve),l(Re),l(Wl),l(Qe),l(Et),l(Xl),l(Ne),l(We),l(zl),l(Xe),l(El),l(Ae),l(Ht),l(Hl),l(ze),l(Ee),l(He),l(Sl),l(Ye),l(Fe),l(Se),l(Ll),l(qe),l(De),l(Le),l(Ol),l(Pe),l(Ke),l(Oe),l(Yt),l(ns),l(ls),l(Ft),l(st),l(ts),l(at),l(es),l(ss),l(ht),l(as),l(cs),l(pt),l(hs),l(Mt),l(is),l(ps),l(Ms),l(yt),l(rs),l(ms),l(ys),l(us),l(os),l(dt),l(Js),l(St),l(gt),l(Ts),l(ds),l(bt),l(gs),l(Us),l(wt),l(bs),l(ft),l(js),l(ws),l(qt),l(Dt),l(fs),l(It),l(ks),l(Cs),l(Is),l(Zt),l($s),l(vs),l(Zs),l(Gt),l(_s),l(xs),l(Gs),l(Lt)),l(c),T($,n),T(Z,n),Vt[x].d(n),T(N,n),T(pn,n),T(S,n),T(Mn,n),T(dn,n),T(rn,n),T(p,n),T(gn,n),T(el,n),T(al,n),T(cl,n),T(il,n),T(pl,n),T(rl,n),T(ml,n),T(ul,n),T(ol,n),T(Tl,n),T(Ln,n),T(dl,n),T(gl,n),T(bl,n),T(Pn,n),T(kl,n),T(vl,n),T(_l,n),T(xl,n),T(Vl,n),T(Kn,n),T(On,n),T(Nl,n),Rt[Rn].d(n),T(Al,n),Qt[Nn].d(n),T(Yl,n),T(Fl,n),T(ql,n),T(Dl,n),T(Pl,n),T(Kl,n),T(nt,n),T(lt,n),Nt[Xn].d(n),T(tt,n),T(et,n),Un&&Un.d(n),T(ct,n),T(it,n),T(rt,n),T(mt,n),T(ut,n),T(ot,n),T(Jt,n),T(Tt,n),Wt[zn].d(n),T(Ut,n),T(jt,n),T(kt,n),Xt[Hn].d(n),cn&&cn.d(n),T(Ct,n),T($t,n),T(vt,n),T(_t,n),T(xt,n),T(nl,n),T(Bt,n)}}}const kc='{"title":"Dịch máy","local":"dịch-máy","sections":[{"title":"Chuẩn bị dữ liệu","local":"chuẩn-bị-dữ-liệu","sections":[{"title":"Bộ dữ liệu KDE4","local":"bộ-dữ-liệu-kde4","sections":[],"depth":3},{"title":"Chuẩn bị dữ liệu","local":"chuẩn-bị-dữ-liệu","sections":[],"depth":3}],"depth":2},{"title":"Tinh chỉnh mô hình với API Trainer","local":"tinh-chỉnh-mô-hình-với-api-trainer","sections":[],"depth":2},{"title":"Tinh chỉnh mô hình với Keras","local":"tinh-chỉnh-mô-hình-với-keras","sections":[{"title":"Đối chiếu dữ liệu","local":"đối-chiếu-dữ-liệu","sections":[],"depth":3},{"title":"Thước đo","local":"thước-đo","sections":[],"depth":3},{"title":"Tinh chỉnh mô hình","local":"tinh-chỉnh-mô-hình","sections":[],"depth":3}],"depth":2},{"title":"Một vòng huấn luyện tùy chỉnh","local":"một-vòng-huấn-luyện-tùy-chỉnh","sections":[{"title":"Chuẩn bị mọi thứ cho qua trình huấn luyện","local":"chuẩn-bị-mọi-thứ-cho-qua-trình-huấn-luyện","sections":[],"depth":3},{"title":"Vòng lặp huấn luyện","local":"vòng-lặp-huấn-luyện","sections":[],"depth":3}],"depth":2},{"title":"Sử dụng mô hình tinh chỉnh","local":"sử-dụng-mô-hình-tinh-chỉnh","sections":[],"depth":2}],"depth":1}';function Cc(v,c,j){let i="pt";return Pa(()=>{const b=new URLSearchParams(window.location.search);j(0,i=b.get("fw")||"pt")}),[i]}class Vc extends Ka{constructor(c){super(),Oa(this,c,Cc,fc,La,{})}}export{Vc as component};
