import{s as ae,f as ce,o as he,n as at}from"../chunks/scheduler.37c15a92.js";import{S as Me,i as pe,g as T,s as h,r as o,A as ie,h as w,f as t,c as M,j as Js,u as U,x as j,k as Rn,y as ye,a as e,v as J,t as y,b as il,d as i,w as d,e as le,p as yl}from"../chunks/index.2bf4358c.js";import{T as rl}from"../chunks/Tip.363c041f.js";import{Y as ds}from"../chunks/Youtube.1e50a667.js";import{C}from"../chunks/CodeBlock.4f5fc1ad.js";import{D as ee}from"../chunks/DocNotebookDropdown.d9dfeb24.js";import{F as re}from"../chunks/FrameworkSwitchCourse.8d4d4ab6.js";import{H as ut,E as me}from"../chunks/EditOnGithub.8916dc7c.js";function ue(f){let s,p;return s=new ee({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/vi/chapter7/section6_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/vi/chapter7/section6_tf.ipynb"}]}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function oe(f){let s,p;return s=new ee({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/vi/chapter7/section6_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/vi/chapter7/section6_pt.ipynb"}]}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function Ue(f){let s,p="Việc huấn luyện trước mô hình ngôn ngữ sẽ mất một lúc. Chúng tôi khuyên bạn trước tiên nên chạy vòng lặp huấn luyện trên một mẫu dữ liệu bằng cách bỏ chú thích hai dòng một phần ở trên và đảm bảo rằng quá trình huấn luyện hoàn tất thành công và các mô hình được lưu trữ. Không có gì khó chịu hơn là một lần chạy huấn luyện không thành công ở bước cuối cùng vì bạn quên tạo một thư mục hoặc vì có lỗi đánh máy ở cuối vòng lặp huấn luyện!";return{c(){s=T("p"),s.textContent=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-stgsnt"&&(s.textContent=p)},m(a,r){e(a,s,r)},p:at,d(a){a&&t(s)}}}function Je(f){let s,p="✏️ <strong>Thử nghiệm thôi!</strong> Loại bỏ tất cả các phần nhỏ hơn kích thước ngữ cảnh không phải là vấn đề lớn ở đây vì chúng ta đang sử dụng các cửa sổ ngữ cảnh nhỏ. Khi bạn tăng kích thước ngữ cảnh (hoặc nếu bạn có một kho tài liệu ngắn), phần nhỏ các phần bị vứt bỏ cũng sẽ tăng lên. Một cách hiệu quả hơn để chuẩn bị dữ liệu là kết hợp tất cả các mẫu được tokenize trong một lô với token <code>eos_token_id</code> ở giữa, và sau đó thực hiện phân đoạn trên các chuỗi được nối. Như một bài tập, hãy sửa đổi hàm <code>tokenize()</code> để sử dụng cách tiếp cận đó. Lưu ý rằng bạn sẽ muốn đặt <code>truncation=False</code> và xóa các tham số khác khỏi tokenizer để nhận được chuỗi đầy đủ của token ID.";return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-1rr8rmy"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},p:at,d(a){a&&t(s)}}}function de(f){let s,p,a,r="Với cấu hình đó, chúng ta có thể tải một mô hình mới. Lưu ý rằng đây là lần đầu tiên chúng ta không sử dụng hàm <code>from_pretrained()</code>, vì chúng ta thực sự đang khởi tạo một mô hình của chính chúng ta:",I,g,Z,v,_;return s=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBURkdQVDJMTUhlYWRNb2RlbCUyQyUyMEF1dG9Db25maWclMEElMEFjb25maWclMjAlM0QlMjBBdXRvQ29uZmlnLmZyb21fcHJldHJhaW5lZCglMEElMjAlMjAlMjAlMjAlMjJncHQyJTIyJTJDJTBBJTIwJTIwJTIwJTIwdm9jYWJfc2l6ZSUzRGxlbih0b2tlbml6ZXIpJTJDJTBBJTIwJTIwJTIwJTIwbl9jdHglM0Rjb250ZXh0X2xlbmd0aCUyQyUwQSUyMCUyMCUyMCUyMGJvc190b2tlbl9pZCUzRHRva2VuaXplci5ib3NfdG9rZW5faWQlMkMlMEElMjAlMjAlMjAlMjBlb3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuZW9zX3Rva2VuX2lkJTJDJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFGPT2LMHeadModel, AutoConfig

config = AutoConfig.from_pretrained(
    <span class="hljs-string">&quot;gpt2&quot;</span>,
    vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
    n_ctx=context_length,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),g=new C({props:{code:"bW9kZWwlMjAlM0QlMjBURkdQVDJMTUhlYWRNb2RlbChjb25maWcpJTBBbW9kZWwobW9kZWwuZHVtbXlfaW5wdXRzKSUyMCUyMCUyMyUyMFglQzMlQTJ5JTIwbSVDMyVCNCUyMGglQzMlQUNuaCUwQW1vZGVsLnN1bW1hcnkoKQ==",highlighted:`model = TFGPT2LMHeadModel(config)
model(model.dummy_inputs)  <span class="hljs-comment"># Xây mô hình</span>
model.summary()`,wrap:!1}}),v=new C({props:{code:"X19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX18lMEFMYXllciUyMCh0eXBlKSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyME91dHB1dCUyMFNoYXBlJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwUGFyYW0lMjAlMjMlMEElM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlM0QlMEF0cmFuc2Zvcm1lciUyMChURkdQVDJNYWluTGF5ZXIlMjBtdWx0aXBsZSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDEyNDI0MjQzMiUwQSUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUzRCUwQVRvdGFsJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBVHJhaW5hYmxlJTIwcGFyYW1zJTNBJTIwMTI0JTJDMjQyJTJDNDMyJTBBTm9uLXRyYWluYWJsZSUyMHBhcmFtcyUzQSUyMDAlMEFfX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fX19fXw==",highlighted:`_________________________________________________________________
Layer (<span class="hljs-built_in">type</span>)                 Output Shape              Param <span class="hljs-comment">#</span>
=================================================================
transformer (TFGPT2MainLayer multiple                  <span class="hljs-number">124242432</span>
=================================================================
Total params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Trainable params: <span class="hljs-number">124</span>,<span class="hljs-number">242</span>,<span class="hljs-number">432</span>
Non-trainable params: <span class="hljs-number">0</span>
_________________________________________________________________`,wrap:!1}}),{c(){o(s.$$.fragment),p=h(),a=T("p"),a.innerHTML=r,I=h(),o(g.$$.fragment),Z=h(),o(v.$$.fragment)},l(u){U(s.$$.fragment,u),p=M(u),a=w(u,"P",{"data-svelte-h":!0}),j(a)!=="svelte-1r0xqih"&&(a.innerHTML=r),I=M(u),U(g.$$.fragment,u),Z=M(u),U(v.$$.fragment,u)},m(u,b){J(s,u,b),e(u,p,b),e(u,a,b),e(u,I,b),J(g,u,b),e(u,Z,b),J(v,u,b),_=!0},i(u){_||(i(s.$$.fragment,u),i(g.$$.fragment,u),i(v.$$.fragment,u),_=!0)},o(u){y(s.$$.fragment,u),y(g.$$.fragment,u),y(v.$$.fragment,u),_=!1},d(u){u&&(t(p),t(a),t(I),t(Z)),d(s,u),d(g,u),d(v,u)}}}function Te(f){let s,p,a,r="Với cấu hình đó, chúng ta có thể tải một mô hình mới. Lưu ý rằng đây là lần đầu tiên chúng ta không sử dụng hàm <code>from_pretrained()</code>, vì chúng ta thực sự đang khởi tạo một mô hình của chính chúng ta:",I,g,Z,v,_;return s=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBHUFQyTE1IZWFkTW9kZWwlMkMlMjBBdXRvQ29uZmlnJTBBJTBBY29uZmlnJTIwJTNEJTIwQXV0b0NvbmZpZy5mcm9tX3ByZXRyYWluZWQoJTBBJTIwJTIwJTIwJTIwJTIyZ3B0MiUyMiUyQyUwQSUyMCUyMCUyMCUyMHZvY2FiX3NpemUlM0RsZW4odG9rZW5pemVyKSUyQyUwQSUyMCUyMCUyMCUyMG5fY3R4JTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjBib3NfdG9rZW5faWQlM0R0b2tlbml6ZXIuYm9zX3Rva2VuX2lkJTJDJTBBJTIwJTIwJTIwJTIwZW9zX3Rva2VuX2lkJTNEdG9rZW5pemVyLmVvc190b2tlbl9pZCUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, GPT2LMHeadModel, AutoConfig

config = AutoConfig.from_pretrained(
    <span class="hljs-string">&quot;gpt2&quot;</span>,
    vocab_size=<span class="hljs-built_in">len</span>(tokenizer),
    n_ctx=context_length,
    bos_token_id=tokenizer.bos_token_id,
    eos_token_id=tokenizer.eos_token_id,
)`,wrap:!1}}),g=new C({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKSUwQW1vZGVsX3NpemUlMjAlM0QlMjBzdW0odC5udW1lbCgpJTIwZm9yJTIwdCUyMGluJTIwbW9kZWwucGFyYW1ldGVycygpKSUwQXByaW50KGYlMjJHUFQtMiUyMHNpemUlM0ElMjAlN0Jtb2RlbF9zaXplJTJGMTAwMCoqMiUzQS4xZiU3RE0lMjBwYXJhbWV0ZXJzJTIyKQ==",highlighted:`model = GPT2LMHeadModel(config)
model_size = <span class="hljs-built_in">sum</span>(t.numel() <span class="hljs-keyword">for</span> t <span class="hljs-keyword">in</span> model.parameters())
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;GPT-2 size: <span class="hljs-subst">{model_size/<span class="hljs-number">1000</span>**<span class="hljs-number">2</span>:<span class="hljs-number">.1</span>f}</span>M parameters&quot;</span>)`,wrap:!1}}),v=new C({props:{code:"R1BULTIlMjBzaXplJTNBJTIwMTI0LjJNJTIwcGFyYW1ldGVycw==",highlighted:'GPT-<span class="hljs-number">2</span> size: <span class="hljs-number">124.2</span>M parameters',wrap:!1}}),{c(){o(s.$$.fragment),p=h(),a=T("p"),a.innerHTML=r,I=h(),o(g.$$.fragment),Z=h(),o(v.$$.fragment)},l(u){U(s.$$.fragment,u),p=M(u),a=w(u,"P",{"data-svelte-h":!0}),j(a)!=="svelte-1r0xqih"&&(a.innerHTML=r),I=M(u),U(g.$$.fragment,u),Z=M(u),U(v.$$.fragment,u)},m(u,b){J(s,u,b),e(u,p,b),e(u,a,b),e(u,I,b),J(g,u,b),e(u,Z,b),J(v,u,b),_=!0},i(u){_||(i(s.$$.fragment,u),i(g.$$.fragment,u),i(v.$$.fragment,u),_=!0)},o(u){y(s.$$.fragment,u),y(g.$$.fragment,u),y(v.$$.fragment,u),_=!1},d(u){u&&(t(p),t(a),t(I),t(Z)),d(s,u),d(g,u),d(v,u)}}}function we(f){let s,p;return s=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling

tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function je(f){let s,p;return s=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvckxhbmd1YWdlTW9kZWxpbmclMEElMEF0b2tlbml6ZXIucGFkX3Rva2VuJTIwJTNEJTIwdG9rZW5pemVyLmVvc190b2tlbiUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JGb3JMYW5ndWFnZU1vZGVsaW5nKHRva2VuaXplciUyQyUyMG1sbSUzREZhbHNlKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForLanguageModeling

tokenizer.pad_token = tokenizer.eos_token
data_collator = DataCollatorForLanguageModeling(tokenizer, mlm=<span class="hljs-literal">False</span>)`,wrap:!1}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function ge(f){let s,p;return s=new C({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCklMEFhdHRlbnRpb25fbWFzayUyMHNoYXBlJTNBJTIwKDUlMkMlMjAxMjgpJTBBbGFiZWxzJTIwc2hhcGUlM0ElMjAoNSUyQyUyMDEyOCk=",highlighted:`input_ids shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
attention_mask shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)
labels shape: (<span class="hljs-number">5</span>, <span class="hljs-number">128</span>)`,wrap:!1}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function be(f){let s,p;return s=new C({props:{code:"aW5wdXRfaWRzJTIwc2hhcGUlM0ElMjB0b3JjaC5TaXplKCU1QjUlMkMlMjAxMjglNUQpJTBBYXR0ZW50aW9uX21hc2slMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCklMEFsYWJlbHMlMjBzaGFwZSUzQSUyMHRvcmNoLlNpemUoJTVCNSUyQyUyMDEyOCU1RCk=",highlighted:`input_ids shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
attention_mask shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])
labels shape: torch.Size([<span class="hljs-number">5</span>, <span class="hljs-number">128</span>])`,wrap:!1}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function te(f){let s,p="Bây giờ chúng ta có thể sử dụng phương thức <code>to_tf_dataset()</code> để chuyển đổi tập dữ liệu của mình thành tập dữ liệu TensorFlow bằng công cụ đối chiếu dữ liệu đã tạo ở trên:",a,r,I;return r=new C({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0JTVCJTIydHJhaW4lMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJsYWJlbHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwYmF0Y2hfc2l6ZSUzRDMyJTJDJTBBKSUwQXRmX2V2YWxfZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0JTVCJTIydmFsaWQlMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJsYWJlbHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RGYWxzZSUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0QzMiUyQyUwQSk=",highlighted:`tf_train_dataset = tokenized_dataset[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">True</span>,
    batch_size=<span class="hljs-number">32</span>,
)
tf_eval_dataset = tokenized_dataset[<span class="hljs-string">&quot;valid&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">False</span>,
    batch_size=<span class="hljs-number">32</span>,
)`,wrap:!1}}),{c(){s=T("p"),s.innerHTML=p,a=h(),o(r.$$.fragment)},l(g){s=w(g,"P",{"data-svelte-h":!0}),j(s)!=="svelte-11kj8pt"&&(s.innerHTML=p),a=M(g),U(r.$$.fragment,g)},m(g,Z){e(g,s,Z),e(g,a,Z),J(r,g,Z),I=!0},i(g){I||(i(r.$$.fragment,g),I=!0)},o(g){y(r.$$.fragment,g),I=!1},d(g){g&&(t(s),t(a)),d(r,g)}}}function Ce(f){let s,p="⚠️ Việc dịch chuyển các đầu vào và nhãn để căn chỉnh chúng xảy ra bên trong mô hình, do đó, bộ đối chiếu dữ liệu chỉ cần sao chép các đầu vào để tạo nhãn.";return{c(){s=T("p"),s.textContent=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-1nl8bo"&&(s.textContent=p)},m(a,r){e(a,s,r)},p:at,d(a){a&&t(s)}}}function fe(f){let s,p="Tất cả những gì còn lại cần làm là định cấu hình các siêu tham số huấn luyện và gọi <code>compile()</code>và <code>fit()</code>. Chúng ta sẽ sử dụng lịch trình tốc độ học với một số khởi động để cải thiện tính ổn định của quá trình huấn luyện:",a,r,I,g,Z="Bây giờ chúng ta có thể gọi <code>model.fit()</code> và đợi quá trình huấn luyện kết thúc. Tùy thuộc vào việc bạn chạy nó trên toàn bộ hay một tập hợp con của bộ huấn luyện, tương ứng sẽ mất 20 hoặc 2 giờ, vì vậy hãy lấy một ít cà phê và một cuốn sách hay để đọc! Sau khi huấn luyện xong, chúng ta có thể đẩy mô hình và trình tokenize vào Hub:",v,_,u;return r=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGNyZWF0ZV9vcHRpbWl6ZXIlMEFpbXBvcnQlMjB0ZW5zb3JmbG93JTIwYXMlMjB0ZiUwQSUwQW51bV90cmFpbl9zdGVwcyUyMCUzRCUyMGxlbih0Zl90cmFpbl9kYXRhc2V0KSUwQW9wdGltaXplciUyQyUyMHNjaGVkdWxlJTIwJTNEJTIwY3JlYXRlX29wdGltaXplciglMEElMjAlMjAlMjAlMjBpbml0X2xyJTNENWUtNSUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QxXzAwMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbl9zdGVwcyUzRG51bV90cmFpbl9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheV9yYXRlJTNEMC4wMSUyQyUwQSklMEFtb2RlbC5jb21waWxlKG9wdGltaXplciUzRG9wdGltaXplciklMEElMEElMjMlMjBIdSVFMSVCQSVBNW4lMjBsdXklRTElQkIlODduJTIwdHJvbmclMjBtaXhlZC1wcmVjaXNpb24lMjBmbG9hdDE2JTBBdGYua2VyYXMubWl4ZWRfcHJlY2lzaW9uLnNldF9nbG9iYWxfcG9saWN5KCUyMm1peGVkX2Zsb2F0MTYlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> create_optimizer
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset)
optimizer, schedule = create_optimizer(
    init_lr=<span class="hljs-number">5e-5</span>,
    num_warmup_steps=<span class="hljs-number">1_000</span>,
    num_train_steps=num_train_steps,
    weight_decay_rate=<span class="hljs-number">0.01</span>,
)
model.<span class="hljs-built_in">compile</span>(optimizer=optimizer)

<span class="hljs-comment"># Huấn luyện trong mixed-precision float16</span>
tf.keras.mixed_precision.set_global_policy(<span class="hljs-string">&quot;mixed_float16&quot;</span>)`,wrap:!1}}),_=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQWNhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2sob3V0cHV0X2RpciUzRCUyMmNvZGVwYXJyb3QtZHMlMjIlMkMlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIpJTBBJTBBbW9kZWwuZml0KHRmX3RyYWluX2RhdGFzZXQlMkMlMjB2YWxpZGF0aW9uX2RhdGElM0R0Zl9ldmFsX2RhdGFzZXQlMkMlMjBjYWxsYmFja3MlM0QlNUJjYWxsYmFjayU1RCk=",highlighted:`<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback

callback = PushToHubCallback(output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>, tokenizer=tokenizer)

model.fit(tf_train_dataset, validation_data=tf_eval_dataset, callbacks=[callback])`,wrap:!1}}),{c(){s=T("p"),s.innerHTML=p,a=h(),o(r.$$.fragment),I=h(),g=T("p"),g.innerHTML=Z,v=h(),o(_.$$.fragment)},l(b){s=w(b,"P",{"data-svelte-h":!0}),j(s)!=="svelte-1f5713o"&&(s.innerHTML=p),a=M(b),U(r.$$.fragment,b),I=M(b),g=w(b,"P",{"data-svelte-h":!0}),j(g)!=="svelte-72ni35"&&(g.innerHTML=Z),v=M(b),U(_.$$.fragment,b)},m(b,$){e(b,s,$),e(b,a,$),J(r,b,$),e(b,I,$),e(b,g,$),e(b,v,$),J(_,b,$),u=!0},i(b){u||(i(r.$$.fragment,b),i(_.$$.fragment,b),u=!0)},o(b){y(r.$$.fragment,b),y(_.$$.fragment,b),u=!1},d(b){b&&(t(s),t(a),t(I),t(g),t(v)),d(r,b),d(_,b)}}}function Ie(f){let s,p="Tất cả những gì còn lại cần làm là cấu hình các tham số huấn luyện và kích hoạt <code>Trainer</code>. Chúng ta sẽ sử dụng lịch trình tốc độ học cosine với một số lần khởi động và kích thước lô hiệu quả là 256 (<code>per_device_train_batch_size</code> * <code>gradient_accumulation_steps</code>). Tích lũy gradient được sử dụng khi một loạt lô duy nhất không vừa với bộ nhớ và dần dần tích lũy gradient thông qua một số lần truyền xuôi/ngược. Chúng ta sẽ thấy điều này hoạt động khi chúng ta tạo vòng huấn luyện với 🤗 Accelerate.",a,r,I,g,Z="Bây giờ chúng ta có thể khởi động <code>Trainer</code> và đợi quá trình huấn luyện kết thúc. Tùy thuộc vào việc bạn chạy nó trên toàn bộ hay một tập hợp con của bộ huấn luyện, tương ứng sẽ mất 20 hoặc 2 giờ, vì vậy hãy lấy một ít cà phê và một cuốn sách hay để đọc!",v,_,u,b,$="Sau khi quá trình huấn luyện hoàn tất, chúng ta có thể đẩy mô hình và trình tokenizer vào Hub:",E,W,Q;return r=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRyYWluZXIlMkMlMjBUcmFpbmluZ0FyZ3VtZW50cyUwQSUwQWFyZ3MlMjAlM0QlMjBUcmFpbmluZ0FyZ3VtZW50cyglMEElMjAlMjAlMjAlMjBvdXRwdXRfZGlyJTNEJTIyY29kZXBhcnJvdC1kcyUyMiUyQyUwQSUyMCUyMCUyMCUyMHBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRDMyJTJDJTBBJTIwJTIwJTIwJTIwcGVyX2RldmljZV9ldmFsX2JhdGNoX3NpemUlM0QzMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWx1YXRpb25fc3RyYXRlZ3klM0QlMjJzdGVwcyUyMiUyQyUwQSUyMCUyMCUyMCUyMGV2YWxfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGxvZ2dpbmdfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUzRDglMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fZXBvY2hzJTNEMSUyQyUwQSUyMCUyMCUyMCUyMHdlaWdodF9kZWNheSUzRDAuMSUyQyUwQSUyMCUyMCUyMCUyMHdhcm11cF9zdGVwcyUzRDFfMDAwJTJDJTBBJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyX3R5cGUlM0QlMjJjb3NpbmUlMjIlMkMlMEElMjAlMjAlMjAlMjBsZWFybmluZ19yYXRlJTNENWUtNCUyQyUwQSUyMCUyMCUyMCUyMHNhdmVfc3RlcHMlM0Q1XzAwMCUyQyUwQSUyMCUyMCUyMCUyMGZwMTYlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwcHVzaF90b19odWIlM0RUcnVlJTJDJTBBKSUwQSUwQXRyYWluZXIlMjAlM0QlMjBUcmFpbmVyKCUwQSUyMCUyMCUyMCUyMG1vZGVsJTNEbW9kZWwlMkMlMEElMjAlMjAlMjAlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMEElMjAlMjAlMjAlMjBhcmdzJTNEYXJncyUyQyUwQSUyMCUyMCUyMCUyMGRhdGFfY29sbGF0b3IlM0RkYXRhX2NvbGxhdG9yJTJDJTBBJTIwJTIwJTIwJTIwdHJhaW5fZGF0YXNldCUzRHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwZXZhbF9kYXRhc2V0JTNEdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydmFsaWQlMjIlNUQlMkMlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Trainer, TrainingArguments

args = TrainingArguments(
    output_dir=<span class="hljs-string">&quot;codeparrot-ds&quot;</span>,
    per_device_train_batch_size=<span class="hljs-number">32</span>,
    per_device_eval_batch_size=<span class="hljs-number">32</span>,
    evaluation_strategy=<span class="hljs-string">&quot;steps&quot;</span>,
    eval_steps=<span class="hljs-number">5_000</span>,
    logging_steps=<span class="hljs-number">5_000</span>,
    gradient_accumulation_steps=<span class="hljs-number">8</span>,
    num_train_epochs=<span class="hljs-number">1</span>,
    weight_decay=<span class="hljs-number">0.1</span>,
    warmup_steps=<span class="hljs-number">1_000</span>,
    lr_scheduler_type=<span class="hljs-string">&quot;cosine&quot;</span>,
    learning_rate=<span class="hljs-number">5e-4</span>,
    save_steps=<span class="hljs-number">5_000</span>,
    fp16=<span class="hljs-literal">True</span>,
    push_to_hub=<span class="hljs-literal">True</span>,
)

trainer = Trainer(
    model=model,
    tokenizer=tokenizer,
    args=args,
    data_collator=data_collator,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;valid&quot;</span>],
)`,wrap:!1}}),_=new C({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:"trainer.train()",wrap:!1}}),W=new C({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yigp",highlighted:"trainer.push_to_hub()",wrap:!1}}),{c(){s=T("p"),s.innerHTML=p,a=h(),o(r.$$.fragment),I=h(),g=T("p"),g.innerHTML=Z,v=h(),o(_.$$.fragment),u=h(),b=T("p"),b.textContent=$,E=h(),o(W.$$.fragment)},l(k){s=w(k,"P",{"data-svelte-h":!0}),j(s)!=="svelte-17i21g6"&&(s.innerHTML=p),a=M(k),U(r.$$.fragment,k),I=M(k),g=w(k,"P",{"data-svelte-h":!0}),j(g)!=="svelte-1p7vdt3"&&(g.innerHTML=Z),v=M(k),U(_.$$.fragment,k),u=M(k),b=w(k,"P",{"data-svelte-h":!0}),j(b)!=="svelte-8tbmts"&&(b.textContent=$),E=M(k),U(W.$$.fragment,k)},m(k,G){e(k,s,G),e(k,a,G),J(r,k,G),e(k,I,G),e(k,g,G),e(k,v,G),J(_,k,G),e(k,u,G),e(k,b,G),e(k,E,G),J(W,k,G),Q=!0},i(k){Q||(i(r.$$.fragment,k),i(_.$$.fragment,k),i(W.$$.fragment,k),Q=!0)},o(k){y(r.$$.fragment,k),y(_.$$.fragment,k),y(W.$$.fragment,k),Q=!1},d(k){k&&(t(s),t(a),t(I),t(g),t(v),t(u),t(b),t(E)),d(r,k),d(_,k),d(W,k)}}}function ke(f){let s,p="✏️ <strong>Thử nghiệm thôi!</strong> Chỉ mất khoảng 30 dòng mã ngoài <code>TrainingArguments</code> để từ văn bản thô đến huấn luyện GPT-2. Hãy dùng thử với tập dữ liệu của riêng bạn và xem liệu bạn có thể đạt được kết quả tốt hay không!";return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-111d1d1"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},p:at,d(a){a&&t(s)}}}function _e(f){let s,p='💡 Nếu bạn có quyền truy cập vào một máy có nhiều GPU, bạn có thể thử sử dụng ngữ cảnh <code>MirroredStrategy</code> để tăng tốc đáng kể cho quá trình huấn luyện. Bạn sẽ cần tạo một đối tượng <code>tf.distribute.MirroredStrategy</code> và đảm bảo rằng các lệnh <code>to_tf_dataset</code> cũng như tạo mô hình và lệnh gọi đến <code>fit()</code> đều được chạy trong ngữ cảnh <code>scope()</code> của nó. Bạn có thể xem tài liệu về điều này <a href="https://www.tensorflow.org/guide/distributed_training#use_tfdistributestrategy_with_keras_modelfit" rel="nofollow">tại đây</a>.';return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-14fg33o"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},d(a){a&&t(s)}}}function ve(f){let s,p="💡 Nếu bạn có quyền truy cập vào một máy có nhiều GPU, hãy thử chạy mã ở đó. <code>Trainer</code> tự động quản lý nhiều máy và điều này có thể tăng tốc quá trình huấn luyện lên rất nhiều.";return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-8k0q9n"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},d(a){a&&t(s)}}}function Ze(f){let s;function p(I,g){return I[0]==="pt"?ve:_e}let a=p(f),r=a(f);return{c(){r.c(),s=le()},l(I){r.l(I),s=le()},m(I,g){r.m(I,g),e(I,s,g)},p(I,g){a!==(a=p(I))&&(r.d(1),r=a(I),r&&(r.c(),r.m(s.parentNode,s)))},d(I){I&&t(s),r.d(I)}}}function $e(f){let s,p;return s=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBY291cnNlX21vZGVsJTIwJTNEJTIwVEZHUFQyTE1IZWFkTW9kZWwuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBY291cnNlX3Rva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGVwYXJyb3QtZHMlMjIpJTBBcGlwZSUyMCUzRCUyMHBpcGVsaW5lKCUwQSUyMCUyMCUyMCUyMCUyMnRleHQtZ2VuZXJhdGlvbiUyMiUyQyUyMG1vZGVsJTNEY291cnNlX21vZGVsJTJDJTIwdG9rZW5pemVyJTNEY291cnNlX3Rva2VuaXplciUyQyUyMGRldmljZSUzRDAlMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

course_model = TFGPT2LMHeadModel.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
course_tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>)
pipe = pipeline(
    <span class="hljs-string">&quot;text-generation&quot;</span>, model=course_model, tokenizer=course_tokenizer, device=<span class="hljs-number">0</span>
)`,wrap:!1}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function Ge(f){let s,p;return s=new C({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwcGlwZWxpbmUlMEElMEFkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEFwaXBlJTIwJTNEJTIwcGlwZWxpbmUoJTBBJTIwJTIwJTIwJTIwJTIydGV4dC1nZW5lcmF0aW9uJTIyJTJDJTIwbW9kZWwlM0QlMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzJTIyJTJDJTIwZGV2aWNlJTNEZGV2aWNlJTBBKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
pipe = pipeline(
    <span class="hljs-string">&quot;text-generation&quot;</span>, model=<span class="hljs-string">&quot;huggingface-course/codeparrot-ds&quot;</span>, device=device
)`,wrap:!1}}),{c(){o(s.$$.fragment)},l(a){U(s.$$.fragment,a)},m(a,r){J(s,a,r),p=!0},i(a){p||(i(s.$$.fragment,a),p=!0)},o(a){y(s.$$.fragment,a),p=!1},d(a){d(s,a)}}}function Be(f){let s,p="Nhìn vào một vài ví dụ này, có vẻ như mô hình đã học được một số cú pháp của bộ khoa học dữ liệu Python (tất nhiên, chúng tôi sẽ cần đánh giá kỹ lưỡng hơn trước khi triển khai mô hình trong thế giới thực). Tuy nhiên, đôi khi nó đòi hỏi phải tùy chỉnh nhiều hơn việc huấn luyện mô hình để đạt được hiệu suất cần thiết cho một trường hợp sử dụng nhất định. Ví dụ: điều gì sẽ xảy ra nếu chúng ta muốn cập nhật động kích thước lô hoặc có một vòng lặp huấn luyện có điều kiện để bỏ qua các ví dụ xấu một cách nhanh chóng? Một tùy chọn sẽ là phân lớp <code>Trainer</code> và thêm các thay đổi cần thiết, nhưng đôi khi việc viết vòng lặp huấn luyện từ đầu sẽ đơn giản hơn. Đó là lúc 🤗 Accelerate xuất hiện.";return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-155u8wy"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},d(a){a&&t(s)}}}function Qe(f){let s,p="Nhìn vào một vài ví dụ này, có vẻ như mô hình đã học được một số cú pháp của bộ khoa học dữ liệu Python. Tất nhiên, chúng ta sẽ cần phải đánh giá mô hình kỹ lưỡng hơn trước khi triển khai nó trong thế giới thực, nhưng đây vẫn là một nguyên mẫu ấn tượng.";return{c(){s=T("p"),s.textContent=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-1omj9tf"&&(s.textContent=p)},m(a,r){e(a,s,r)},d(a){a&&t(s)}}}function se(f){let s,p,a,r="Chúng ta đã thấy cách huấn luyện một mô hình với <code>Trainer</code>, có thể cho phép một số tùy chỉnh. Tuy nhiên, đôi khi chúng ta muốn toàn quyền kiểm soát vòng lặp huấn luyện hoặc chúng ta muốn thực hiện một số thay đổi kỳ lạ. Trong trường hợp này 🤗 Accelerate là một lựa chọn tuyệt vời và trong phần này, chúng ta sẽ xem xét các bước sử dụng nó để huấn luyện mô hình của mình. Để làm cho mọi thứ thú vị hơn, chúng ta cũng sẽ thêm một số điều chỉnh vào vòng lặp huấn luyện.",I,g,Z,v,_="Vì chúng ta chủ yếu quan tâm đến tính năng tự động hoàn thành hợp lý cho các thư viện khoa học dữ liệu, nên việc đưa ra nhiều trọng số hơn cho các mẫu huấn luyện sử dụng nhiều hơn các thư viện này. Chúng ta có thể dễ dàng xác định những ví dụ này thông qua việc sử dụng các từ khóa như <code>plt</code>, <code>pd</code>, <code>sk</code>, <code>fit</code> và <code>predict</code>, là những tên nhập thường gặp nhất cho <code>matplotlib.pyplot</code>, <code>pandas</code>, và <code>sklearn</code> cũng như các hành vi sau đó. Nếu chúng được biểu diễn dưới dạng một token duy nhất, chúng ta có thể dễ dàng kiểm tra xem chúng có xuất hiện trong chuỗi đầu vào hay không. Các token có thể có tiền tố khoảng trắng, vì vậy chúng ta cũng sẽ kiểm tra các phiên bản đó trong từ vựng bộ tokenizer. Để xác minh rằng nó hoạt động, chúng ta sẽ thêm một token kiểm thử sẽ được chia thành nhiều token:",u,b,$,E,W,Q,k="Tuyệt vời, điều đó có vẻ hoạt động tốt! Bây giờ chúng ta có thể viết một hàm mất mát tùy chỉnh lấy chuỗi đầu vào, logits và token khóa mà chúng ta vừa chọn làm đầu vào. Trước tiên, chúng ta cần căn chỉnh logits và đầu vào: chuỗi đầu vào được dịch chuyển một đơn vị sang bên phải tạo thành các nhãn, vì token tiếp theo là nhãn cho token hiện tại. Chúng ta có thể đạt được điều này bằng cách bắt đầu các nhãn từ token thứ hai của chuỗi đầu vào, vì dù sao thì mô hình cũng không đưa ra dự đoán cho token đầu tiên. Sau đó, chúng ta cắt logit cuối cùng, vì chúng ta không có nhãn cho token theo trình tự đầu vào đầy đủ. Nhờ đó, chúng ta có thể tính toán sự mất mát trên mỗi mẫu và đếm số lần xuất hiện của tất cả các từ khóa trong mỗi mẫu. Cuối cùng, chúng ta tính giá trị trung bình có trọng số trên tất cả các mẫu bằng cách sử dụng các lần xuất hiện dưới dạng trọng số. Vì chúng ta không muốn loại bỏ tất cả các mẫu không có từ khóa, chúng ta thêm 1 vào các trọng số:",G,x,Wn,N,ot="Trước khi có thể bắt đầu huấn luyện với hàm mất mát mới tuyệt vời này, chúng ta cần chuẩn bị một số thứ:",Vn,B,Ut="<li>Chúng ta cần bộ ghi dữ liệu để tải dữ liệu theo lô.</li> <li>Chúng ta cần thiết lập các thông số phân rã trọng số.</li> <li>Theo thời gian, chúng ta muốn đánh giá, vì vậy sẽ hợp lý khi bao mã đánh giá trong một hàm.</li>",zn,A,Jt="Hãy bắt đầu với bộ dữ liệu. Chúng ta chỉ cần đặt định dạng của tập dữ liệu thành <code>&quot;torch&quot;</code>, và sau đó có thể chuyển nó đến PyTorch <code>DataLoader</code> với kích thước lô thích hợp:",En,F,xn,H,dt="Tiếp theo, chúng ta nhóm các tham số để trình tối ưu hóa biết những thông số nào sẽ bị giảm trọng số bổ sung. Thông thường, tất cả các điều khoản thiên vị và trọng số LayerNorm đều được miễn trừ; đây là cách chúng ta có thể làm điều này:",Nn,Y,ml,hn,Zn="Vì chúng ta muốn đánh giá mô hình thường xuyên trên bộ xác nhận trong quá trình huấn luyện, chúng ta hãy viết một hàm cho điều đó. Nó chỉ chạy qua bộ dữ liệu đánh giá và tập hợp tất cả các mất mát qua các quy trình:",An,S,ul,Mn,$n='Với hàm <code>evaluate()</code>, chúng ta có thể báo cáo mất mát và <a href="/course/chapter7/3">perplexity</a> theo khoảng thời gian đều đặn. Tiếp theo, chúng ta xác định lại mô hình của mình để đảm bảo chúng ta huấn luyện lại từ đầu:',Fn,q,Hn,D,Tt="Sau đó, chúng ta có thể xác định trình tối ưu hóa của mình, sử dụng hàm từ trước để phân chia các tham số cho phân rã trọng số:",Yn,L,Sn,K,wt="Bây giờ, hãy chuẩn bị mô hình, trình tối ưu hóa và bộ ghi dữ liệu để chúng ta có thể bắt đầu huấn luyện:",qn,P,Dn,O,Ln,nn,jt="Bây giờ, chúng ta đã gửi <code>train_dataloader</code> của mình tới <code>accelerator.prepare()</code>, chúng ta có thể sử dụng độ dài của nó để tính số bước huấn luyện. Hãy nhớ rằng chúng ta phải luôn làm điều này sau khi chuẩn bị dataloader, vì phương thức đó sẽ thay đổi độ dài của nó. Chúng ta sử dụng một lịch trình tuyến tính cổ điển từ tốc độ học đến 0:",Kn,ln,ol,pn,Gn="Cuối cùng, để đẩy mô hình lên Hub, chúng ta sẽ cần tạo một đối tượng <code>Repository</code> trong một thư mục đang làm việc. Trước tiên, hãy đăng nhập vào Hugging Face Hub, nếu bạn chưa đăng nhập. Chúng ta sẽ xác định tên kho lưu trữ từ ID mô hình mà ta muốn cung cấp cho mô hình của mình (vui lòng thay thế <code>repo_name</code> bằng sự lựa chọn của riêng bạn; nó chỉ cần chứa tên người dùng của bạn, đó là những gì hàm <code>get_full_repo_name()</code> thực hiện ):",Pn,tn,On,V,nl,sn,gt="Sau đó, chúng ta có thể sao chép kho lưu trữ đó trong một thư mục cục bộ. Nếu nó đã tồn tại, thư mục cục bộ này phải là bản sao hiện có của kho lưu trữ mà chúng ta đang làm việc:",ll,en,tl,an,Ul="Bây giờ chúng ta có thể tải lên bất cứ thứ gì chúng ta lưu trong <code>output_dir</code> bằng cách gọi phương thức <code>repo.push_to_hub()</code>. Điều này sẽ giúp chúng ta tải lên các mô hình trung gian ở cuối mỗi epoch.",yn,Bn,Jl="Trước khi huấn luyện, hãy chạy thử nhanh để xem chức năng đánh giá có hoạt động bình thường không:",rn,mn,un,on,Un,Qn,dl="Đó là những giá trị rất cao về mức mất mát và perplexity, nhưng điều đó không đáng ngạc nhiên vì chúng ta chưa huấn luyện mô hình. Cùng với đó, chúng ta đã chuẩn bị mọi thứ để viết phần cốt lõi của kịch bản huấn luyện: vòng lặp huấn luyện. Trong vòng lặp huấn luyện, chúng ta lặp qua dataloader và truyền các lô vào mô hình. Với nhật ký, sau đó chúng ta có thể đánh giá hàm mất mát tùy chỉnh của mình. Chúng ta chia tỷ lệ mất mát theo số bước tích lũy gradient để không tạo ra mất mát lớn hơn khi tổng hợp nhiều bước hơn. Trước khi tối ưu hóa, chúng ta cũng cắt các gradient để hội tụ tốt hơn. Cuối cùng, cứ sau vài bước, chúng ta đánh giá mô hình trên tập hợp đánh giá với hàm <code>eval()</code> mới của mình:",Jn,Xn,sl,z,bt="Vậy là xong - bây giờ bạn có vòng huấn luyện tùy chỉnh của riêng mình cho các mô hình ngôn ngữ nhân quả chẳng hạn như GPT-2 mà bạn có thể tùy chỉnh thêm theo nhu cầu của mình.",el,cn,Tl,dn,Tn;return s=new ut({props:{title:"Huấn luyện với 🤗 Accelerate",local:"huấn-luyện-với--accelerate",headingTag:"h2"}}),g=new ds({props:{id:"Hm8_PgVTFuc"}}),b=new C({props:{code:"a2V5dG9rZW5faWRzJTIwJTNEJTIwJTVCJTVEJTBBZm9yJTIwa2V5d29yZCUyMGluJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIycGx0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIycGQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJzayUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMmZpdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnByZWRpY3QlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwbHQlMjIlMkMlMEElMjAlMjAlMjAlMjAlMjIlMjBwZCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMiUyMHNrJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwZml0JTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyJTIwcHJlZGljdCUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMnRlc3R0ZXN0JTIyJTJDJTBBJTVEJTNBJTBBJTIwJTIwJTIwJTIwaWRzJTIwJTNEJTIwdG9rZW5pemVyKCU1QmtleXdvcmQlNUQpLmlucHV0X2lkcyU1QjAlNUQlMEElMjAlMjAlMjAlMjBpZiUyMGxlbihpZHMpJTIwJTNEJTNEJTIwMSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGtleXRva2VuX2lkcy5hcHBlbmQoaWRzJTVCMCU1RCklMEElMjAlMjAlMjAlMjBlbHNlJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJpbnQoZiUyMktleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMCU3QmtleXdvcmQlN0QlMjIp",highlighted:`keytoken_ids = []
<span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> [
    <span class="hljs-string">&quot;plt&quot;</span>,
    <span class="hljs-string">&quot;pd&quot;</span>,
    <span class="hljs-string">&quot;sk&quot;</span>,
    <span class="hljs-string">&quot;fit&quot;</span>,
    <span class="hljs-string">&quot;predict&quot;</span>,
    <span class="hljs-string">&quot; plt&quot;</span>,
    <span class="hljs-string">&quot; pd&quot;</span>,
    <span class="hljs-string">&quot; sk&quot;</span>,
    <span class="hljs-string">&quot; fit&quot;</span>,
    <span class="hljs-string">&quot; predict&quot;</span>,
    <span class="hljs-string">&quot;testtest&quot;</span>,
]:
    ids = tokenizer([keyword]).input_ids[<span class="hljs-number">0</span>]
    <span class="hljs-keyword">if</span> <span class="hljs-built_in">len</span>(ids) == <span class="hljs-number">1</span>:
        keytoken_ids.append(ids[<span class="hljs-number">0</span>])
    <span class="hljs-keyword">else</span>:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Keyword has not single token: <span class="hljs-subst">{keyword}</span>&quot;</span>)`,wrap:!1}}),E=new C({props:{code:"J0tleXdvcmQlMjBoYXMlMjBub3QlMjBzaW5nbGUlMjB0b2tlbiUzQSUyMHRlc3R0ZXN0Jw==",highlighted:'<span class="hljs-string">&#x27;Keyword has not single token: testtest&#x27;</span>',wrap:!1}}),x=new C({props:{code:"ZnJvbSUyMHRvcmNoLm5uJTIwaW1wb3J0JTIwQ3Jvc3NFbnRyb3B5TG9zcyUwQWltcG9ydCUyMHRvcmNoJTBBJTBBJTBBZGVmJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhpbnB1dHMlMkMlMjBsb2dpdHMlMkMlMjBrZXl0b2tlbl9pZHMlMkMlMjBhbHBoYSUzRDEuMCklM0ElMEElMjAlMjAlMjAlMjAlMjMlMjBEJUUxJUJCJThCY2glMjBjaHV5JUUxJUJCJTgzbiUyMCVDNCU5MSVFMSVCQiU4MyUyMHRva2VuJTIwJTNDJTIwbiUyMGQlRTElQkIlQjElMjAlQzQlOTFvJUMzJUExbiUyMG4lMEElMjAlMjAlMjAlMjBzaGlmdF9sYWJlbHMlMjAlM0QlMjBpbnB1dHMlNUIuLi4lMkMlMjAxJTNBJTVELmNvbnRpZ3VvdXMoKSUwQSUyMCUyMCUyMCUyMHNoaWZ0X2xvZ2l0cyUyMCUzRCUyMGxvZ2l0cyU1Qi4uLiUyQyUyMCUzQS0xJTJDJTIwJTNBJTVELmNvbnRpZ3VvdXMoKSUwQSUyMCUyMCUyMCUyMCUyMyUyMFQlQzMlQURuaCUyMCVDNCU5MSVFMSVCQiU5OSUyMG0lRTElQkElQTV0JTIwbSVDMyVBMXQlMjB0JUUxJUJCJUFCbmclMjB0b2tlbiUwQSUyMCUyMCUyMCUyMGxvc3NfZmN0JTIwJTNEJTIwQ3Jvc3NFbnRyb3B5TG9zcyhyZWR1Y2UlM0RGYWxzZSklMEElMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwbG9zc19mY3Qoc2hpZnRfbG9naXRzLnZpZXcoLTElMkMlMjBzaGlmdF9sb2dpdHMuc2l6ZSgtMSkpJTJDJTIwc2hpZnRfbGFiZWxzLnZpZXcoLTEpKSUwQSUyMCUyMCUyMCUyMCUyMyUyMFRoYXklMjAlQzQlOTElRTElQkIlOTVpJTIwayVDMyVBRGNoJTIwdGglQzYlQjAlRTElQkIlOUJjJTIwdiVDMyVBMCUyMG0lRTElQkElQTV0JTIwbSVDMyVBMXQlMjB0cnVuZyUyMGIlQzMlQUNuaCUyMHRyJUMzJUFBbiUyMG0lRTElQkIlOTdpJTIwbSVFMSVCQSVBQnUlMEElMjAlMjAlMjAlMjBsb3NzX3Blcl9zYW1wbGUlMjAlM0QlMjBsb3NzLnZpZXcoc2hpZnRfbG9naXRzLnNpemUoMCklMkMlMjBzaGlmdF9sb2dpdHMuc2l6ZSgxKSkubWVhbihheGlzJTNEMSklMEElMjAlMjAlMjAlMjAlMjMlMjBUJUMzJUFEbmglMjB0byVDMyVBMW4lMjB2JUMzJUEwJTIwY2hpYSUyMHQlRTElQkIlQjclMjB0ciVFMSVCQiU4RG5nJTBBJTIwJTIwJTIwJTIwd2VpZ2h0cyUyMCUzRCUyMHRvcmNoLnN0YWNrKCU1QihpbnB1dHMlMjAlM0QlM0QlMjBrdCkuZmxvYXQoKSUyMGZvciUyMGt0JTIwaW4lMjBrZXl0b2tlbl9pZHMlNUQpLnN1bSglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBheGlzJTNEJTVCMCUyQyUyMDIlNUQlMEElMjAlMjAlMjAlMjApJTBBJTIwJTIwJTIwJTIwd2VpZ2h0cyUyMCUzRCUyMGFscGhhJTIwKiUyMCgxLjAlMjAlMkIlMjB3ZWlnaHRzKSUwQSUyMCUyMCUyMCUyMCUyMyUyMFQlQzMlQURuaCUyMGdpJUMzJUExJTIwdHIlRTElQkIlOEIlMjB0cnVuZyUyMGIlQzMlQUNuaCUyMGMlQzMlQjMlMjB0ciVFMSVCQiU4RG5nJTIwcyVFMSVCQiU5MSUwQSUyMCUyMCUyMCUyMHdlaWdodGVkX2xvc3MlMjAlM0QlMjAobG9zc19wZXJfc2FtcGxlJTIwKiUyMHdlaWdodHMpLm1lYW4oKSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMHdlaWdodGVkX2xvc3M=",highlighted:`<span class="hljs-keyword">from</span> torch.nn <span class="hljs-keyword">import</span> CrossEntropyLoss
<span class="hljs-keyword">import</span> torch


<span class="hljs-keyword">def</span> <span class="hljs-title function_">keytoken_weighted_loss</span>(<span class="hljs-params">inputs, logits, keytoken_ids, alpha=<span class="hljs-number">1.0</span></span>):
    <span class="hljs-comment"># Dịch chuyển để token &lt; n dự đoán n</span>
    shift_labels = inputs[..., <span class="hljs-number">1</span>:].contiguous()
    shift_logits = logits[..., :-<span class="hljs-number">1</span>, :].contiguous()
    <span class="hljs-comment"># Tính độ mất mát từng token</span>
    loss_fct = CrossEntropyLoss(reduce=<span class="hljs-literal">False</span>)
    loss = loss_fct(shift_logits.view(-<span class="hljs-number">1</span>, shift_logits.size(-<span class="hljs-number">1</span>)), shift_labels.view(-<span class="hljs-number">1</span>))
    <span class="hljs-comment"># Thay đổi kích thước và mất mát trung bình trên mỗi mẫu</span>
    loss_per_sample = loss.view(shift_logits.size(<span class="hljs-number">0</span>), shift_logits.size(<span class="hljs-number">1</span>)).mean(axis=<span class="hljs-number">1</span>)
    <span class="hljs-comment"># Tính toán và chia tỷ trọng</span>
    weights = torch.stack([(inputs == kt).<span class="hljs-built_in">float</span>() <span class="hljs-keyword">for</span> kt <span class="hljs-keyword">in</span> keytoken_ids]).<span class="hljs-built_in">sum</span>(
        axis=[<span class="hljs-number">0</span>, <span class="hljs-number">2</span>]
    )
    weights = alpha * (<span class="hljs-number">1.0</span> + weights)
    <span class="hljs-comment"># Tính giá trị trung bình có trọng số</span>
    weighted_loss = (loss_per_sample * weights).mean()
    <span class="hljs-keyword">return</span> weighted_loss`,wrap:!1}}),F=new C({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGEuZGF0YWxvYWRlciUyMGltcG9ydCUyMERhdGFMb2FkZXIlMEElMEF0b2tlbml6ZWRfZGF0YXNldC5zZXRfZm9ybWF0KCUyMnRvcmNoJTIyKSUwQXRyYWluX2RhdGFsb2FkZXIlMjAlM0QlMjBEYXRhTG9hZGVyKHRva2VuaXplZF9kYXRhc2V0JTVCJTIydHJhaW4lMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMzIlMkMlMjBzaHVmZmxlJTNEVHJ1ZSklMEFldmFsX2RhdGFsb2FkZXIlMjAlM0QlMjBEYXRhTG9hZGVyKHRva2VuaXplZF9kYXRhc2V0JTVCJTIydmFsaWQlMjIlNUQlMkMlMjBiYXRjaF9zaXplJTNEMzIp",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data.dataloader <span class="hljs-keyword">import</span> DataLoader

tokenized_dataset.set_format(<span class="hljs-string">&quot;torch&quot;</span>)
train_dataloader = DataLoader(tokenized_dataset[<span class="hljs-string">&quot;train&quot;</span>], batch_size=<span class="hljs-number">32</span>, shuffle=<span class="hljs-literal">True</span>)
eval_dataloader = DataLoader(tokenized_dataset[<span class="hljs-string">&quot;valid&quot;</span>], batch_size=<span class="hljs-number">32</span>)`,wrap:!1}}),Y=new C({props:{code:"d2VpZ2h0X2RlY2F5JTIwJTNEJTIwMC4xJTBBJTBBJTBBZGVmJTIwZ2V0X2dyb3VwZWRfcGFyYW1zKG1vZGVsJTJDJTIwbm9fZGVjYXklM0QlNUIlMjJiaWFzJTIyJTJDJTIwJTIyTGF5ZXJOb3JtLndlaWdodCUyMiU1RCklM0ElMEElMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZCUyQyUyMHBhcmFtc193aXRob3V0X3dkJTIwJTNEJTIwJTVCJTVEJTJDJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbiUyQyUyMHAlMjBpbiUyMG1vZGVsLm5hbWVkX3BhcmFtZXRlcnMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55KG5kJTIwaW4lMjBuJTIwZm9yJTIwbmQlMjBpbiUyMG5vX2RlY2F5KSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBhcmFtc193aXRob3V0X3dkLmFwcGVuZChwKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsc2UlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwYXJhbXNfd2l0aF93ZC5hcHBlbmQocCklMEElMjAlMjAlMjAlMjByZXR1cm4lMjAlNUIlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlN0IlMjJwYXJhbXMlMjIlM0ElMjBwYXJhbXNfd2l0aF93ZCUyQyUyMCUyMndlaWdodF9kZWNheSUyMiUzQSUyMHdlaWdodF9kZWNheSU3RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3QiUyMnBhcmFtcyUyMiUzQSUyMHBhcmFtc193aXRob3V0X3dkJTJDJTIwJTIyd2VpZ2h0X2RlY2F5JTIyJTNBJTIwMC4wJTdEJTJDJTBBJTIwJTIwJTIwJTIwJTVE",highlighted:`weight_decay = <span class="hljs-number">0.1</span>


<span class="hljs-keyword">def</span> <span class="hljs-title function_">get_grouped_params</span>(<span class="hljs-params">model, no_decay=[<span class="hljs-string">&quot;bias&quot;</span>, <span class="hljs-string">&quot;LayerNorm.weight&quot;</span>]</span>):
    params_with_wd, params_without_wd = [], []
    <span class="hljs-keyword">for</span> n, p <span class="hljs-keyword">in</span> model.named_parameters():
        <span class="hljs-keyword">if</span> <span class="hljs-built_in">any</span>(nd <span class="hljs-keyword">in</span> n <span class="hljs-keyword">for</span> nd <span class="hljs-keyword">in</span> no_decay):
            params_without_wd.append(p)
        <span class="hljs-keyword">else</span>:
            params_with_wd.append(p)
    <span class="hljs-keyword">return</span> [
        {<span class="hljs-string">&quot;params&quot;</span>: params_with_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: weight_decay},
        {<span class="hljs-string">&quot;params&quot;</span>: params_without_wd, <span class="hljs-string">&quot;weight_decay&quot;</span>: <span class="hljs-number">0.0</span>},
    ]`,wrap:!1}}),S=new C({props:{code:"ZGVmJTIwZXZhbHVhdGUoKSUzQSUwQSUyMCUyMCUyMCUyMG1vZGVsLmV2YWwoKSUwQSUyMCUyMCUyMCUyMGxvc3NlcyUyMCUzRCUyMCU1QiU1RCUwQSUyMCUyMCUyMCUyMGZvciUyMHN0ZXAlMkMlMjBiYXRjaCUyMGluJTIwZW51bWVyYXRlKGV2YWxfZGF0YWxvYWRlciklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB3aXRoJTIwdG9yY2gubm9fZ3JhZCgpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3V0cHV0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEJTJDJTIwbGFiZWxzJTNEYmF0Y2glNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zc2VzLmFwcGVuZChhY2NlbGVyYXRvci5nYXRoZXIob3V0cHV0cy5sb3NzKSklMEElMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwdG9yY2gubWVhbih0b3JjaC5jYXQobG9zc2VzKSklMEElMjAlMjAlMjAlMjB0cnklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwZXJwbGV4aXR5JTIwJTNEJTIwdG9yY2guZXhwKGxvc3MpJTBBJTIwJTIwJTIwJTIwZXhjZXB0JTIwT3ZlcmZsb3dFcnJvciUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHBlcnBsZXhpdHklMjAlM0QlMjBmbG9hdCglMjJpbmYlMjIpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbG9zcy5pdGVtKCklMkMlMjBwZXJwbGV4aXR5Lml0ZW0oKQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">evaluate</span>():
    model.<span class="hljs-built_in">eval</span>()
    losses = []
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(eval_dataloader):
        <span class="hljs-keyword">with</span> torch.no_grad():
            outputs = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], labels=batch[<span class="hljs-string">&quot;input_ids&quot;</span>])

        losses.append(accelerator.gather(outputs.loss))
    loss = torch.mean(torch.cat(losses))
    <span class="hljs-keyword">try</span>:
        perplexity = torch.exp(loss)
    <span class="hljs-keyword">except</span> OverflowError:
        perplexity = <span class="hljs-built_in">float</span>(<span class="hljs-string">&quot;inf&quot;</span>)
    <span class="hljs-keyword">return</span> loss.item(), perplexity.item()`,wrap:!1}}),q=new C({props:{code:"bW9kZWwlMjAlM0QlMjBHUFQyTE1IZWFkTW9kZWwoY29uZmlnKQ==",highlighted:"model = GPT2LMHeadModel(config)",wrap:!1}}),L=new C({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhnZXRfZ3JvdXBlZF9wYXJhbXMobW9kZWwpJTJDJTIwbHIlM0Q1ZS00KQ==",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

optimizer = AdamW(get_grouped_params(model), lr=<span class="hljs-number">5e-4</span>)`,wrap:!1}}),P=new C({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoZnAxNiUzRFRydWUpJTBBJTBBbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMkMlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwYWNjZWxlcmF0b3IucHJlcGFyZSglMEElMjAlMjAlMjAlMjBtb2RlbCUyQyUyMG9wdGltaXplciUyQyUyMHRyYWluX2RhdGFsb2FkZXIlMkMlMjBldmFsX2RhdGFsb2FkZXIlMEEp",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

accelerator = Accelerator(fp16=<span class="hljs-literal">True</span>)

model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
    model, optimizer, train_dataloader, eval_dataloader
)`,wrap:!1}}),O=new rl({props:{$$slots:{default:[Xe]},$$scope:{ctx:f}}}),ln=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fdHJhaW5fZXBvY2hzJTIwJTNEJTIwMSUwQW51bV91cGRhdGVfc3RlcHNfcGVyX2Vwb2NoJTIwJTNEJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX3RyYWluX2Vwb2NocyUyMColMjBudW1fdXBkYXRlX3N0ZXBzX3Blcl9lcG9jaCUwQSUwQWxyX3NjaGVkdWxlciUyMCUzRCUyMGdldF9zY2hlZHVsZXIoJTBBJTIwJTIwJTIwJTIwbmFtZSUzRCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QxXzAwMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbmluZ19zdGVwcyUzRG51bV90cmFpbmluZ19zdGVwcyUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

num_train_epochs = <span class="hljs-number">1</span>
num_update_steps_per_epoch = <span class="hljs-built_in">len</span>(train_dataloader)
num_training_steps = num_train_epochs * num_update_steps_per_epoch

lr_scheduler = get_scheduler(
    name=<span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">1_000</span>,
    num_training_steps=num_training_steps,
)`,wrap:!1}}),tn=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMFJlcG9zaXRvcnklMkMlMjBnZXRfZnVsbF9yZXBvX25hbWUlMEElMEFtb2RlbF9uYW1lJTIwJTNEJTIwJTIyY29kZXBhcnJvdC1kcy1hY2NlbGVyYXRlJTIyJTBBcmVwb19uYW1lJTIwJTNEJTIwZ2V0X2Z1bGxfcmVwb19uYW1lKG1vZGVsX25hbWUpJTBBcmVwb19uYW1l",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> Repository, get_full_repo_name

model_name = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo_name = get_full_repo_name(model_name)
repo_name`,wrap:!1}}),V=new C({props:{code:"J3NndWdnZXIlMkZjb2RlcGFycm90LWRzLWFjY2VsZXJhdGUn",highlighted:'<span class="hljs-string">&#x27;sgugger/codeparrot-ds-accelerate&#x27;</span>',wrap:!1}}),en=new C({props:{code:"b3V0cHV0X2RpciUyMCUzRCUyMCUyMmNvZGVwYXJyb3QtZHMtYWNjZWxlcmF0ZSUyMiUwQXJlcG8lMjAlM0QlMjBSZXBvc2l0b3J5KG91dHB1dF9kaXIlMkMlMjBjbG9uZV9mcm9tJTNEcmVwb19uYW1lKQ==",highlighted:`output_dir = <span class="hljs-string">&quot;codeparrot-ds-accelerate&quot;</span>
repo = Repository(output_dir, clone_from=repo_name)`,wrap:!1}}),mn=new C({props:{code:"ZXZhbHVhdGUoKQ==",highlighted:"evaluate()",wrap:!1}}),on=new C({props:{code:"KDEwLjkzNDEyNjg1Mzk0Mjg3MSUyQyUyMDU2MDU3LjE0NDUzMTI1KQ==",highlighted:'(<span class="hljs-number">10.934126853942871</span>, <span class="hljs-number">56057.14453125</span>)',wrap:!1}}),Xn=new C({props:{code:"ZnJvbSUyMHRxZG0ubm90ZWJvb2slMjBpbXBvcnQlMjB0cWRtJTBBJTBBZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTIwJTNEJTIwOCUwQWV2YWxfc3RlcHMlMjAlM0QlMjA1XzAwMCUwQSUwQW1vZGVsLnRyYWluKCklMEFjb21wbGV0ZWRfc3RlcHMlMjAlM0QlMjAwJTBBZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV90cmFpbl9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwc3RlcCUyQyUyMGJhdGNoJTIwaW4lMjB0cWRtKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVudW1lcmF0ZSh0cmFpbl9kYXRhbG9hZGVyJTJDJTIwc3RhcnQlM0QxKSUyQyUyMHRvdGFsJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTBBJTIwJTIwJTIwJTIwKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvZ2l0cyUyMCUzRCUyMG1vZGVsKGJhdGNoJTVCJTIyaW5wdXRfaWRzJTIyJTVEKS5sb2dpdHMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwa2V5dG9rZW5fd2VpZ2h0ZWRfbG9zcyhiYXRjaCU1QiUyMmlucHV0X2lkcyUyMiU1RCUyQyUyMGxvZ2l0cyUyQyUyMGtleXRva2VuX2lkcyklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMHN0ZXAlMjAlMjUlMjAxMDAlMjAlM0QlM0QlMjAwJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IucHJpbnQoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIybHIlMjIlM0ElMjBnZXRfbHIoKSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnNhbXBsZXMlMjIlM0ElMjBzdGVwJTIwKiUyMHNhbXBsZXNfcGVyX3N0ZXAlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJzdGVwcyUyMiUzQSUyMGNvbXBsZXRlZF9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMmxvc3MlMkZ0cmFpbiUyMiUzQSUyMGxvc3MuaXRlbSgpJTIwKiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU3RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwbG9zcyUyMCUyRiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBzdGVwJTIwJTI1JTIwZ3JhZGllbnRfYWNjdW11bGF0aW9uX3N0ZXBzJTIwJTNEJTNEJTIwMCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmNsaXBfZ3JhZF9ub3JtXyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjAxLjApJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBjb21wbGV0ZWRfc3RlcHMlMjAlMkIlM0QlMjAxJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjAoc3RlcCUyMCUyNSUyMChldmFsX3N0ZXBzJTIwKiUyMGdyYWRpZW50X2FjY3VtdWxhdGlvbl9zdGVwcykpJTIwJTNEJTNEJTIwMCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGV2YWxfbG9zcyUyQyUyMHBlcnBsZXhpdHklMjAlM0QlMjBldmFsdWF0ZSgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3IucHJpbnQoJTdCJTIybG9zcyUyRmV2YWwlMjIlM0ElMjBldmFsX2xvc3MlMkMlMjAlMjJwZXJwbGV4aXR5JTIyJTNBJTIwcGVycGxleGl0eSU3RCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtb2RlbC50cmFpbigpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYWNjZWxlcmF0b3Iud2FpdF9mb3JfZXZlcnlvbmUoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHVud3JhcHBlZF9tb2RlbCUyMCUzRCUyMGFjY2VsZXJhdG9yLnVud3JhcF9tb2RlbChtb2RlbCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjB1bndyYXBwZWRfbW9kZWwuc2F2ZV9wcmV0cmFpbmVkKG91dHB1dF9kaXIlMkMlMjBzYXZlX2Z1bmN0aW9uJTNEYWNjZWxlcmF0b3Iuc2F2ZSklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBpZiUyMGFjY2VsZXJhdG9yLmlzX21haW5fcHJvY2VzcyUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRva2VuaXplci5zYXZlX3ByZXRyYWluZWQob3V0cHV0X2RpciklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXBvLnB1c2hfdG9faHViKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGNvbW1pdF9tZXNzYWdlJTNEZiUyMlRyYWluaW5nJTIwaW4lMjBwcm9ncmVzcyUyMHN0ZXAlMjAlN0JzdGVwJTdEJTIyJTJDJTIwYmxvY2tpbmclM0RGYWxzZSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCk=",highlighted:`<span class="hljs-keyword">from</span> tqdm.notebook <span class="hljs-keyword">import</span> tqdm

gradient_accumulation_steps = <span class="hljs-number">8</span>
eval_steps = <span class="hljs-number">5_000</span>

model.train()
completed_steps = <span class="hljs-number">0</span>
<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_train_epochs):
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> tqdm(
        <span class="hljs-built_in">enumerate</span>(train_dataloader, start=<span class="hljs-number">1</span>), total=num_training_steps
    ):
        logits = model(batch[<span class="hljs-string">&quot;input_ids&quot;</span>]).logits
        loss = keytoken_weighted_loss(batch[<span class="hljs-string">&quot;input_ids&quot;</span>], logits, keytoken_ids)
        <span class="hljs-keyword">if</span> step % <span class="hljs-number">100</span> == <span class="hljs-number">0</span>:
            accelerator.<span class="hljs-built_in">print</span>(
                {
                    <span class="hljs-string">&quot;lr&quot;</span>: get_lr(),
                    <span class="hljs-string">&quot;samples&quot;</span>: step * samples_per_step,
                    <span class="hljs-string">&quot;steps&quot;</span>: completed_steps,
                    <span class="hljs-string">&quot;loss/train&quot;</span>: loss.item() * gradient_accumulation_steps,
                }
            )
        loss = loss / gradient_accumulation_steps
        accelerator.backward(loss)
        <span class="hljs-keyword">if</span> step % gradient_accumulation_steps == <span class="hljs-number">0</span>:
            accelerator.clip_grad_norm_(model.parameters(), <span class="hljs-number">1.0</span>)
            optimizer.step()
            lr_scheduler.step()
            optimizer.zero_grad()
            completed_steps += <span class="hljs-number">1</span>
        <span class="hljs-keyword">if</span> (step % (eval_steps * gradient_accumulation_steps)) == <span class="hljs-number">0</span>:
            eval_loss, perplexity = evaluate()
            accelerator.<span class="hljs-built_in">print</span>({<span class="hljs-string">&quot;loss/eval&quot;</span>: eval_loss, <span class="hljs-string">&quot;perplexity&quot;</span>: perplexity})
            model.train()
            accelerator.wait_for_everyone()
            unwrapped_model = accelerator.unwrap_model(model)
            unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)
            <span class="hljs-keyword">if</span> accelerator.is_main_process:
                tokenizer.save_pretrained(output_dir)
                repo.push_to_hub(
                    commit_message=<span class="hljs-string">f&quot;Training in progress step <span class="hljs-subst">{step}</span>&quot;</span>, blocking=<span class="hljs-literal">False</span>
                )`,wrap:!1}}),cn=new rl({props:{$$slots:{default:[Re]},$$scope:{ctx:f}}}),dn=new rl({props:{$$slots:{default:[We]},$$scope:{ctx:f}}}),{c(){o(s.$$.fragment),p=h(),a=T("p"),a.innerHTML=r,I=h(),o(g.$$.fragment),Z=h(),v=T("p"),v.innerHTML=_,u=h(),o(b.$$.fragment),$=h(),o(E.$$.fragment),W=h(),Q=T("p"),Q.textContent=k,G=h(),o(x.$$.fragment),Wn=h(),N=T("p"),N.textContent=ot,Vn=h(),B=T("ul"),B.innerHTML=Ut,zn=h(),A=T("p"),A.innerHTML=Jt,En=h(),o(F.$$.fragment),xn=h(),H=T("p"),H.textContent=dt,Nn=h(),o(Y.$$.fragment),ml=h(),hn=T("p"),hn.textContent=Zn,An=h(),o(S.$$.fragment),ul=h(),Mn=T("p"),Mn.innerHTML=$n,Fn=h(),o(q.$$.fragment),Hn=h(),D=T("p"),D.textContent=Tt,Yn=h(),o(L.$$.fragment),Sn=h(),K=T("p"),K.textContent=wt,qn=h(),o(P.$$.fragment),Dn=h(),o(O.$$.fragment),Ln=h(),nn=T("p"),nn.innerHTML=jt,Kn=h(),o(ln.$$.fragment),ol=h(),pn=T("p"),pn.innerHTML=Gn,Pn=h(),o(tn.$$.fragment),On=h(),o(V.$$.fragment),nl=h(),sn=T("p"),sn.textContent=gt,ll=h(),o(en.$$.fragment),tl=h(),an=T("p"),an.innerHTML=Ul,yn=h(),Bn=T("p"),Bn.textContent=Jl,rn=h(),o(mn.$$.fragment),un=h(),o(on.$$.fragment),Un=h(),Qn=T("p"),Qn.innerHTML=dl,Jn=h(),o(Xn.$$.fragment),sl=h(),z=T("p"),z.textContent=bt,el=h(),o(cn.$$.fragment),Tl=h(),o(dn.$$.fragment)},l(l){U(s.$$.fragment,l),p=M(l),a=w(l,"P",{"data-svelte-h":!0}),j(a)!=="svelte-1vewyf9"&&(a.innerHTML=r),I=M(l),U(g.$$.fragment,l),Z=M(l),v=w(l,"P",{"data-svelte-h":!0}),j(v)!=="svelte-8va5r4"&&(v.innerHTML=_),u=M(l),U(b.$$.fragment,l),$=M(l),U(E.$$.fragment,l),W=M(l),Q=w(l,"P",{"data-svelte-h":!0}),j(Q)!=="svelte-18r7luv"&&(Q.textContent=k),G=M(l),U(x.$$.fragment,l),Wn=M(l),N=w(l,"P",{"data-svelte-h":!0}),j(N)!=="svelte-1nl7e8g"&&(N.textContent=ot),Vn=M(l),B=w(l,"UL",{"data-svelte-h":!0}),j(B)!=="svelte-1eeh5l0"&&(B.innerHTML=Ut),zn=M(l),A=w(l,"P",{"data-svelte-h":!0}),j(A)!=="svelte-cvfykb"&&(A.innerHTML=Jt),En=M(l),U(F.$$.fragment,l),xn=M(l),H=w(l,"P",{"data-svelte-h":!0}),j(H)!=="svelte-1brlfd1"&&(H.textContent=dt),Nn=M(l),U(Y.$$.fragment,l),ml=M(l),hn=w(l,"P",{"data-svelte-h":!0}),j(hn)!=="svelte-rph45a"&&(hn.textContent=Zn),An=M(l),U(S.$$.fragment,l),ul=M(l),Mn=w(l,"P",{"data-svelte-h":!0}),j(Mn)!=="svelte-1kb675m"&&(Mn.innerHTML=$n),Fn=M(l),U(q.$$.fragment,l),Hn=M(l),D=w(l,"P",{"data-svelte-h":!0}),j(D)!=="svelte-hixzbv"&&(D.textContent=Tt),Yn=M(l),U(L.$$.fragment,l),Sn=M(l),K=w(l,"P",{"data-svelte-h":!0}),j(K)!=="svelte-1gv3xqc"&&(K.textContent=wt),qn=M(l),U(P.$$.fragment,l),Dn=M(l),U(O.$$.fragment,l),Ln=M(l),nn=w(l,"P",{"data-svelte-h":!0}),j(nn)!=="svelte-kuut9i"&&(nn.innerHTML=jt),Kn=M(l),U(ln.$$.fragment,l),ol=M(l),pn=w(l,"P",{"data-svelte-h":!0}),j(pn)!=="svelte-1qje6yv"&&(pn.innerHTML=Gn),Pn=M(l),U(tn.$$.fragment,l),On=M(l),U(V.$$.fragment,l),nl=M(l),sn=w(l,"P",{"data-svelte-h":!0}),j(sn)!=="svelte-1d94osl"&&(sn.textContent=gt),ll=M(l),U(en.$$.fragment,l),tl=M(l),an=w(l,"P",{"data-svelte-h":!0}),j(an)!=="svelte-ahqxuc"&&(an.innerHTML=Ul),yn=M(l),Bn=w(l,"P",{"data-svelte-h":!0}),j(Bn)!=="svelte-1od24gd"&&(Bn.textContent=Jl),rn=M(l),U(mn.$$.fragment,l),un=M(l),U(on.$$.fragment,l),Un=M(l),Qn=w(l,"P",{"data-svelte-h":!0}),j(Qn)!=="svelte-1mba7nl"&&(Qn.innerHTML=dl),Jn=M(l),U(Xn.$$.fragment,l),sl=M(l),z=w(l,"P",{"data-svelte-h":!0}),j(z)!=="svelte-htymai"&&(z.textContent=bt),el=M(l),U(cn.$$.fragment,l),Tl=M(l),U(dn.$$.fragment,l)},m(l,m){J(s,l,m),e(l,p,m),e(l,a,m),e(l,I,m),J(g,l,m),e(l,Z,m),e(l,v,m),e(l,u,m),J(b,l,m),e(l,$,m),J(E,l,m),e(l,W,m),e(l,Q,m),e(l,G,m),J(x,l,m),e(l,Wn,m),e(l,N,m),e(l,Vn,m),e(l,B,m),e(l,zn,m),e(l,A,m),e(l,En,m),J(F,l,m),e(l,xn,m),e(l,H,m),e(l,Nn,m),J(Y,l,m),e(l,ml,m),e(l,hn,m),e(l,An,m),J(S,l,m),e(l,ul,m),e(l,Mn,m),e(l,Fn,m),J(q,l,m),e(l,Hn,m),e(l,D,m),e(l,Yn,m),J(L,l,m),e(l,Sn,m),e(l,K,m),e(l,qn,m),J(P,l,m),e(l,Dn,m),J(O,l,m),e(l,Ln,m),e(l,nn,m),e(l,Kn,m),J(ln,l,m),e(l,ol,m),e(l,pn,m),e(l,Pn,m),J(tn,l,m),e(l,On,m),J(V,l,m),e(l,nl,m),e(l,sn,m),e(l,ll,m),J(en,l,m),e(l,tl,m),e(l,an,m),e(l,yn,m),e(l,Bn,m),e(l,rn,m),J(mn,l,m),e(l,un,m),J(on,l,m),e(l,Un,m),e(l,Qn,m),e(l,Jn,m),J(Xn,l,m),e(l,sl,m),e(l,z,m),e(l,el,m),J(cn,l,m),e(l,Tl,m),J(dn,l,m),Tn=!0},i(l){Tn||(i(s.$$.fragment,l),i(g.$$.fragment,l),i(b.$$.fragment,l),i(E.$$.fragment,l),i(x.$$.fragment,l),i(F.$$.fragment,l),i(Y.$$.fragment,l),i(S.$$.fragment,l),i(q.$$.fragment,l),i(L.$$.fragment,l),i(P.$$.fragment,l),i(O.$$.fragment,l),i(ln.$$.fragment,l),i(tn.$$.fragment,l),i(V.$$.fragment,l),i(en.$$.fragment,l),i(mn.$$.fragment,l),i(on.$$.fragment,l),i(Xn.$$.fragment,l),i(cn.$$.fragment,l),i(dn.$$.fragment,l),Tn=!0)},o(l){y(s.$$.fragment,l),y(g.$$.fragment,l),y(b.$$.fragment,l),y(E.$$.fragment,l),y(x.$$.fragment,l),y(F.$$.fragment,l),y(Y.$$.fragment,l),y(S.$$.fragment,l),y(q.$$.fragment,l),y(L.$$.fragment,l),y(P.$$.fragment,l),y(O.$$.fragment,l),y(ln.$$.fragment,l),y(tn.$$.fragment,l),y(V.$$.fragment,l),y(en.$$.fragment,l),y(mn.$$.fragment,l),y(on.$$.fragment,l),y(Xn.$$.fragment,l),y(cn.$$.fragment,l),y(dn.$$.fragment,l),Tn=!1},d(l){l&&(t(p),t(a),t(I),t(Z),t(v),t(u),t($),t(W),t(Q),t(G),t(Wn),t(N),t(Vn),t(B),t(zn),t(A),t(En),t(xn),t(H),t(Nn),t(ml),t(hn),t(An),t(ul),t(Mn),t(Fn),t(Hn),t(D),t(Yn),t(Sn),t(K),t(qn),t(Dn),t(Ln),t(nn),t(Kn),t(ol),t(pn),t(Pn),t(On),t(nl),t(sn),t(ll),t(tl),t(an),t(yn),t(Bn),t(rn),t(un),t(Un),t(Qn),t(Jn),t(sl),t(z),t(el),t(Tl)),d(s,l),d(g,l),d(b,l),d(E,l),d(x,l),d(F,l),d(Y,l),d(S,l),d(q,l),d(L,l),d(P,l),d(O,l),d(ln,l),d(tn,l),d(V,l),d(en,l),d(mn,l),d(on,l),d(Xn,l),d(cn,l),d(dn,l)}}}function Xe(f){let s,p='🚨 Nếu bạn đang huấn luyện trên TPU, bạn sẽ cần chuyển tất cả mã bắt đầu từ ô ở trên vào một hàm huấn luyện chuyên dụng. Xem <a href="/course/chapter3">Chapter 3</a> để biết thêm chi tiết.';return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-zowcw2"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},p:at,d(a){a&&t(s)}}}function Re(f){let s,p="✏️ <strong>Thử nghiệm thôi!</strong> Hoặc tạo hàm mất tùy chỉnh của riêng bạn phù hợp với trường hợp sử dụng của bạn hoặc thêm một bước tùy chỉnh khác vào vòng lặp huấn luyện.";return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-1mik5sy"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},p:at,d(a){a&&t(s)}}}function We(f){let s,p="✏️ <strong>Thử nghiệm thôi!</strong> Khi chạy các thử nghiệm huấn luyện dài, bạn nên ghi lại các chỉ số quan trọng bằng cách sử dụng các công cụ như TensorBoard hoặc Weights &amp; Biases. Thêm ghi nhật ký thích hợp vào vòng lặp huấn luyện để bạn luôn có thể kiểm tra quá trình huấn luyện diễn ra như thế nào.";return{c(){s=T("p"),s.innerHTML=p},l(a){s=w(a,"P",{"data-svelte-h":!0}),j(s)!=="svelte-1og2cda"&&(s.innerHTML=p)},m(a,r){e(a,s,r)},p:at,d(a){a&&t(s)}}}function Ve(f){let s,p,a,r,I,g,Z,v,_,u,b,$,E='Cho đến thời điểm hiện tại, chúng ta chủ yếu sử dụng các mô hình được huấn luyện trước và tinh chỉnh chúng cho các trường hợp sử dụng mới bằng cách sử dụng lại các trọng số từ huấn luyện trước. Như chúng ta đã thấy trong <a href="/course/chapter1">Chương 1</a>, điều này thường được gọi là <em>transfer learning</em> hay <em>học chuyển giao</em>, và đó là một chiến lược rất thành công để áp dụng các mô hình Transformer cho hầu hết các trường hợp sử dụng trong thế giới thực nơi dữ liệu được gắn nhãn là thưa thớt. Trong chương này, chúng ta sẽ thực hiện một cách tiếp cận khác và huấn luyện một mô hình hoàn toàn mới từ đầu. Đây là một cách tiếp cận tốt để thực hiện nếu bạn có nhiều dữ liệu và nó rất khác với dữ liệu huấn luyện trước được sử dụng cho các mô hình có sẵn. Tuy nhiên, nó cũng đòi hỏi nhiều tài nguyên máy tính hơn đáng kể để huấn luyện trước một mô hình ngôn ngữ hơn là chỉ để tinh chỉnh mô hình hiện có. Các ví dụ có thể có ý nghĩa khi huấn luyện một mô hình mới bao gồm các tập dữ liệu bao gồm các nốt nhạc, trình tự phân tử như DNA hoặc ngôn ngữ lập trình. Công cụ thứ hai gần đây đã đạt được sức hút nhờ các công cụ như TabNine và GitHub’s Copilot, được hỗ trợ bởi mô hình Codex của OpenAI, có thể tạo ra các chuỗi mã dài. Tác vụ tạo văn bản này được giải quyết tốt nhất với các mô hình ngôn ngữ tự động hồi quy hoặc nhân quả như GPT-2.',W,Q,k="Trong phần này, chúng ta sẽ xây dựng một phiên bản thu nhỏ của mô hình tạo mã: chúng ta sẽ tập trung vào các hoàn thành một dòng thay vì các hàm hoặc lớp đầy đủ, sử dụng một tập hợp con mã Python. Khi làm việc với dữ liệu bằng Python, bạn thường xuyên tiếp xúc với bộ khoa học dữ liệu Python, bao gồm các thư viện <code>matplotlib</code>, <code>seaborn</code>, <code>pandas</code> và <code>scikit-learn</code>. Khi sử dụng chúng, thông thường cần phải tra cứu các lệnh cụ thể, vì vậy sẽ rất tuyệt nếu chúng ta có thể sử dụng một mô hình để hoàn thành các lệnh gọi này cho chúng ta.",G,x,Wn,N,ot='Trong <a href="/course/chapter6">Chương 6</a>, chúng ta đã tạo một trình tokenize hiệu quả để xử lý mã nguồn Python, nhưng những gì chúng ta vẫn cần là một tập dữ liệu quy mô lớn để huấn luyện trước một mô hình. Ở đây, chúng ta sẽ áp dụng tokenizer cho một kho lưu trữ mã Python có nguồn gốc từ kho lưu trữ GitHub. Sau đó, chúng ta sẽ sử dụng API <code>Trainer</code> và 🤗 Accelerate để huấn luyện mô hình. Chúng ta hãy đi đến đó!',Vn,B,Ut,zn,A,Jt='Đây thực sự cách mô hình đã được huấn luyện và tải lên Hub bằng cách sử dụng mã được hiển thị trong phần này. Bạn có thể tìm thấy nó <a href="https://huggingface.co/huggingface-course/codeparrot-ds?text=plt.imshow%28" rel="nofollow">tại đây</a>. Lưu ý rằng vì có một số ngẫu nhiên xảy ra trong quá trình tạo văn bản, bạn có thể sẽ nhận được một kết quả hơi khác.',En,F,xn,H,dt='Mã Python có sẵn rất nhiều từ các kho mã như GitHub, mà chúng ta có thể sử dụng để tạo tập dữ liệu bằng cách đào mọi kho lưu trữ Python. Đây là phương pháp được thực hiện trong <a href="https://learning.oreilly.com/library/view/natural-language-processing/9781098103231/" rel="nofollow">sách giáo khoa về Transformers</a> để huấn luyện trước một mô hình GPT-2 lớn. Sử dụng kết xuất GitHub khoảng 180 GB chứa khoảng 20 triệu tệp Python có tên là <code>codeparrot</code>, các tác giả đã xây dựng một tập dữ liệu mà sau đó họ chia sẻ trên <a href="https://huggingface.co/datasets/transformersbook/codeparrot" rel="nofollow">Hugging Face Hub</a> .',Nn,Y,ml="Tuy nhiên, việc huấn luyện trên toàn bộ ngữ liệu này tốn nhiều thời gian và tính toán, và chúng ta chỉ cần tập con của tập dữ liệu liên quan đến ngăn xếp khoa học dữ liệu Python. Vì vậy, hãy bắt đầu bằng cách lọc tập dữ liệu <code>codeparrot</code> cho tất cả các tệp bao gồm bất kỳ thư viện nào trong ngăn xếp này. Do kích thước của tập dữ liệu, chúng ta muốn tránh tải nó xuống; thay vào đó, ta sẽ sử dụng tính năng phát trực tuyến để lọc nó một cách nhanh chóng. Để giúp chúng ta lọc các mẫu mã bằng cách sử dụng các thư viện đã đề cập trước đó, ta sẽ sử dụng hàm sau:",hn,Zn,An,S,ul="Hãy kiểm tra nó trên hai ví dụ:",Mn,$n,Fn,q,Hn,D,Tt="Chúng ta có thể sử dụng điều này để tạo một hàm sẽ truyền trực tuyến tập dữ liệu và lọc các phần tử ta muốn:",Yn,L,Sn,K,wt="Sau đó, chúng ta có thể chỉ cần áp dụng chức năng này cho tập dữ liệu phát trực tuyến:",qn,P,Dn,O,Ln,nn,jt="Điều này để lại cho chúng ta khoảng 3% tập dữ liệu ban đầu, vẫn còn khá lớn - tập dữ liệu kết quả là 6GB và bao gồm 600,000 tập lệnh Python!",Kn,ln,ol="Việc lọc toàn bộ tập dữ liệu có thể mất 2-3 giờ tùy thuộc vào máy và băng thông của bạn. Nếu bạn không muốn tự mình trải qua quá trình kéo dài này, chúng ta cung cấp tập dữ liệu đã lọc trên Hub để bạn tải xuống:",pn,Gn,Pn,tn,On,V,nl,sn,gt="Hãy xem một ví dụ từ tập dữ liệu. Chúng ta sẽ chỉ hiển thị 200 ký tự đầu tiên của mỗi trường:",ll,en,tl,an,Ul,yn,Bn="Chúng ta có thể thấy rằng trường <code>content</code> chứa mã mà chúng ta muốn mô hình của mình huấn luyện. Bây giờ chúng ta đã có một tập dữ liệu, chúng ta cần chuẩn bị các văn bản để chúng có định dạng phù hợp để huấn luyện trước.",Jl,rn,mn,un,on,Un,Qn="Bước đầu tiên sẽ là tokenize dữ liệu để chúng ta có thể sử dụng nó để huấn luyện. Vì mục tiêu của chúng ta chủ yếu là tự động hoàn thành các lệnh gọi hàm ngắn, chúng ta có thể giữ kích thước ngữ cảnh tương đối nhỏ. Điều này có lợi ích là chúng ta có thể huấn luyện mô hình nhanh hơn nhiều và nó cần ít bộ nhớ hơn đáng kể. Nếu điều quan trọng là ứng dụng của bạn phải có nhiều ngữ cảnh hơn (ví dụ: nếu bạn muốn mô hình viết các bài kiểm tra đơn vị dựa trên tệp có định nghĩa hàm), hãy đảm bảo bạn tăng con số đó, nhưng cũng lưu ý rằng điều này đi kèm với bộ nhớ GPU lớn hơn. Hiện tại, hãy sửa kích thước ngữ cảnh ở 128 token, trái ngược với 1,024 hoặc 2,048 được sử dụng trong GPT-2 hoặc GPT-3, tương ứng.",dl,Jn,Xn='Hầu hết các tài liệu chứa nhiều hơn 128 token, vì vậy chỉ cần cắt bớt đầu vào đến độ dài tối đa sẽ loại bỏ một phần lớn tập dữ liệu của mình. Thay vào đó, chúng ta sẽ sử dụng tùy chọn <code>return_overflowing_tokens</code> để token toàn bộ đầu vào và chia nó thành nhiều phần, như chúng ta đã làm trong <a href="/course/chapter6/4">Chương 6</a>. Chúng ta cũng sẽ sử dụng tùy chọn <code>return_length</code> để tự động trả về độ dài của mỗi đoạn được tạo. Thường thì phần cuối cùng sẽ nhỏ hơn kích thước ngữ cảnh và chúng ta sẽ loại bỏ những phần này để tránh các vấn đề về phần đệm; chúng ta không thực sự cần chúng vì dù sao chúng ta cũng có nhiều dữ liệu.',sl,z,bt='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts.svg" alt="Chunking a large texts in several pieces."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/chunking_texts-dark.svg" alt="Chunking a large texts in several pieces."/>',el,cn,Tl="Hãy xem chính xác cách thức hoạt động của điều này bằng cách xem hai ví dụ đầu tiên:",dn,Tn,l,m,ft,wl,Ts="Chúng ta có thể thấy rằng chúng ta nhận được tổng cộng 34 phân đoạn từ hai ví dụ đó. Nhìn vào độ dài phân đoạn, chúng ta có thể thấy rằng các đoạn ở cuối cả hai tài liệu có ít hơn 128 token (tương ứng là 117 và 41). Chúng chỉ đại diện cho một phần nhỏ trong tổng số các khối mà chúng ta có, vì vậy chúng ta có thể vứt chúng đi một cách an toàn. Với trường <code>overflow_to_sample_mapping</code>, chúng ta cũng có thể tạo lại các phần thuộc về mẫu đầu vào nào.",It,jl,ws='Với thao tác này, chúng ta đang sử dụng một tính năng tiện dụng của hàm <code>Dataset.map()</code> trong 🤗 Datasets, đó là nó không yêu cầu ánh xạ 1-1; như chúng ta đã thấy trong <a href="/course/chapter7/3">phần 3</a>, chúng ta có thể tạo các lô có nhiều phần tử hơn hoặc ít hơn lô đầu vào. Điều này rất hữu ích khi thực hiện các hoạt động như tăng dữ liệu hoặc lọc dữ liệu làm thay đổi số lượng phần tử. Trong trường hợp của chúng ta, khi tokenize mỗi phần tử thành các phần có kích thước ngữ cảnh được chỉ định, chúng ta tạo nhiều mẫu từ mỗi tài liệu. Chúng ta chỉ cần đảm bảo xóa các cột hiện có, vì chúng có kích thước xung đột. Nếu chúng ta muốn giữ chúng, chúng ta có thể lặp lại chúng một cách thích hợp và trả lại chúng trong lệnh gọi <code>Dataset.map()</code>:',kt,gl,_t,bl,vt,Cl,js="Hiện chúng ta có 16,7 triệu ví dụ với 128 token mỗi ví dụ, tương ứng với tổng cộng khoảng 2,1 tỷ token. Để tham khảo, các mô hình GPT-3 và Codex của OpenAI được huấn luyện trên 300 và 100 tỷ token tương ứng, trong đó các mô hình Codex được khởi tạo từ các checkpoint GPT-3. Mục tiêu của chúng ta trong phần này không phải là cạnh tranh với các mô hình này, có thể tạo ra các văn bản dài, mạch lạc, mà là tạo ra một phiên bản thu nhỏ cung cấp chức năng tự động hoàn thành nhanh chóng cho các nhà khoa học dữ liệu.",Zt,fl,gs="Bây giờ chúng ta đã có tập dữ liệu sẵn sàng, hãy thiết lập mô hình!",$t,cl,Gt,Il,Bt,kl,bs="Bước đầu tiên của chúng ta là khởi chạy mới mô hình GPT-2. Chúng ta sẽ sử dụng cùng một cấu hình cho mô hình của mình như cho mô hình GPT-2 nhỏ, vì vậy chúng ta tải cấu hình định sẵn, đảm bảo rằng kích thước tokenizer khớp với kích thước từ vựng của mô hình và chuyển <code>bos</code> và <code>eos</code> (bắt đầu và cuối chuỗi) token ID:",Qt,wn,jn,ct,_l,Cs="Mô hình của chúng ta có 124 triệu thông số mà ta sẽ phải điều chỉnh. Trước khi có thể bắt đầu huấn luyện, chúng ta cần thiết lập một bộ đối chiếu dữ liệu sẽ đảm nhận việc tạo các lô. Chúng ta có thể sử dụng trình cắt ghép <code>DataCollatorForLanguageModeling</code>, được thiết kế đặc biệt cho mô hình ngôn ngữ (như tên gọi gợi ý một cách tinh tế). Bên cạnh việc xếp chồng và đệm các lô, nó cũng đảm nhận việc tạo các nhãn của mô hình ngôn ngữ - trong mô hình ngôn ngữ nhân quả, các đầu vào cũng đóng vai trò là nhãn (chỉ được dịch chuyển bởi một phần tử) và trình đối chiếu dữ liệu này tạo chúng nhanh chóng trong quá trình huấn luyện, vì vậy chúng tôi ta không cần sao chép <code>input_ids</code>.",Xt,vl,fs="Lưu ý rằng <code>DataCollatorForLanguageModeling</code> hỗ trợ cả mô hình hóa ngôn ngữ bị ẩn đi (MLM) và mô hình ngôn ngữ nhân quả (CLM). Theo mặc định, nó chuẩn bị dữ liệu cho MLM, nhưng chúng ta có thể chuyển sang CLM bằng cách đặt đối số <code>mlm=False</code>:",Rt,gn,bn,ht,Zl,Is="Hãy xem một ví dụ:",Wt,$l,Vt,Cn,fn,Mt,Gl,ks="Chúng ta có thể thấy rằng các ví dụ đã được xếp chồng lên nhau và tất cả các tensor có cùng hình dạng.",zt,pt,hl,Et,Bl,_s="Bây giờ chúng ta có mọi thứ để thực sự huấn luyện mô hình của mình - đó không phải là quá nhiều công việc! Trước khi bắt đầu luyện tập, chúng ta nên đăng nhập vào Hugging Face. Nếu bạn đang làm việc trong notebook, bạn có thể làm như vậy với hàm tiện ích sau:",xt,Ql,Nt,Xl,vs="Thao tác này sẽ hiển thị một tiện ích mà bạn có thể nhập thông tin đăng nhập Hugging Face của mình.",At,Rl,Zs="Nếu bạn không làm việc trong notebook, chỉ cần nhập dòng sau vào thiết bị đầu cuối của bạn:",Ft,Wl,Ht,In,kn,it,Ml,Yt,pl,St,Vl,qt,zl,$s="Bây giờ là thời điểm của sự thật: chúng ta hãy xem mô hình được huấn luyện thực sự hoạt động tốt như thế nào! Chúng ta có thể thấy trong nhật ký rằng mất mát đã giảm đều đặn, nhưng để đưa mô hình vào thử nghiệm, chúng ta hãy xem nó hoạt động tốt như thế nào trên một số lời nhắc. Để làm điều đó, chúng ta sẽ bao bọc mô hình trong một <code>pipeline</code> tạo văn bản và chúng ta sẽ đưa nó vào GPU cho các thế hệ nhanh nếu có sẵn:",Dt,_n,vn,yt,El,Gs="Hãy bắt đầu với tác vụ đơn giản là tạo một biểu đồ phân tán:",Lt,xl,Kt,Nl,Pt,Al,Bs="Kết quả có vẻ chính xác. Nó cũng hoạt động với <code>pandas</code>? Hãy xem liệu chúng ta có thể tạo một <code>DataFrame</code> từ hai mảng không:",Ot,Fl,ns,Hl,ls,Yl,Qs="Thật tuyệt, đó là câu trả lời chính xác - mặc dù sau đó nó lại chèn thêm cột <code>x</code>. Vì số lượng token được tạo có giới hạn, vòng lặp <code>for</code> sau đây sẽ bị cắt. Hãy xem liệu chúng ta có thể làm điều gì đó phức tạp hơn một chút và để mô hình giúp chúng ta sử dụng hoạt động <code>groupby</code>:",ts,Sl,ss,ql,es,Dl,Xs="Không tệ; đó là cách làm đúng. Cuối cùng, hãy xem liệu chúng ta có thể sử dụng nó cho <code>scikit-learn</code> và thiết lập mô hình Random Forest hay không:",as,Ll,cs,Kl,hs,rt,mt,Pl,Ms,Ct,ps;I=new re({props:{fw:f[0]}}),Z=new ut({props:{title:"THuấn luyện một mô hình ngôn ngữ nhân quả từ đầu",local:"thuấn-luyện-một-mô-hình-ngôn-ngữ-nhân-quả-từ-đầu",headingTag:"h1"}});const Rs=[oe,ue],Ol=[];function Ws(n,c){return n[0]==="pt"?0:1}_=Ws(f),u=Ol[_]=Rs[_](f),x=new ds({props:{id:"Vpjb1lu0MDk"}}),F=new ut({props:{title:"Thu thập dữ liệu",local:"thu-thập-dữ-liệu",headingTag:"h2"}}),Zn=new C({props:{code:"ZGVmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHN0cmluZyUyQyUyMGtleXdvcmRzKSUzQSUwQSUyMCUyMCUyMCUyMGZvciUyMGtleXdvcmQlMjBpbiUyMGtleXdvcmRzJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBrZXl3b3JkJTIwaW4lMjBzdHJpbmclM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm4lMjBUcnVlJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwRmFsc2U=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">any_keyword_in_string</span>(<span class="hljs-params">string, keywords</span>):
    <span class="hljs-keyword">for</span> keyword <span class="hljs-keyword">in</span> keywords:
        <span class="hljs-keyword">if</span> keyword <span class="hljs-keyword">in</span> string:
            <span class="hljs-keyword">return</span> <span class="hljs-literal">True</span>
    <span class="hljs-keyword">return</span> <span class="hljs-literal">False</span>`,wrap:!1}}),$n=new C({props:{code:"ZmlsdGVycyUyMCUzRCUyMCU1QiUyMnBhbmRhcyUyMiUyQyUyMCUyMnNrbGVhcm4lMjIlMkMlMjAlMjJtYXRwbG90bGliJTIyJTJDJTIwJTIyc2VhYm9ybiUyMiU1RCUwQWV4YW1wbGVfMSUyMCUzRCUyMCUyMmltcG9ydCUyMG51bXB5JTIwYXMlMjBucCUyMiUwQWV4YW1wbGVfMiUyMCUzRCUyMCUyMmltcG9ydCUyMHBhbmRhcyUyMGFzJTIwcGQlMjIlMEElMEFwcmludCglMEElMjAlMjAlMjAlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8xJTJDJTIwZmlsdGVycyklMkMlMjBhbnlfa2V5d29yZF9pbl9zdHJpbmcoZXhhbXBsZV8yJTJDJTIwZmlsdGVycyklMEEp",highlighted:`filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]
example_1 = <span class="hljs-string">&quot;import numpy as np&quot;</span>
example_2 = <span class="hljs-string">&quot;import pandas as pd&quot;</span>

<span class="hljs-built_in">print</span>(
    any_keyword_in_string(example_1, filters), any_keyword_in_string(example_2, filters)
)`,wrap:!1}}),q=new C({props:{code:"RmFsc2UlMjBUcnVl",highlighted:'<span class="hljs-literal">False</span> <span class="hljs-literal">True</span>',wrap:!1}}),L=new C({props:{code:"ZnJvbSUyMGNvbGxlY3Rpb25zJTIwaW1wb3J0JTIwZGVmYXVsdGRpY3QlMEFmcm9tJTIwdHFkbSUyMGltcG9ydCUyMHRxZG0lMEFmcm9tJTIwZGF0YXNldHMlMjBpbXBvcnQlMjBEYXRhc2V0JTBBJTBBJTBBZGVmJTIwZmlsdGVyX3N0cmVhbWluZ19kYXRhc2V0KGRhdGFzZXQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlMjAlM0QlMjBkZWZhdWx0ZGljdChsaXN0KSUwQSUyMCUyMCUyMCUyMHRvdGFsJTIwJTNEJTIwMCUwQSUyMCUyMCUyMCUyMGZvciUyMHNhbXBsZSUyMGluJTIwdHFkbShpdGVyKGRhdGFzZXQpKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHRvdGFsJTIwJTJCJTNEJTIwMSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlmJTIwYW55X2tleXdvcmRfaW5fc3RyaW5nKHNhbXBsZSU1QiUyMmNvbnRlbnQlMjIlNUQlMkMlMjBmaWx0ZXJzKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZvciUyMGslMkMlMjB2JTIwaW4lMjBzYW1wbGUuaXRlbXMoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZpbHRlcmVkX2RpY3QlNUJrJTVELmFwcGVuZCh2KSUwQSUyMCUyMCUyMCUyMHByaW50KGYlMjIlN0JsZW4oZmlsdGVyZWRfZGljdCU1Qidjb250ZW50JyU1RCklMkZ0b3RhbCUzQS4yJTI1JTdEJTIwb2YlMjBkYXRhJTIwYWZ0ZXIlMjBmaWx0ZXJpbmcuJTIyKSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMERhdGFzZXQuZnJvbV9kaWN0KGZpbHRlcmVkX2RpY3Qp",highlighted:`<span class="hljs-keyword">from</span> collections <span class="hljs-keyword">import</span> defaultdict
<span class="hljs-keyword">from</span> tqdm <span class="hljs-keyword">import</span> tqdm
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> Dataset


<span class="hljs-keyword">def</span> <span class="hljs-title function_">filter_streaming_dataset</span>(<span class="hljs-params">dataset, filters</span>):
    filtered_dict = defaultdict(<span class="hljs-built_in">list</span>)
    total = <span class="hljs-number">0</span>
    <span class="hljs-keyword">for</span> sample <span class="hljs-keyword">in</span> tqdm(<span class="hljs-built_in">iter</span>(dataset)):
        total += <span class="hljs-number">1</span>
        <span class="hljs-keyword">if</span> any_keyword_in_string(sample[<span class="hljs-string">&quot;content&quot;</span>], filters):
            <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> sample.items():
                filtered_dict[k].append(v)
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{<span class="hljs-built_in">len</span>(filtered_dict[<span class="hljs-string">&#x27;content&#x27;</span>])/total:<span class="hljs-number">.2</span>%}</span> of data after filtering.&quot;</span>)
    <span class="hljs-keyword">return</span> Dataset.from_dict(filtered_dict)`,wrap:!1}}),P=new C({props:{code:"JTIzJTIwJUMzJTk0JTIwbiVDMyVBMHklMjBzJUUxJUJBJUJEJTIwbSVFMSVCQSVBNXQlMjByJUUxJUJBJUE1dCUyMG5oaSVFMSVCQiU4MXUlMjB0aCVFMSVCQiU5RGklMjBnaWFuJTIwJUM0JTkxJUUxJUJCJTgzJTIwdGglRTElQkIlQjFjJTIwdGhpJTJDJTIwdiVDMyVBQyUyMHYlRTElQkElQUR5JTIwYiVFMSVCQSVBMW4lMjBuJUMzJUFBbiUyMGIlRTElQkIlOEYlMjBxdWElMjB2JUMzJUEwJTIwY2h1eSVFMSVCQiU4M24lMjAlQzQlOTElRTElQkElQkZuJTBBJTIzJTIwYyVDMyVBMWklMjB0aSVFMSVCQSVCRnAlMjB0aGVvISUwQWZyb20lMjBkYXRhc2V0cyUyMGltcG9ydCUyMGxvYWRfZGF0YXNldCUwQSUwQXNwbGl0JTIwJTNEJTIwJTIydHJhaW4lMjIlMjAlMjAlMjMlMjAlMjJ2YWxpZCUyMiUwQWZpbHRlcnMlMjAlM0QlMjAlNUIlMjJwYW5kYXMlMjIlMkMlMjAlMjJza2xlYXJuJTIyJTJDJTIwJTIybWF0cGxvdGxpYiUyMiUyQyUyMCUyMnNlYWJvcm4lMjIlNUQlMEElMEFkYXRhJTIwJTNEJTIwbG9hZF9kYXRhc2V0KGYlMjJ0cmFuc2Zvcm1lcnNib29rJTJGY29kZXBhcnJvdC0lN0JzcGxpdCU3RCUyMiUyQyUyMHNwbGl0JTNEc3BsaXQlMkMlMjBzdHJlYW1pbmclM0RUcnVlKSUwQWZpbHRlcmVkX2RhdGElMjAlM0QlMjBmaWx0ZXJfc3RyZWFtaW5nX2RhdGFzZXQoZGF0YSUyQyUyMGZpbHRlcnMp",highlighted:`<span class="hljs-comment"># Ô này sẽ mất rất nhiều thời gian để thực thi, vì vậy bạn nên bỏ qua và chuyển đến</span>
<span class="hljs-comment"># cái tiếp theo!</span>
<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

split = <span class="hljs-string">&quot;train&quot;</span>  <span class="hljs-comment"># &quot;valid&quot;</span>
filters = [<span class="hljs-string">&quot;pandas&quot;</span>, <span class="hljs-string">&quot;sklearn&quot;</span>, <span class="hljs-string">&quot;matplotlib&quot;</span>, <span class="hljs-string">&quot;seaborn&quot;</span>]

data = load_dataset(<span class="hljs-string">f&quot;transformersbook/codeparrot-<span class="hljs-subst">{split}</span>&quot;</span>, split=split, streaming=<span class="hljs-literal">True</span>)
filtered_data = filter_streaming_dataset(data, filters)`,wrap:!1}}),O=new C({props:{code:"My4yNiUyNSUyMG9mJTIwZGF0YSUyMGFmdGVyJTIwZmlsdGVyaW5nLg==",highlighted:'<span class="hljs-number">3.26</span>% of data after filtering.',wrap:!1}}),Gn=new C({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTJDJTIwRGF0YXNldERpY3QlMEElMEFkc190cmFpbiUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXRyYWluJTIyJTJDJTIwc3BsaXQlM0QlMjJ0cmFpbiUyMiklMEFkc192YWxpZCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJodWdnaW5nZmFjZS1jb3Vyc2UlMkZjb2RlcGFycm90LWRzLXZhbGlkJTIyJTJDJTIwc3BsaXQlM0QlMjJ2YWxpZGF0aW9uJTIyKSUwQSUwQXJhd19kYXRhc2V0cyUyMCUzRCUyMERhdGFzZXREaWN0KCUwQSUyMCUyMCUyMCUyMCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMnRyYWluJTIyJTNBJTIwZHNfdHJhaW4lMkMlMjAlMjAlMjMlMjAuc2h1ZmZsZSgpLnNlbGVjdChyYW5nZSg1MDAwMCkpJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIydmFsaWQlMjIlM0ElMjBkc192YWxpZCUyQyUyMCUyMCUyMyUyMC5zaHVmZmxlKCkuc2VsZWN0KHJhbmdlKDUwMCkpJTBBJTIwJTIwJTIwJTIwJTdEJTBBKSUwQSUwQXJhd19kYXRhc2V0cw==",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset, DatasetDict

ds_train = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-train&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)
ds_valid = load_dataset(<span class="hljs-string">&quot;huggingface-course/codeparrot-ds-valid&quot;</span>, split=<span class="hljs-string">&quot;validation&quot;</span>)

raw_datasets = DatasetDict(
    {
        <span class="hljs-string">&quot;train&quot;</span>: ds_train,  <span class="hljs-comment"># .shuffle().select(range(50000)),</span>
        <span class="hljs-string">&quot;valid&quot;</span>: ds_valid,  <span class="hljs-comment"># .shuffle().select(range(500))</span>
    }
)

raw_datasets`,wrap:!1}}),tn=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3JlcG9fbmFtZSclMkMlMjAncGF0aCclMkMlMjAnY29waWVzJyUyQyUyMCdzaXplJyUyQyUyMCdjb250ZW50JyUyQyUyMCdsaWNlbnNlJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNjA2NzIwJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidyZXBvX25hbWUnJTJDJTIwJ3BhdGgnJTJDJTIwJ2NvcGllcyclMkMlMjAnc2l6ZSclMkMlMjAnY29udGVudCclMkMlMjAnbGljZW5zZSclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDMzMjIlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
        num_rows: <span class="hljs-number">606720</span>
    })
    valid: Dataset({
        features: [<span class="hljs-string">&#x27;repo_name&#x27;</span>, <span class="hljs-string">&#x27;path&#x27;</span>, <span class="hljs-string">&#x27;copies&#x27;</span>, <span class="hljs-string">&#x27;size&#x27;</span>, <span class="hljs-string">&#x27;content&#x27;</span>, <span class="hljs-string">&#x27;license&#x27;</span>],
        num_rows: <span class="hljs-number">3322</span>
    })
})`,wrap:!1}}),V=new rl({props:{$$slots:{default:[Ue]},$$scope:{ctx:f}}}),en=new C({props:{code:"Zm9yJTIwa2V5JTIwaW4lMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QjAlNUQlM0ElMEElMjAlMjAlMjAlMjBwcmludChmJTIyJTdCa2V5LnVwcGVyKCklN0QlM0ElMjAlN0JyYXdfZGF0YXNldHMlNUIndHJhaW4nJTVEJTVCMCU1RCU1QmtleSU1RCU1QiUzQTIwMCU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">0</span>]:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key.upper()}</span>: <span class="hljs-subst">{raw_datasets[<span class="hljs-string">&#x27;train&#x27;</span>][<span class="hljs-number">0</span>][key][:<span class="hljs-number">200</span>]}</span>&quot;</span>)`,wrap:!1}}),an=new C({props:{code:"J1JFUE9fTkFNRSUzQSUyMGttaWtlJTJGc2Npa2l0LWxlYXJuJyUwQSdQQVRIJTNBJTIwc2tsZWFybiUyRnV0aWxzJTJGX19pbml0X18ucHknJTBBJ0NPUElFUyUzQSUyMDMnJTBBJ1NJWkUlM0ElMjAxMDA5NCclMEEnJydDT05URU5UJTNBJTIwJTIyJTIyJTIyJTBBVGhlJTIwJTNBbW9kJTNBJTYwc2tsZWFybi51dGlscyU2MCUyMG1vZHVsZSUyMGluY2x1ZGVzJTIwdmFyaW91cyUyMHV0aWxpdGVzLiUwQSUyMiUyMiUyMiUwQSUwQWZyb20lMjBjb2xsZWN0aW9ucyUyMGltcG9ydCUyMFNlcXVlbmNlJTBBJTBBaW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBZnJvbSUyMHNjaXB5LnNwYXJzZSUyMGltcG9ydCUyMGlzc3BhcnNlJTBBaW1wb3J0JTIwd2FybmluZ3MlMEElMEFmcm9tJTIwLm11cm11cmhhc2glMjBpbXBvcnQlMjBtdXJtJTBBTElDRU5TRSUzQSUyMGJzZC0zLWNsYXVzZScnJw==",highlighted:`<span class="hljs-string">&#x27;REPO_NAME: kmike/scikit-learn&#x27;</span>
<span class="hljs-string">&#x27;PATH: sklearn/utils/__init__.py&#x27;</span>
<span class="hljs-string">&#x27;COPIES: 3&#x27;</span>
<span class="hljs-string">&#x27;SIZE: 10094&#x27;</span>
<span class="hljs-string">&#x27;&#x27;&#x27;CONTENT: &quot;&quot;&quot;
The :mod:\`sklearn.utils\` module includes various utilites.
&quot;&quot;&quot;

from collections import Sequence

import numpy as np
from scipy.sparse import issparse
import warnings

from .murmurhash import murm
LICENSE: bsd-3-clause&#x27;&#x27;&#x27;</span>`,wrap:!1}}),rn=new ut({props:{title:"Chuẩn bị tập dữ liệu",local:"chuẩn-bị-tập-dữ-liệu",headingTag:"h2"}}),un=new ds({props:{id:"ma1TrR7gE7I"}}),Tn=new C({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjb250ZXh0X2xlbmd0aCUyMCUzRCUyMDEyOCUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmh1Z2dpbmdmYWNlLWNvdXJzZSUyRmNvZGUtc2VhcmNoLW5ldC10b2tlbml6ZXIlMjIpJTBBJTBBb3V0cHV0cyUyMCUzRCUyMHRva2VuaXplciglMEElMjAlMjAlMjAlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUzQTIlNUQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBKSUwQSUwQXByaW50KGYlMjJJbnB1dCUyMElEcyUyMGxlbmd0aCUzQSUyMCU3QmxlbihvdXRwdXRzJTVCJ2lucHV0X2lkcyclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJJbnB1dCUyMGNodW5rJTIwbGVuZ3RocyUzQSUyMCU3QihvdXRwdXRzJTVCJ2xlbmd0aCclNUQpJTdEJTIyKSUwQXByaW50KGYlMjJDaHVuayUyMG1hcHBpbmclM0ElMjAlN0JvdXRwdXRzJTVCJ292ZXJmbG93X3RvX3NhbXBsZV9tYXBwaW5nJyU1RCU3RCUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

context_length = <span class="hljs-number">128</span>
tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;huggingface-course/code-search-net-tokenizer&quot;</span>)

outputs = tokenizer(
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">2</span>][<span class="hljs-string">&quot;content&quot;</span>],
    truncation=<span class="hljs-literal">True</span>,
    max_length=context_length,
    return_overflowing_tokens=<span class="hljs-literal">True</span>,
    return_length=<span class="hljs-literal">True</span>,
)

<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input IDs length: <span class="hljs-subst">{<span class="hljs-built_in">len</span>(outputs[<span class="hljs-string">&#x27;input_ids&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Input chunk lengths: <span class="hljs-subst">{(outputs[<span class="hljs-string">&#x27;length&#x27;</span>])}</span>&quot;</span>)
<span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Chunk mapping: <span class="hljs-subst">{outputs[<span class="hljs-string">&#x27;overflow_to_sample_mapping&#x27;</span>]}</span>&quot;</span>)`,wrap:!1}}),m=new C({props:{code:"SW5wdXQlMjBJRHMlMjBsZW5ndGglM0ElMjAzNCUwQUlucHV0JTIwY2h1bmslMjBsZW5ndGhzJTNBJTIwJTVCMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTE3JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwMTI4JTJDJTIwNDElNUQlMEFDaHVuayUyMG1hcHBpbmclM0ElMjAlNUIwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVE",highlighted:`Input IDs length: <span class="hljs-number">34</span>
Input chunk lengths: [<span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">117</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">128</span>, <span class="hljs-number">41</span>]
Chunk mapping: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]`,wrap:!1}}),gl=new C({props:{code:"ZGVmJTIwdG9rZW5pemUoZWxlbWVudCklM0ElMEElMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGVsZW1lbnQlNUIlMjJjb250ZW50JTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEY29udGV4dF9sZW5ndGglMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjByZXR1cm5fb3ZlcmZsb3dpbmdfdG9rZW5zJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHJldHVybl9sZW5ndGglM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMGlucHV0X2JhdGNoJTIwJTNEJTIwJTVCJTVEJTBBJTIwJTIwJTIwJTIwZm9yJTIwbGVuZ3RoJTJDJTIwaW5wdXRfaWRzJTIwaW4lMjB6aXAob3V0cHV0cyU1QiUyMmxlbmd0aCUyMiU1RCUyQyUyMG91dHB1dHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwaWYlMjBsZW5ndGglMjAlM0QlM0QlMjBjb250ZXh0X2xlbmd0aCUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGlucHV0X2JhdGNoLmFwcGVuZChpbnB1dF9pZHMpJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwJTdCJTIyaW5wdXRfaWRzJTIyJTNBJTIwaW5wdXRfYmF0Y2glN0QlMEElMEElMEF0b2tlbml6ZWRfZGF0YXNldHMlMjAlM0QlMjByYXdfZGF0YXNldHMubWFwKCUwQSUyMCUyMCUyMCUyMHRva2VuaXplJTJDJTIwYmF0Y2hlZCUzRFRydWUlMkMlMjByZW1vdmVfY29sdW1ucyUzRHJhd19kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELmNvbHVtbl9uYW1lcyUwQSklMEF0b2tlbml6ZWRfZGF0YXNldHM=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize</span>(<span class="hljs-params">element</span>):
    outputs = tokenizer(
        element[<span class="hljs-string">&quot;content&quot;</span>],
        truncation=<span class="hljs-literal">True</span>,
        max_length=context_length,
        return_overflowing_tokens=<span class="hljs-literal">True</span>,
        return_length=<span class="hljs-literal">True</span>,
    )
    input_batch = []
    <span class="hljs-keyword">for</span> length, input_ids <span class="hljs-keyword">in</span> <span class="hljs-built_in">zip</span>(outputs[<span class="hljs-string">&quot;length&quot;</span>], outputs[<span class="hljs-string">&quot;input_ids&quot;</span>]):
        <span class="hljs-keyword">if</span> length == context_length:
            input_batch.append(input_ids)
    <span class="hljs-keyword">return</span> {<span class="hljs-string">&quot;input_ids&quot;</span>: input_batch}


tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(
    tokenize, batched=<span class="hljs-literal">True</span>, remove_columns=raw_datasets[<span class="hljs-string">&quot;train&quot;</span>].column_names
)
tokenized_datasets`,wrap:!1}}),bl=new C({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2lucHV0X2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE2NzAyMDYxJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHZhbGlkJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidpbnB1dF9pZHMnJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3Jvd3MlM0ElMjA5MzE2NCUwQSUyMCUyMCUyMCUyMCU3RCklMEElN0Qp",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
        num_rows: <span class="hljs-number">16702061</span>
    })
    valid: Dataset({
        features: [<span class="hljs-string">&#x27;input_ids&#x27;</span>],
        num_rows: <span class="hljs-number">93164</span>
    })
})`,wrap:!1}}),cl=new rl({props:{$$slots:{default:[Je]},$$scope:{ctx:f}}}),Il=new ut({props:{title:"Khởi tạo mô hình mới",local:"khởi-tạo-mô-hình-mới",headingTag:"h2"}});const Vs=[Te,de],nt=[];function zs(n,c){return n[0]==="pt"?0:1}wn=zs(f),jn=nt[wn]=Vs[wn](f);const Es=[je,we],lt=[];function xs(n,c){return n[0]==="pt"?0:1}gn=xs(f),bn=lt[gn]=Es[gn](f),$l=new C({props:{code:"b3V0JTIwJTNEJTIwZGF0YV9jb2xsYXRvciglNUJ0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QmklNUQlMjBmb3IlMjBpJTIwaW4lMjByYW5nZSg1KSU1RCklMEFmb3IlMjBrZXklMjBpbiUyMG91dCUzQSUwQSUyMCUyMCUyMCUyMHByaW50KGYlMjIlN0JrZXklN0QlMjBzaGFwZSUzQSUyMCU3Qm91dCU1QmtleSU1RC5zaGFwZSU3RCUyMik=",highlighted:`out = data_collator([tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">5</span>)])
<span class="hljs-keyword">for</span> key <span class="hljs-keyword">in</span> out:
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;<span class="hljs-subst">{key}</span> shape: <span class="hljs-subst">{out[key].shape}</span>&quot;</span>)`,wrap:!1}});const Ns=[be,ge],tt=[];function As(n,c){return n[0]==="pt"?0:1}Cn=As(f),fn=tt[Cn]=Ns[Cn](f);let X=f[0]==="tf"&&te();hl=new rl({props:{warning:!0,$$slots:{default:[Ce]},$$scope:{ctx:f}}}),Ql=new C({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),Wl=new C({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:"huggingface-cli login",wrap:!1}});const Fs=[Ie,fe],st=[];function Hs(n,c){return n[0]==="pt"?0:1}In=Hs(f),kn=st[In]=Fs[In](f),Ml=new rl({props:{$$slots:{default:[ke]},$$scope:{ctx:f}}}),pl=new rl({props:{$$slots:{default:[Ze]},$$scope:{ctx:f}}}),Vl=new ut({props:{title:"Tạo mã với một pipeline",local:"tạo-mã-với-một-pipeline",headingTag:"h2"}});const Ys=[Ge,$e],et=[];function Ss(n,c){return n[0]==="pt"?0:1}_n=Ss(f),vn=et[_n]=Ys[_n](f),xl=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBzY2F0dGVyJTIwcGxvdCUyMHdpdGglMjB4JTJDJTIweSUwQSUyMiUyMiUyMiUwQXByaW50KHBpcGUodHh0JTJDJTIwbnVtX3JldHVybl9zZXF1ZW5jZXMlM0QxKSU1QjAlNUQlNUIlMjJnZW5lcmF0ZWRfdGV4dCUyMiU1RCk=",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# create some data
x = np.random.randn(100)
y = np.random.randn(100)

# create scatter plot with x, y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Nl=new C({props:{code:"JTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBzY2F0dGVyJTIwcGxvdCUyMHdpdGglMjB4JTJDJTIweSUwQXBsdC5zY2F0dGVyKHglMkMlMjB5KSUwQSUwQSUyMyUyMGNyZWF0ZSUyMHNjYXR0ZXI=",highlighted:`<span class="hljs-comment"># create some data</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)

<span class="hljs-comment"># create scatter plot with x, y</span>
plt.scatter(x, y)

<span class="hljs-comment"># create scatter</span>`,wrap:!1}}),Fl=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBkYXRhZnJhbWUlMjBmcm9tJTIweCUyMGFuZCUyMHklMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# create some data
x = np.random.randn(100)
y = np.random.randn(100)

# create dataframe from x and y
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Hl=new C({props:{code:"JTIzJTIwY3JlYXRlJTIwc29tZSUyMGRhdGElMEF4JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEF5JTIwJTNEJTIwbnAucmFuZG9tLnJhbmRuKDEwMCklMEElMEElMjMlMjBjcmVhdGUlMjBkYXRhZnJhbWUlMjBmcm9tJTIweCUyMGFuZCUyMHklMEFkZiUyMCUzRCUyMHBkLkRhdGFGcmFtZSglN0IneCclM0ElMjB4JTJDJTIwJ3knJTNBJTIweSU3RCklMEFkZi5pbnNlcnQoMCUyQyd4JyUyQyUyMHgpJTBBZm9y",highlighted:`<span class="hljs-comment"># create some data</span>
x = np.random.randn(<span class="hljs-number">100</span>)
y = np.random.randn(<span class="hljs-number">100</span>)

<span class="hljs-comment"># create dataframe from x and y</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;x&#x27;</span>: x, <span class="hljs-string">&#x27;y&#x27;</span>: y})
df.insert(<span class="hljs-number">0</span>,<span class="hljs-string">&#x27;x&#x27;</span>, x)
<span class="hljs-keyword">for</span>`,wrap:!1}}),Sl=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTVDJTBBJTIzJTIwZGF0YWZyYW1lJTIwd2l0aCUyMHByb2Zlc3Npb24lMkMlMjBpbmNvbWUlMjBhbmQlMjBuYW1lJTBBZGYlMjAlM0QlMjBwZC5EYXRhRnJhbWUoJTdCJ3Byb2Zlc3Npb24nJTNBJTIweCUyQyUyMCdpbmNvbWUnJTNBeSUyQyUyMCduYW1lJyUzQSUyMHolN0QpJTBBJTBBJTIzJTIwY2FsY3VsYXRlJTIwdGhlJTIwbWVhbiUyMGluY29tZSUyMHBlciUyMHByb2Zlc3Npb24lMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;\\
# dataframe with profession, income and name
df = pd.DataFrame({&#x27;profession&#x27;: x, &#x27;income&#x27;:y, &#x27;name&#x27;: z})

# calculate the mean income per profession
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),ql=new C({props:{code:"JTIzJTIwZGF0YWZyYW1lJTIwd2l0aCUyMHByb2Zlc3Npb24lMkMlMjBpbmNvbWUlMjBhbmQlMjBuYW1lJTBBZGYlMjAlM0QlMjBwZC5EYXRhRnJhbWUoJTdCJ3Byb2Zlc3Npb24nJTNBJTIweCUyQyUyMCdpbmNvbWUnJTNBeSUyQyUyMCduYW1lJyUzQSUyMHolN0QpJTBBJTBBJTIzJTIwY2FsY3VsYXRlJTIwdGhlJTIwbWVhbiUyMGluY29tZSUyMHBlciUyMHByb2Zlc3Npb24lMEFwcm9mZXNzaW9uJTIwJTNEJTIwZGYuZ3JvdXBieSglNUIncHJvZmVzc2lvbiclNUQpLm1lYW4oKSUwQSUwQSUyMyUyMGNvbXB1dGUlMjB0aGU=",highlighted:`<span class="hljs-comment"># dataframe with profession, income and name</span>
df = pd.DataFrame({<span class="hljs-string">&#x27;profession&#x27;</span>: x, <span class="hljs-string">&#x27;income&#x27;</span>:y, <span class="hljs-string">&#x27;name&#x27;</span>: z})

<span class="hljs-comment"># calculate the mean income per profession</span>
profession = df.groupby([<span class="hljs-string">&#x27;profession&#x27;</span>]).mean()

<span class="hljs-comment"># compute the</span>`,wrap:!1}}),Ll=new C({props:{code:"dHh0JTIwJTNEJTIwJTIyJTIyJTIyJTBBJTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwZml0JTIwcmFuZG9tJTIwZm9yZXN0JTIwbW9kZWwlMjB3aXRoJTIwMzAwJTIwZXN0aW1hdG9ycyUyMG9uJTIwWCUyQyUyMHklM0ElMEElMjIlMjIlMjIlMEFwcmludChwaXBlKHR4dCUyQyUyMG51bV9yZXR1cm5fc2VxdWVuY2VzJTNEMSklNUIwJTVEJTVCJTIyZ2VuZXJhdGVkX3RleHQlMjIlNUQp",highlighted:`txt = <span class="hljs-string">&quot;&quot;&quot;
# import random forest regressor from scikit-learn
from sklearn.ensemble import RandomForestRegressor

# fit random forest model with 300 estimators on X, y:
&quot;&quot;&quot;</span>
<span class="hljs-built_in">print</span>(pipe(txt, num_return_sequences=<span class="hljs-number">1</span>)[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;generated_text&quot;</span>])`,wrap:!1}}),Kl=new C({props:{code:"JTIzJTIwaW1wb3J0JTIwcmFuZG9tJTIwZm9yZXN0JTIwcmVncmVzc29yJTIwZnJvbSUyMHNjaWtpdC1sZWFybiUwQWZyb20lMjBza2xlYXJuLmVuc2VtYmxlJTIwaW1wb3J0JTIwUmFuZG9tRm9yZXN0UmVncmVzc29yJTBBJTBBJTIzJTIwZml0JTIwcmFuZG9tJTIwZm9yZXN0JTIwbW9kZWwlMjB3aXRoJTIwMzAwJTIwZXN0aW1hdG9ycyUyMG9uJTIwWCUyQyUyMHklM0ElMEFyZiUyMCUzRCUyMFJhbmRvbUZvcmVzdFJlZ3Jlc3NvcihuX2VzdGltYXRvcnMlM0QzMDAlMkMlMjByYW5kb21fc3RhdGUlM0RyYW5kb21fc3RhdGUlMkMlMjBtYXhfZGVwdGglM0QzKSUwQXJmLmZpdChYJTJDJTIweSklMEFyZg==",highlighted:`<span class="hljs-comment"># import random forest regressor from scikit-learn</span>
<span class="hljs-keyword">from</span> sklearn.ensemble <span class="hljs-keyword">import</span> RandomForestRegressor

<span class="hljs-comment"># fit random forest model with 300 estimators on X, y:</span>
rf = RandomForestRegressor(n_estimators=<span class="hljs-number">300</span>, random_state=random_state, max_depth=<span class="hljs-number">3</span>)
rf.fit(X, y)
rf`,wrap:!1}});function qs(n,c){return n[0]==="tf"?Qe:Be}let is=qs(f),al=is(f),R=f[0]==="pt"&&se(f);return Pl=new me({props:{source:"https://github.com/huggingface/course/blob/main/chapters/vi/chapter7/6.mdx"}}),{c(){s=T("meta"),p=h(),a=T("p"),r=h(),o(I.$$.fragment),g=h(),o(Z.$$.fragment),v=h(),u.c(),b=h(),$=T("p"),$.innerHTML=E,W=h(),Q=T("p"),Q.innerHTML=k,G=h(),o(x.$$.fragment),Wn=h(),N=T("p"),N.innerHTML=ot,Vn=h(),B=T("iframe"),zn=h(),A=T("p"),A.innerHTML=Jt,En=h(),o(F.$$.fragment),xn=h(),H=T("p"),H.innerHTML=dt,Nn=h(),Y=T("p"),Y.innerHTML=ml,hn=h(),o(Zn.$$.fragment),An=h(),S=T("p"),S.textContent=ul,Mn=h(),o($n.$$.fragment),Fn=h(),o(q.$$.fragment),Hn=h(),D=T("p"),D.textContent=Tt,Yn=h(),o(L.$$.fragment),Sn=h(),K=T("p"),K.textContent=wt,qn=h(),o(P.$$.fragment),Dn=h(),o(O.$$.fragment),Ln=h(),nn=T("p"),nn.textContent=jt,Kn=h(),ln=T("p"),ln.textContent=ol,pn=h(),o(Gn.$$.fragment),Pn=h(),o(tn.$$.fragment),On=h(),o(V.$$.fragment),nl=h(),sn=T("p"),sn.textContent=gt,ll=h(),o(en.$$.fragment),tl=h(),o(an.$$.fragment),Ul=h(),yn=T("p"),yn.innerHTML=Bn,Jl=h(),o(rn.$$.fragment),mn=h(),o(un.$$.fragment),on=h(),Un=T("p"),Un.textContent=Qn,dl=h(),Jn=T("p"),Jn.innerHTML=Xn,sl=h(),z=T("div"),z.innerHTML=bt,el=h(),cn=T("p"),cn.textContent=Tl,dn=h(),o(Tn.$$.fragment),l=h(),o(m.$$.fragment),ft=h(),wl=T("p"),wl.innerHTML=Ts,It=h(),jl=T("p"),jl.innerHTML=ws,kt=h(),o(gl.$$.fragment),_t=h(),o(bl.$$.fragment),vt=h(),Cl=T("p"),Cl.textContent=js,Zt=h(),fl=T("p"),fl.textContent=gs,$t=h(),o(cl.$$.fragment),Gt=h(),o(Il.$$.fragment),Bt=h(),kl=T("p"),kl.innerHTML=bs,Qt=h(),jn.c(),ct=h(),_l=T("p"),_l.innerHTML=Cs,Xt=h(),vl=T("p"),vl.innerHTML=fs,Rt=h(),bn.c(),ht=h(),Zl=T("p"),Zl.textContent=Is,Wt=h(),o($l.$$.fragment),Vt=h(),fn.c(),Mt=h(),Gl=T("p"),Gl.textContent=ks,zt=h(),X&&X.c(),pt=h(),o(hl.$$.fragment),Et=h(),Bl=T("p"),Bl.textContent=_s,xt=h(),o(Ql.$$.fragment),Nt=h(),Xl=T("p"),Xl.textContent=vs,At=h(),Rl=T("p"),Rl.textContent=Zs,Ft=h(),o(Wl.$$.fragment),Ht=h(),kn.c(),it=h(),o(Ml.$$.fragment),Yt=h(),o(pl.$$.fragment),St=h(),o(Vl.$$.fragment),qt=h(),zl=T("p"),zl.innerHTML=$s,Dt=h(),vn.c(),yt=h(),El=T("p"),El.textContent=Gs,Lt=h(),o(xl.$$.fragment),Kt=h(),o(Nl.$$.fragment),Pt=h(),Al=T("p"),Al.innerHTML=Bs,Ot=h(),o(Fl.$$.fragment),ns=h(),o(Hl.$$.fragment),ls=h(),Yl=T("p"),Yl.innerHTML=Qs,ts=h(),o(Sl.$$.fragment),ss=h(),o(ql.$$.fragment),es=h(),Dl=T("p"),Dl.innerHTML=Xs,as=h(),o(Ll.$$.fragment),cs=h(),o(Kl.$$.fragment),hs=h(),al.c(),rt=h(),R&&R.c(),mt=h(),o(Pl.$$.fragment),Ms=h(),Ct=T("p"),this.h()},l(n){const c=ie("svelte-u9bgzb",document.head);s=w(c,"META",{name:!0,content:!0}),c.forEach(t),p=M(n),a=w(n,"P",{}),Js(a).forEach(t),r=M(n),U(I.$$.fragment,n),g=M(n),U(Z.$$.fragment,n),v=M(n),u.l(n),b=M(n),$=w(n,"P",{"data-svelte-h":!0}),j($)!=="svelte-1gkve02"&&($.innerHTML=E),W=M(n),Q=w(n,"P",{"data-svelte-h":!0}),j(Q)!=="svelte-19ub2gt"&&(Q.innerHTML=k),G=M(n),U(x.$$.fragment,n),Wn=M(n),N=w(n,"P",{"data-svelte-h":!0}),j(N)!=="svelte-15qxzs"&&(N.innerHTML=ot),Vn=M(n),B=w(n,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),Js(B).forEach(t),zn=M(n),A=w(n,"P",{"data-svelte-h":!0}),j(A)!=="svelte-1dlcnbz"&&(A.innerHTML=Jt),En=M(n),U(F.$$.fragment,n),xn=M(n),H=w(n,"P",{"data-svelte-h":!0}),j(H)!=="svelte-bqbl3b"&&(H.innerHTML=dt),Nn=M(n),Y=w(n,"P",{"data-svelte-h":!0}),j(Y)!=="svelte-1pj63c3"&&(Y.innerHTML=ml),hn=M(n),U(Zn.$$.fragment,n),An=M(n),S=w(n,"P",{"data-svelte-h":!0}),j(S)!=="svelte-1v8tmbu"&&(S.textContent=ul),Mn=M(n),U($n.$$.fragment,n),Fn=M(n),U(q.$$.fragment,n),Hn=M(n),D=w(n,"P",{"data-svelte-h":!0}),j(D)!=="svelte-1cls8e"&&(D.textContent=Tt),Yn=M(n),U(L.$$.fragment,n),Sn=M(n),K=w(n,"P",{"data-svelte-h":!0}),j(K)!=="svelte-1ydp2o9"&&(K.textContent=wt),qn=M(n),U(P.$$.fragment,n),Dn=M(n),U(O.$$.fragment,n),Ln=M(n),nn=w(n,"P",{"data-svelte-h":!0}),j(nn)!=="svelte-ibc1b3"&&(nn.textContent=jt),Kn=M(n),ln=w(n,"P",{"data-svelte-h":!0}),j(ln)!=="svelte-1l5ehg9"&&(ln.textContent=ol),pn=M(n),U(Gn.$$.fragment,n),Pn=M(n),U(tn.$$.fragment,n),On=M(n),U(V.$$.fragment,n),nl=M(n),sn=w(n,"P",{"data-svelte-h":!0}),j(sn)!=="svelte-hhu61v"&&(sn.textContent=gt),ll=M(n),U(en.$$.fragment,n),tl=M(n),U(an.$$.fragment,n),Ul=M(n),yn=w(n,"P",{"data-svelte-h":!0}),j(yn)!=="svelte-jkg0sb"&&(yn.innerHTML=Bn),Jl=M(n),U(rn.$$.fragment,n),mn=M(n),U(un.$$.fragment,n),on=M(n),Un=w(n,"P",{"data-svelte-h":!0}),j(Un)!=="svelte-15t22s5"&&(Un.textContent=Qn),dl=M(n),Jn=w(n,"P",{"data-svelte-h":!0}),j(Jn)!=="svelte-angvtz"&&(Jn.innerHTML=Xn),sl=M(n),z=w(n,"DIV",{class:!0,"data-svelte-h":!0}),j(z)!=="svelte-1ni6cx3"&&(z.innerHTML=bt),el=M(n),cn=w(n,"P",{"data-svelte-h":!0}),j(cn)!=="svelte-13goysn"&&(cn.textContent=Tl),dn=M(n),U(Tn.$$.fragment,n),l=M(n),U(m.$$.fragment,n),ft=M(n),wl=w(n,"P",{"data-svelte-h":!0}),j(wl)!=="svelte-110vssf"&&(wl.innerHTML=Ts),It=M(n),jl=w(n,"P",{"data-svelte-h":!0}),j(jl)!=="svelte-2mog86"&&(jl.innerHTML=ws),kt=M(n),U(gl.$$.fragment,n),_t=M(n),U(bl.$$.fragment,n),vt=M(n),Cl=w(n,"P",{"data-svelte-h":!0}),j(Cl)!=="svelte-1k6x0d7"&&(Cl.textContent=js),Zt=M(n),fl=w(n,"P",{"data-svelte-h":!0}),j(fl)!=="svelte-1mhwuwl"&&(fl.textContent=gs),$t=M(n),U(cl.$$.fragment,n),Gt=M(n),U(Il.$$.fragment,n),Bt=M(n),kl=w(n,"P",{"data-svelte-h":!0}),j(kl)!=="svelte-1vyqw91"&&(kl.innerHTML=bs),Qt=M(n),jn.l(n),ct=M(n),_l=w(n,"P",{"data-svelte-h":!0}),j(_l)!=="svelte-r2aw84"&&(_l.innerHTML=Cs),Xt=M(n),vl=w(n,"P",{"data-svelte-h":!0}),j(vl)!=="svelte-9ptg5p"&&(vl.innerHTML=fs),Rt=M(n),bn.l(n),ht=M(n),Zl=w(n,"P",{"data-svelte-h":!0}),j(Zl)!=="svelte-fi45ze"&&(Zl.textContent=Is),Wt=M(n),U($l.$$.fragment,n),Vt=M(n),fn.l(n),Mt=M(n),Gl=w(n,"P",{"data-svelte-h":!0}),j(Gl)!=="svelte-1c2qbue"&&(Gl.textContent=ks),zt=M(n),X&&X.l(n),pt=M(n),U(hl.$$.fragment,n),Et=M(n),Bl=w(n,"P",{"data-svelte-h":!0}),j(Bl)!=="svelte-i4kc26"&&(Bl.textContent=_s),xt=M(n),U(Ql.$$.fragment,n),Nt=M(n),Xl=w(n,"P",{"data-svelte-h":!0}),j(Xl)!=="svelte-nqz6ps"&&(Xl.textContent=vs),At=M(n),Rl=w(n,"P",{"data-svelte-h":!0}),j(Rl)!=="svelte-19r3lx0"&&(Rl.textContent=Zs),Ft=M(n),U(Wl.$$.fragment,n),Ht=M(n),kn.l(n),it=M(n),U(Ml.$$.fragment,n),Yt=M(n),U(pl.$$.fragment,n),St=M(n),U(Vl.$$.fragment,n),qt=M(n),zl=w(n,"P",{"data-svelte-h":!0}),j(zl)!=="svelte-2iscfd"&&(zl.innerHTML=$s),Dt=M(n),vn.l(n),yt=M(n),El=w(n,"P",{"data-svelte-h":!0}),j(El)!=="svelte-15p88lo"&&(El.textContent=Gs),Lt=M(n),U(xl.$$.fragment,n),Kt=M(n),U(Nl.$$.fragment,n),Pt=M(n),Al=w(n,"P",{"data-svelte-h":!0}),j(Al)!=="svelte-1hjo9qb"&&(Al.innerHTML=Bs),Ot=M(n),U(Fl.$$.fragment,n),ns=M(n),U(Hl.$$.fragment,n),ls=M(n),Yl=w(n,"P",{"data-svelte-h":!0}),j(Yl)!=="svelte-iutfrg"&&(Yl.innerHTML=Qs),ts=M(n),U(Sl.$$.fragment,n),ss=M(n),U(ql.$$.fragment,n),es=M(n),Dl=w(n,"P",{"data-svelte-h":!0}),j(Dl)!=="svelte-gc273y"&&(Dl.innerHTML=Xs),as=M(n),U(Ll.$$.fragment,n),cs=M(n),U(Kl.$$.fragment,n),hs=M(n),al.l(n),rt=M(n),R&&R.l(n),mt=M(n),U(Pl.$$.fragment,n),Ms=M(n),Ct=w(n,"P",{}),Js(Ct).forEach(t),this.h()},h(){Rn(s,"name","hf:doc:metadata"),Rn(s,"content",ze),ce(B.src,Ut="https://course-demos-codeparrot-ds.hf.space")||Rn(B,"src",Ut),Rn(B,"frameborder","0"),Rn(B,"height","300"),Rn(B,"title","Gradio app"),Rn(B,"class","block dark:hidden container p-0 flex-grow space-iframe"),Rn(B,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),Rn(B,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),Rn(z,"class","flex justify-center")},m(n,c){ye(document.head,s),e(n,p,c),e(n,a,c),e(n,r,c),J(I,n,c),e(n,g,c),J(Z,n,c),e(n,v,c),Ol[_].m(n,c),e(n,b,c),e(n,$,c),e(n,W,c),e(n,Q,c),e(n,G,c),J(x,n,c),e(n,Wn,c),e(n,N,c),e(n,Vn,c),e(n,B,c),e(n,zn,c),e(n,A,c),e(n,En,c),J(F,n,c),e(n,xn,c),e(n,H,c),e(n,Nn,c),e(n,Y,c),e(n,hn,c),J(Zn,n,c),e(n,An,c),e(n,S,c),e(n,Mn,c),J($n,n,c),e(n,Fn,c),J(q,n,c),e(n,Hn,c),e(n,D,c),e(n,Yn,c),J(L,n,c),e(n,Sn,c),e(n,K,c),e(n,qn,c),J(P,n,c),e(n,Dn,c),J(O,n,c),e(n,Ln,c),e(n,nn,c),e(n,Kn,c),e(n,ln,c),e(n,pn,c),J(Gn,n,c),e(n,Pn,c),J(tn,n,c),e(n,On,c),J(V,n,c),e(n,nl,c),e(n,sn,c),e(n,ll,c),J(en,n,c),e(n,tl,c),J(an,n,c),e(n,Ul,c),e(n,yn,c),e(n,Jl,c),J(rn,n,c),e(n,mn,c),J(un,n,c),e(n,on,c),e(n,Un,c),e(n,dl,c),e(n,Jn,c),e(n,sl,c),e(n,z,c),e(n,el,c),e(n,cn,c),e(n,dn,c),J(Tn,n,c),e(n,l,c),J(m,n,c),e(n,ft,c),e(n,wl,c),e(n,It,c),e(n,jl,c),e(n,kt,c),J(gl,n,c),e(n,_t,c),J(bl,n,c),e(n,vt,c),e(n,Cl,c),e(n,Zt,c),e(n,fl,c),e(n,$t,c),J(cl,n,c),e(n,Gt,c),J(Il,n,c),e(n,Bt,c),e(n,kl,c),e(n,Qt,c),nt[wn].m(n,c),e(n,ct,c),e(n,_l,c),e(n,Xt,c),e(n,vl,c),e(n,Rt,c),lt[gn].m(n,c),e(n,ht,c),e(n,Zl,c),e(n,Wt,c),J($l,n,c),e(n,Vt,c),tt[Cn].m(n,c),e(n,Mt,c),e(n,Gl,c),e(n,zt,c),X&&X.m(n,c),e(n,pt,c),J(hl,n,c),e(n,Et,c),e(n,Bl,c),e(n,xt,c),J(Ql,n,c),e(n,Nt,c),e(n,Xl,c),e(n,At,c),e(n,Rl,c),e(n,Ft,c),J(Wl,n,c),e(n,Ht,c),st[In].m(n,c),e(n,it,c),J(Ml,n,c),e(n,Yt,c),J(pl,n,c),e(n,St,c),J(Vl,n,c),e(n,qt,c),e(n,zl,c),e(n,Dt,c),et[_n].m(n,c),e(n,yt,c),e(n,El,c),e(n,Lt,c),J(xl,n,c),e(n,Kt,c),J(Nl,n,c),e(n,Pt,c),e(n,Al,c),e(n,Ot,c),J(Fl,n,c),e(n,ns,c),J(Hl,n,c),e(n,ls,c),e(n,Yl,c),e(n,ts,c),J(Sl,n,c),e(n,ss,c),J(ql,n,c),e(n,es,c),e(n,Dl,c),e(n,as,c),J(Ll,n,c),e(n,cs,c),J(Kl,n,c),e(n,hs,c),al.m(n,c),e(n,rt,c),R&&R.m(n,c),e(n,mt,c),J(Pl,n,c),e(n,Ms,c),e(n,Ct,c),ps=!0},p(n,[c]){const Ds={};c&1&&(Ds.fw=n[0]),I.$set(Ds);let ys=_;_=Ws(n),_!==ys&&(yl(),y(Ol[ys],1,1,()=>{Ol[ys]=null}),il(),u=Ol[_],u||(u=Ol[_]=Rs[_](n),u.c()),i(u,1),u.m(b.parentNode,b));const Ls={};c&2&&(Ls.$$scope={dirty:c,ctx:n}),V.$set(Ls);const Ks={};c&2&&(Ks.$$scope={dirty:c,ctx:n}),cl.$set(Ks);let rs=wn;wn=zs(n),wn!==rs&&(yl(),y(nt[rs],1,1,()=>{nt[rs]=null}),il(),jn=nt[wn],jn||(jn=nt[wn]=Vs[wn](n),jn.c()),i(jn,1),jn.m(ct.parentNode,ct));let ms=gn;gn=xs(n),gn!==ms&&(yl(),y(lt[ms],1,1,()=>{lt[ms]=null}),il(),bn=lt[gn],bn||(bn=lt[gn]=Es[gn](n),bn.c()),i(bn,1),bn.m(ht.parentNode,ht));let us=Cn;Cn=As(n),Cn!==us&&(yl(),y(tt[us],1,1,()=>{tt[us]=null}),il(),fn=tt[Cn],fn||(fn=tt[Cn]=Ns[Cn](n),fn.c()),i(fn,1),fn.m(Mt.parentNode,Mt)),n[0]==="tf"?X?c&1&&i(X,1):(X=te(),X.c(),i(X,1),X.m(pt.parentNode,pt)):X&&(yl(),y(X,1,1,()=>{X=null}),il());const Ps={};c&2&&(Ps.$$scope={dirty:c,ctx:n}),hl.$set(Ps);let os=In;In=Hs(n),In!==os&&(yl(),y(st[os],1,1,()=>{st[os]=null}),il(),kn=st[In],kn||(kn=st[In]=Fs[In](n),kn.c()),i(kn,1),kn.m(it.parentNode,it));const Os={};c&2&&(Os.$$scope={dirty:c,ctx:n}),Ml.$set(Os);const ne={};c&3&&(ne.$$scope={dirty:c,ctx:n}),pl.$set(ne);let Us=_n;_n=Ss(n),_n!==Us&&(yl(),y(et[Us],1,1,()=>{et[Us]=null}),il(),vn=et[_n],vn||(vn=et[_n]=Ys[_n](n),vn.c()),i(vn,1),vn.m(yt.parentNode,yt)),is!==(is=qs(n))&&(al.d(1),al=is(n),al&&(al.c(),al.m(rt.parentNode,rt))),n[0]==="pt"?R?c&1&&i(R,1):(R=se(n),R.c(),i(R,1),R.m(mt.parentNode,mt)):R&&(yl(),y(R,1,1,()=>{R=null}),il())},i(n){ps||(i(I.$$.fragment,n),i(Z.$$.fragment,n),i(u),i(x.$$.fragment,n),i(F.$$.fragment,n),i(Zn.$$.fragment,n),i($n.$$.fragment,n),i(q.$$.fragment,n),i(L.$$.fragment,n),i(P.$$.fragment,n),i(O.$$.fragment,n),i(Gn.$$.fragment,n),i(tn.$$.fragment,n),i(V.$$.fragment,n),i(en.$$.fragment,n),i(an.$$.fragment,n),i(rn.$$.fragment,n),i(un.$$.fragment,n),i(Tn.$$.fragment,n),i(m.$$.fragment,n),i(gl.$$.fragment,n),i(bl.$$.fragment,n),i(cl.$$.fragment,n),i(Il.$$.fragment,n),i(jn),i(bn),i($l.$$.fragment,n),i(fn),i(X),i(hl.$$.fragment,n),i(Ql.$$.fragment,n),i(Wl.$$.fragment,n),i(kn),i(Ml.$$.fragment,n),i(pl.$$.fragment,n),i(Vl.$$.fragment,n),i(vn),i(xl.$$.fragment,n),i(Nl.$$.fragment,n),i(Fl.$$.fragment,n),i(Hl.$$.fragment,n),i(Sl.$$.fragment,n),i(ql.$$.fragment,n),i(Ll.$$.fragment,n),i(Kl.$$.fragment,n),i(R),i(Pl.$$.fragment,n),ps=!0)},o(n){y(I.$$.fragment,n),y(Z.$$.fragment,n),y(u),y(x.$$.fragment,n),y(F.$$.fragment,n),y(Zn.$$.fragment,n),y($n.$$.fragment,n),y(q.$$.fragment,n),y(L.$$.fragment,n),y(P.$$.fragment,n),y(O.$$.fragment,n),y(Gn.$$.fragment,n),y(tn.$$.fragment,n),y(V.$$.fragment,n),y(en.$$.fragment,n),y(an.$$.fragment,n),y(rn.$$.fragment,n),y(un.$$.fragment,n),y(Tn.$$.fragment,n),y(m.$$.fragment,n),y(gl.$$.fragment,n),y(bl.$$.fragment,n),y(cl.$$.fragment,n),y(Il.$$.fragment,n),y(jn),y(bn),y($l.$$.fragment,n),y(fn),y(X),y(hl.$$.fragment,n),y(Ql.$$.fragment,n),y(Wl.$$.fragment,n),y(kn),y(Ml.$$.fragment,n),y(pl.$$.fragment,n),y(Vl.$$.fragment,n),y(vn),y(xl.$$.fragment,n),y(Nl.$$.fragment,n),y(Fl.$$.fragment,n),y(Hl.$$.fragment,n),y(Sl.$$.fragment,n),y(ql.$$.fragment,n),y(Ll.$$.fragment,n),y(Kl.$$.fragment,n),y(R),y(Pl.$$.fragment,n),ps=!1},d(n){n&&(t(p),t(a),t(r),t(g),t(v),t(b),t($),t(W),t(Q),t(G),t(Wn),t(N),t(Vn),t(B),t(zn),t(A),t(En),t(xn),t(H),t(Nn),t(Y),t(hn),t(An),t(S),t(Mn),t(Fn),t(Hn),t(D),t(Yn),t(Sn),t(K),t(qn),t(Dn),t(Ln),t(nn),t(Kn),t(ln),t(pn),t(Pn),t(On),t(nl),t(sn),t(ll),t(tl),t(Ul),t(yn),t(Jl),t(mn),t(on),t(Un),t(dl),t(Jn),t(sl),t(z),t(el),t(cn),t(dn),t(l),t(ft),t(wl),t(It),t(jl),t(kt),t(_t),t(vt),t(Cl),t(Zt),t(fl),t($t),t(Gt),t(Bt),t(kl),t(Qt),t(ct),t(_l),t(Xt),t(vl),t(Rt),t(ht),t(Zl),t(Wt),t(Vt),t(Mt),t(Gl),t(zt),t(pt),t(Et),t(Bl),t(xt),t(Nt),t(Xl),t(At),t(Rl),t(Ft),t(Ht),t(it),t(Yt),t(St),t(qt),t(zl),t(Dt),t(yt),t(El),t(Lt),t(Kt),t(Pt),t(Al),t(Ot),t(ns),t(ls),t(Yl),t(ts),t(ss),t(es),t(Dl),t(as),t(cs),t(hs),t(rt),t(mt),t(Ms),t(Ct)),t(s),d(I,n),d(Z,n),Ol[_].d(n),d(x,n),d(F,n),d(Zn,n),d($n,n),d(q,n),d(L,n),d(P,n),d(O,n),d(Gn,n),d(tn,n),d(V,n),d(en,n),d(an,n),d(rn,n),d(un,n),d(Tn,n),d(m,n),d(gl,n),d(bl,n),d(cl,n),d(Il,n),nt[wn].d(n),lt[gn].d(n),d($l,n),tt[Cn].d(n),X&&X.d(n),d(hl,n),d(Ql,n),d(Wl,n),st[In].d(n),d(Ml,n),d(pl,n),d(Vl,n),et[_n].d(n),d(xl,n),d(Nl,n),d(Fl,n),d(Hl,n),d(Sl,n),d(ql,n),d(Ll,n),d(Kl,n),al.d(n),R&&R.d(n),d(Pl,n)}}}const ze='{"title":"THuấn luyện một mô hình ngôn ngữ nhân quả từ đầu","local":"thuấn-luyện-một-mô-hình-ngôn-ngữ-nhân-quả-từ-đầu","sections":[{"title":"Thu thập dữ liệu","local":"thu-thập-dữ-liệu","sections":[],"depth":2},{"title":"Chuẩn bị tập dữ liệu","local":"chuẩn-bị-tập-dữ-liệu","sections":[],"depth":2},{"title":"Khởi tạo mô hình mới","local":"khởi-tạo-mô-hình-mới","sections":[],"depth":2},{"title":"Tạo mã với một pipeline","local":"tạo-mã-với-một-pipeline","sections":[],"depth":2},{"title":"Huấn luyện với 🤗 Accelerate","local":"huấn-luyện-với--accelerate","sections":[],"depth":2}],"depth":1}';function Ee(f,s,p){let a="pt";return he(()=>{const r=new URLSearchParams(window.location.search);p(0,a=r.get("fw")||"pt")}),[a]}class De extends Me{constructor(s){super(),pe(this,s,Ee,Ve,ae,{})}}export{De as component};
