import{s as wM,f as jM,o as dM,n as tl}from"../chunks/scheduler.37c15a92.js";import{S as hM,i as uM,g as y,s as t,r as J,m as mM,H as rM,A as bM,h as c,f as l,c as n,j as pa,u as T,x as w,n as iM,B as yM,k as xs,y as sn,a as e,v as o,t as i,b as la,d as r,w as U,p as ea}from"../chunks/index.7cb9c9b8.js";import{T as al}from"../chunks/Tip.d10b3fc9.js";import{Y as ln}from"../chunks/Youtube.8666c400.js";import{C as h}from"../chunks/CodeBlock.a6d3f852.js";import{C as TM}from"../chunks/CourseFloatingBanner.2c4a7381.js";import{F as IM}from"../chunks/FrameworkSwitchCourse.97630871.js";import{H as Is,E as fM}from"../chunks/EditOnGithub.858acfec.js";function CM(k){let p,u;return p=new TM({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ja/chapter7/section5_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ja/chapter7/section5_tf.ipynb"}]}}),{c(){J(p.$$.fragment)},l(m){T(p.$$.fragment,m)},m(m,f){o(p,m,f),u=!0},i(m){u||(r(p.$$.fragment,m),u=!0)},o(m){i(p.$$.fragment,m),u=!1},d(m){U(p,m)}}}function ZM(k){let p,u;return p=new TM({props:{chapter:7,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ja/chapter7/section5_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ja/chapter7/section5_pt.ipynb"}]}}),{c(){J(p.$$.fragment)},l(m){T(p.$$.fragment,m)},m(m,f){o(p,m,f),u=!0},i(m){u||(r(p.$$.fragment,m),u=!0)},o(m){i(p.$$.fragment,m),u=!1},d(m){U(p,m)}}}function gM(k){let p,u="✏️ <strong>あなたの番です！</strong> <code>Dataset.shuffle()</code> コマンドのランダムシードを変更して、コーパスの他のレビューも調べてみてください。もしあなたがスペイン語を話せるなら、<code>spanish_dataset</code> にあるいくつかのレビューを見て、タイトルも妥当な要約に見えるかどうか確かめてみてください。";return{c(){p=y("p"),p.innerHTML=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-in0ogf"&&(p.innerHTML=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function kM(k){let p,u="✏️ <strong>あなたの番です！</strong> このセクションを終えたら、同じ手法でmBARTを微調整して、mT5がmBARTと比較してどの程度優れているかを見てみましょう。ボーナスポイントとして、英語のレビューだけでT5を微調整してみることもできます。T5には特別な接頭辞プロンプトがあるので、以下の前処理ステップでは入力例の前に<code>summarize:</code>を付ける必要があります。";return{c(){p=y("p"),p.innerHTML=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-804vx5"&&(p.innerHTML=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function GM(k){let p,u="💡 NLPプロジェクトの初期段階では、「小さな」モデルのクラスを少量のデータサンプルで学習させるのがよい方法です。これにより、エンド・ツー・エンドのワークフローに向けたデバッグと反復をより速く行うことができます。結果に自信が持てたら、モデルのチェックポイントを変更するだけで、いつでもモデルをスケールアップすることができます。";return{c(){p=y("p"),p.textContent=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-feg927"&&(p.textContent=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function vM(k){let p,u="💡 上の <code>Dataset.map()</code> 関数で <code>batched=True</code> を使っていることにお気づきかもしれません。これはサンプルを1,000のバッチ（デフォルト）でエンコードし、🤗 Transformersの高速トークナイザーが持つマルチスレッド機能を利用できるようにするものです。可能であれば、前処理を最大限に活用するために <code>batched=True</code> を使ってみてください!";return{c(){p=y("p"),p.innerHTML=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-1t3m4qq"&&(p.innerHTML=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function BM(k){let p,u='🙋 もしあなたが適合率や再現率について初めて聞いたとしても心配しないでください。すべてを明らかにするために、いくつかの明確な例を一緒に見ていきましょう。これらの指標は通常分類タスクで遭遇するので、その分類タスクの場合に適合率と再現率がどのように定義されているかを理解したい場合は、 <code>scikit-learn</code> <a href="https://scikit-learn.org/stable/auto_examples/model_selection/plot_precision_recall.html" rel="nofollow">guides</a> をチェックアウトすることをお勧めします。';return{c(){p=y("p"),p.innerHTML=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-1x0nzu3"&&(p.innerHTML=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function xM(k){let p,u="✏️ <strong>あなたの番です！</strong> 生成と参照要約の独自の例を作成し、結果のROUGEスコアが精度とリコールの公式を基にした手動計算と一致するかどうかを確認することができます。ボーナスポイントとして、テキストをビッグラムに分割し、<code>rouge2</code> 指標の適合率と制限率を比較します。";return{c(){p=y("p"),p.innerHTML=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-1w3lu3k"&&(p.innerHTML=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function $M(k){let p,u,m,f="要約のためのモデルの微調整は、この章で取り上げた他のタスクと非常によく似ています。まず最初に行うべきことは、<code>mt5-small</code>チェックポイントから事前に学習したモデルをロードすることです。要約はシーケンス間タスクなので、<code>AutoModelForSeq2SeqLM</code>クラスでモデルをロードすれば、自動的に重みをダウンロードし、キャッシュすることができます。",G,Z,W;return p=new Is({props:{title:"KerasでmT5を微調整する",local:"kerasでmt5を微調整する",headingTag:"h2"}}),Z=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yU2VxMlNlcUxNJTBBJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcTJTZXFMTS5mcm9tX3ByZXRyYWluZWQobW9kZWxfY2hlY2twb2ludCk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForSeq2SeqLM

model = TFAutoModelForSeq2SeqLM.from_pretrained(model_checkpoint)`,wrap:!1}}),{c(){J(p.$$.fragment),u=t(),m=y("p"),m.innerHTML=f,G=t(),J(Z.$$.fragment)},l(I){T(p.$$.fragment,I),u=n(I),m=c(I,"P",{"data-svelte-h":!0}),w(m)!=="svelte-unjgbo"&&(m.innerHTML=f),G=n(I),T(Z.$$.fragment,I)},m(I,g){o(p,I,g),e(I,u,g),e(I,m,g),e(I,G,g),o(Z,I,g),W=!0},i(I){W||(r(p.$$.fragment,I),r(Z.$$.fragment,I),W=!0)},o(I){i(p.$$.fragment,I),i(Z.$$.fragment,I),W=!1},d(I){I&&(l(u),l(m),l(G)),U(p,I),U(Z,I)}}}function WM(k){let p,u,m,f="要約のためのモデルの微調整は、この章で取り上げた他のタスクと非常によく似ています。まず最初に行うべきことは、<code>mt5-small</code> チェックポイントから事前学習したモデルをロードすることです。要約はシーケンス間タスクなので、<code>AutoModelForSeq2SeqLM</code> クラスを使用してモデルをロードすることができます。これは自動的に重みをダウンロードし、キャッシュします。",G,Z,W;return p=new Is({props:{title:"Trainer API を使って mT5 を微調整する",local:"trainer-api-を使って-mt5-を微調整する",headingTag:"h2"}}),Z=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcTJTZXFMTSUwQSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yU2VxMlNlcUxNLmZyb21fcHJldHJhaW5lZChtb2RlbF9jaGVja3BvaW50KQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained(model_checkpoint)`,wrap:!1}}),{c(){J(p.$$.fragment),u=t(),m=y("p"),m.innerHTML=f,G=t(),J(Z.$$.fragment)},l(I){T(p.$$.fragment,I),u=n(I),m=c(I,"P",{"data-svelte-h":!0}),w(m)!=="svelte-1lhwse"&&(m.innerHTML=f),G=n(I),T(Z.$$.fragment,I)},m(I,g){o(p,I,g),e(I,u,g),e(I,m,g),e(I,G,g),o(Z,I,g),W=!0},i(I){W||(r(p.$$.fragment,I),r(Z.$$.fragment,I),W=!0)},o(I){i(p.$$.fragment,I),i(Z.$$.fragment,I),W=!1},d(I){I&&(l(u),l(m),l(G)),U(p,I),U(Z,I)}}}function VM(k){let p,u='💡 下流のタスクでモデルを微調整に関する警告が表示されないことを不思議に思うかもしれませんが、それはシーケンス間タスクでは、ネットワークのすべての重みが保持されるからです。これを<a href="/course/ja/chapter3">第3章</a>のテキスト分類モデルと比較してみましょう。テキスト分類モデルでは、事前学習したモデルの先頭をランダムに初期化したネットワークに置き換えています。';return{c(){p=y("p"),p.innerHTML=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-xg9aw0"&&(p.innerHTML=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function cM(k){let p,u=`トレーニング中にROUGEスコアを計算するために、要約を生成する必要があります。幸いなことに、🤗 Transformersは専用の <code>Seq2SeqTrainingArguments</code> と <code>Seq2SeqTrainer</code> クラスを提供し、私たちのために自動的にこれを行うことができます！
このクラスがどのように機能するかを見てみるために、まず実験用にハイパーパラメータとその他の引数を定義しましょう。`,m,f,G,Z,W='ここでは、 <code>predict_with_generate</code> 引数を設定し、各エポックの ROUGE スコアを計算できるように、評価中に要約を生成するように指示しました。<a href="/course/ja/chapter1">第1章</a> で説明したように、デコーダはトークンを一つずつ予測して推論を行いますが、これはモデルの <code>generate()</code> メソッドによって実装されています。<code>predict_with_generate=True</code> を設定すると、 <code>Seq2SeqTrainer</code> がそのメソッドを使用して評価を行うようになります。また、学習率、エポック回数、重み減衰などのデフォルトのハイパーパラメータを調整し、 <code>save_total_limit</code> オプションを設定して、学習中のチェックポイントを3つまでしか保存しないようにしました。これはmT5の「小さい」バージョンでさえ、ハードディスクの容量を約1GB使用しており、保存するコピーを制限すれば、少し容量を節約することができるからです。',I,g,R='<code>push_to_hub=True</code> を指定すると、学習後にモデルを Hub にプッシュすることができます。ユーザープロファイルの下の、 <code>output_dir</code> で定義された場所にリポジトリが作成されます。なお、 <code>hub_model_id</code> 引数で、プッシュしたいリポジトリの名前を指定することができます。(特に、組織にプッシュする場合はこの引数を使用する必要があります)。例えば、モデルを <a href="https://huggingface.co/huggingface-course" rel="nofollow"><code>huggingface-course</code> organization</a> にプッシュする場合、<code>Seq2SeqTrainingArguments</code> に <code>hub_model_id=&quot;huggingface-course/mt5-finetuned-amazon-en-es&quot;</code> を追加しています。',v,z,S=`次に必要なことは、学習中にモデルを評価できるように、 <code>compute_metrics()</code> 関数をトレーナーに提供することです。
要約タスクでは、予測タスクのようにシンプルに <code>rouge_score.compute()</code> を呼ぶのと少し異なります。なぜなら、ROUGE スコアを計算する前に、出力とラベルをテキストにデコードする必要があるからです。以下の関数はまさにそれを行うもので、さらに <code>nltk</code> の <code>sent_tokenize()</code> 関数を利用して、要約文章を改行で区切るようにしています。`,N,V,x;return f=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFNlcTJTZXFUcmFpbmluZ0FyZ3VtZW50cyUwQSUwQWJhdGNoX3NpemUlMjAlM0QlMjA4JTBBbnVtX3RyYWluX2Vwb2NocyUyMCUzRCUyMDglMEElMjMlMjBTaG93JTIwdGhlJTIwdHJhaW5pbmclMjBsb3NzJTIwd2l0aCUyMGV2ZXJ5JTIwZXBvY2glMEFsb2dnaW5nX3N0ZXBzJTIwJTNEJTIwbGVuKHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEKSUyMCUyRiUyRiUyMGJhdGNoX3NpemUlMEFtb2RlbF9uYW1lJTIwJTNEJTIwbW9kZWxfY2hlY2twb2ludC5zcGxpdCglMjIlMkYlMjIpJTVCLTElNUQlMEElMEFhcmdzJTIwJTNEJTIwU2VxMlNlcVRyYWluaW5nQXJndW1lbnRzKCUwQSUyMCUyMCUyMCUyMG91dHB1dF9kaXIlM0RmJTIyJTdCbW9kZWxfbmFtZSU3RC1maW5ldHVuZWQtYW1hem9uLWVuLWVzJTIyJTJDJTBBJTIwJTIwJTIwJTIwZXZhbHVhdGlvbl9zdHJhdGVneSUzRCUyMmVwb2NoJTIyJTJDJTBBJTIwJTIwJTIwJTIwbGVhcm5pbmdfcmF0ZSUzRDUuNmUtNSUyQyUwQSUyMCUyMCUyMCUyMHBlcl9kZXZpY2VfdHJhaW5fYmF0Y2hfc2l6ZSUzRGJhdGNoX3NpemUlMkMlMEElMjAlMjAlMjAlMjBwZXJfZGV2aWNlX2V2YWxfYmF0Y2hfc2l6ZSUzRGJhdGNoX3NpemUlMkMlMEElMjAlMjAlMjAlMjB3ZWlnaHRfZGVjYXklM0QwLjAxJTJDJTBBJTIwJTIwJTIwJTIwc2F2ZV90b3RhbF9saW1pdCUzRDMlMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fZXBvY2hzJTNEbnVtX3RyYWluX2Vwb2NocyUyQyUwQSUyMCUyMCUyMCUyMHByZWRpY3Rfd2l0aF9nZW5lcmF0ZSUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjBsb2dnaW5nX3N0ZXBzJTNEbG9nZ2luZ19zdGVwcyUyQyUwQSUyMCUyMCUyMCUyMHB1c2hfdG9faHViJTNEVHJ1ZSUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Seq2SeqTrainingArguments

batch_size = <span class="hljs-number">8</span>
num_train_epochs = <span class="hljs-number">8</span>
<span class="hljs-comment"># Show the training loss with every epoch</span>
logging_steps = <span class="hljs-built_in">len</span>(tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>]) // batch_size
model_name = model_checkpoint.split(<span class="hljs-string">&quot;/&quot;</span>)[-<span class="hljs-number">1</span>]

args = Seq2SeqTrainingArguments(
    output_dir=<span class="hljs-string">f&quot;<span class="hljs-subst">{model_name}</span>-finetuned-amazon-en-es&quot;</span>,
    evaluation_strategy=<span class="hljs-string">&quot;epoch&quot;</span>,
    learning_rate=<span class="hljs-number">5.6e-5</span>,
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    weight_decay=<span class="hljs-number">0.01</span>,
    save_total_limit=<span class="hljs-number">3</span>,
    num_train_epochs=num_train_epochs,
    predict_with_generate=<span class="hljs-literal">True</span>,
    logging_steps=logging_steps,
    push_to_hub=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),V=new h({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBJTBBJTBBZGVmJTIwY29tcHV0ZV9tZXRyaWNzKGV2YWxfcHJlZCklM0ElMEElMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUyQyUyMGxhYmVscyUyMCUzRCUyMGV2YWxfcHJlZCUwQSUyMCUyMCUyMCUyMCUyMyUyMERlY29kZSUyMGdlbmVyYXRlZCUyMHN1bW1hcmllcyUyMGludG8lMjB0ZXh0JTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9wcmVkcyUyMCUzRCUyMHRva2VuaXplci5iYXRjaF9kZWNvZGUocHJlZGljdGlvbnMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSklMEElMjAlMjAlMjAlMjAlMjMlMjBSZXBsYWNlJTIwLTEwMCUyMGluJTIwdGhlJTIwbGFiZWxzJTIwYXMlMjB3ZSUyMGNhbid0JTIwZGVjb2RlJTIwdGhlbSUwQSUyMCUyMCUyMCUyMGxhYmVscyUyMCUzRCUyMG5wLndoZXJlKGxhYmVscyUyMCElM0QlMjAtMTAwJTJDJTIwbGFiZWxzJTJDJTIwdG9rZW5pemVyLnBhZF90b2tlbl9pZCklMEElMjAlMjAlMjAlMjAlMjMlMjBEZWNvZGUlMjByZWZlcmVuY2UlMjBzdW1tYXJpZXMlMjBpbnRvJTIwdGV4dCUwQSUyMCUyMCUyMCUyMGRlY29kZWRfbGFiZWxzJTIwJTNEJTIwdG9rZW5pemVyLmJhdGNoX2RlY29kZShsYWJlbHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSklMEElMjAlMjAlMjAlMjAlMjMlMjBST1VHRSUyMGV4cGVjdHMlMjBhJTIwbmV3bGluZSUyMGFmdGVyJTIwZWFjaCUyMHNlbnRlbmNlJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9wcmVkcyUyMCUzRCUyMCU1QiUyMiU1Q24lMjIuam9pbihzZW50X3Rva2VuaXplKHByZWQuc3RyaXAoKSkpJTIwZm9yJTIwcHJlZCUyMGluJTIwZGVjb2RlZF9wcmVkcyU1RCUwQSUyMCUyMCUyMCUyMGRlY29kZWRfbGFiZWxzJTIwJTNEJTIwJTVCJTIyJTVDbiUyMi5qb2luKHNlbnRfdG9rZW5pemUobGFiZWwuc3RyaXAoKSkpJTIwZm9yJTIwbGFiZWwlMjBpbiUyMGRlY29kZWRfbGFiZWxzJTVEJTBBJTIwJTIwJTIwJTIwJTIzJTIwQ29tcHV0ZSUyMFJPVUdFJTIwc2NvcmVzJTBBJTIwJTIwJTIwJTIwcmVzdWx0JTIwJTNEJTIwcm91Z2Vfc2NvcmUuY29tcHV0ZSglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUzRGRlY29kZWRfcHJlZHMlMkMlMjByZWZlcmVuY2VzJTNEZGVjb2RlZF9sYWJlbHMlMkMlMjB1c2Vfc3RlbW1lciUzRFRydWUlMEElMjAlMjAlMjAlMjApJTBBJTIwJTIwJTIwJTIwJTIzJTIwRXh0cmFjdCUyMHRoZSUyMG1lZGlhbiUyMHNjb3JlcyUwQSUyMCUyMCUyMCUyMHJlc3VsdCUyMCUzRCUyMCU3QmtleSUzQSUyMHZhbHVlLm1pZC5mbWVhc3VyZSUyMColMjAxMDAlMjBmb3IlMjBrZXklMkMlMjB2YWx1ZSUyMGluJTIwcmVzdWx0Lml0ZW1zKCklN0QlMEElMjAlMjAlMjAlMjByZXR1cm4lMjAlN0JrJTNBJTIwcm91bmQodiUyQyUyMDQpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMHJlc3VsdC5pdGVtcygpJTdE",highlighted:`<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np


<span class="hljs-keyword">def</span> <span class="hljs-title function_">compute_metrics</span>(<span class="hljs-params">eval_pred</span>):
    predictions, labels = eval_pred
    <span class="hljs-comment"># Decode generated summaries into text</span>
    decoded_preds = tokenizer.batch_decode(predictions, skip_special_tokens=<span class="hljs-literal">True</span>)
    <span class="hljs-comment"># Replace -100 in the labels as we can&#x27;t decode them</span>
    labels = np.where(labels != -<span class="hljs-number">100</span>, labels, tokenizer.pad_token_id)
    <span class="hljs-comment"># Decode reference summaries into text</span>
    decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=<span class="hljs-literal">True</span>)
    <span class="hljs-comment"># ROUGE expects a newline after each sentence</span>
    decoded_preds = [<span class="hljs-string">&quot;\\n&quot;</span>.join(sent_tokenize(pred.strip())) <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> decoded_preds]
    decoded_labels = [<span class="hljs-string">&quot;\\n&quot;</span>.join(sent_tokenize(label.strip())) <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> decoded_labels]
    <span class="hljs-comment"># Compute ROUGE scores</span>
    result = rouge_score.compute(
        predictions=decoded_preds, references=decoded_labels, use_stemmer=<span class="hljs-literal">True</span>
    )
    <span class="hljs-comment"># Extract the median scores</span>
    result = {key: value.mid.fmeasure * <span class="hljs-number">100</span> <span class="hljs-keyword">for</span> key, value <span class="hljs-keyword">in</span> result.items()}
    <span class="hljs-keyword">return</span> {k: <span class="hljs-built_in">round</span>(v, <span class="hljs-number">4</span>) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> result.items()}`,wrap:!1}}),{c(){p=y("p"),p.innerHTML=u,m=t(),J(f.$$.fragment),G=t(),Z=y("p"),Z.innerHTML=W,I=t(),g=y("p"),g.innerHTML=R,v=t(),z=y("p"),z.innerHTML=S,N=t(),J(V.$$.fragment)},l(C){p=c(C,"P",{"data-svelte-h":!0}),w(p)!=="svelte-1p2og3r"&&(p.innerHTML=u),m=n(C),T(f.$$.fragment,C),G=n(C),Z=c(C,"P",{"data-svelte-h":!0}),w(Z)!=="svelte-1d453h"&&(Z.innerHTML=W),I=n(C),g=c(C,"P",{"data-svelte-h":!0}),w(g)!=="svelte-8wxcwv"&&(g.innerHTML=R),v=n(C),z=c(C,"P",{"data-svelte-h":!0}),w(z)!=="svelte-9fc8uz"&&(z.innerHTML=S),N=n(C),T(V.$$.fragment,C)},m(C,B){e(C,p,B),e(C,m,B),o(f,C,B),e(C,G,B),e(C,Z,B),e(C,I,B),e(C,g,B),e(C,v,B),e(C,z,B),e(C,N,B),o(V,C,B),x=!0},i(C){x||(r(f.$$.fragment,C),r(V.$$.fragment,C),x=!0)},o(C){i(f.$$.fragment,C),i(V.$$.fragment,C),x=!1},d(C){C&&(l(p),l(m),l(G),l(Z),l(I),l(g),l(v),l(z),l(N)),U(f,C),U(V,C)}}}function _M(k){let p,u;return p=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclNlcTJTZXElMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yU2VxMlNlcSh0b2tlbml6ZXIlMkMlMjBtb2RlbCUzRG1vZGVsJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForSeq2Seq

data_collator = DataCollatorForSeq2Seq(tokenizer, model=model, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)`,wrap:!1}}),{c(){J(p.$$.fragment)},l(m){T(p.$$.fragment,m)},m(m,f){o(p,m,f),u=!0},i(m){u||(r(p.$$.fragment,m),u=!0)},o(m){i(p.$$.fragment,m),u=!1},d(m){U(p,m)}}}function RM(k){let p,u;return p=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvckZvclNlcTJTZXElMEElMEFkYXRhX2NvbGxhdG9yJTIwJTNEJTIwRGF0YUNvbGxhdG9yRm9yU2VxMlNlcSh0b2tlbml6ZXIlMkMlMjBtb2RlbCUzRG1vZGVsKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorForSeq2Seq

data_collator = DataCollatorForSeq2Seq(tokenizer, model=model)`,wrap:!1}}),{c(){J(p.$$.fragment)},l(m){T(p.$$.fragment,m)},m(m,f){o(p,m,f),u=!0},i(m){u||(r(p.$$.fragment,m),u=!0)},o(m){i(p.$$.fragment,m),u=!1},d(m){U(p,m)}}}function NM(k){let p,u="トレーニングの準備はほぼ整いました。あとは上で定義したデータコレーターを使ってデータセットを <code>tf.data.Dataset</code>s に変換し、モデルを <code>compile()</code> と <code>fit()</code> するだけです。まず、データセットです。",m,f,G,Z,W="ここで、学習用ハイパーパラメータを定義し、コンパイルします。",I,g,R,v,z="そして最後に、モデルのフィットを行います。<code>PushToHubCallback</code>を使用して、各エポック後にモデルをHubに保存し、後で推論に使用できるようにします。",S,N,V,x,C="学習中に損失値を取得しましたが、本当は先ほど計算したROUGE指標を見たいのです。この指標を取得するためには、モデルから出力を生成し、それを文字列に変換する必要があります。ROUGE指標を比較するために、ラベルと予測のリストをいくつか作ってみましょう（このセクション実行時にインポートエラーが発生した場合は、<code>!pip install tqdm</code>を実行する必要があるかもしれませんので注意してください）。",B,L,X,Y,K="ラベルと予測文字列のリストがあれば、ROUGEスコアの計算は簡単です。",A,q,E,Q,F;return f=new h({props:{code:"dGZfdHJhaW5fZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVELnRvX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwY29sdW1ucyUzRCU1QiUyMmlucHV0X2lkcyUyMiUyQyUyMCUyMmF0dGVudGlvbl9tYXNrJTIyJTJDJTIwJTIybGFiZWxzJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBzaHVmZmxlJTNEVHJ1ZSUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0Q4JTJDJTBBKSUwQXRmX2V2YWxfZGF0YXNldCUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkYXRpb24lMjIlNUQudG9fdGZfZGF0YXNldCglMEElMjAlMjAlMjAlMjBjb2x1bW5zJTNEJTVCJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJsYWJlbHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RGYWxzZSUyQyUwQSUyMCUyMCUyMCUyMGJhdGNoX3NpemUlM0Q4JTJDJTBBKQ==",highlighted:`tf_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">True</span>,
    batch_size=<span class="hljs-number">8</span>,
)
tf_eval_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>],
    collate_fn=data_collator,
    shuffle=<span class="hljs-literal">False</span>,
    batch_size=<span class="hljs-number">8</span>,
)`,wrap:!1}}),g=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGNyZWF0ZV9vcHRpbWl6ZXIlMEFpbXBvcnQlMjB0ZW5zb3JmbG93JTIwYXMlMjB0ZiUwQSUwQSUyMyUyMFRoZSUyMG51bWJlciUyMG9mJTIwdHJhaW5pbmclMjBzdGVwcyUyMGlzJTIwdGhlJTIwbnVtYmVyJTIwb2YlMjBzYW1wbGVzJTIwaW4lMjB0aGUlMjBkYXRhc2V0JTJDJTIwZGl2aWRlZCUyMGJ5JTIwdGhlJTIwYmF0Y2glMjBzaXplJTIwdGhlbiUyMG11bHRpcGxpZWQlMEElMjMlMjBieSUyMHRoZSUyMHRvdGFsJTIwbnVtYmVyJTIwb2YlMjBlcG9jaHMuJTIwTm90ZSUyMHRoYXQlMjB0aGUlMjB0Zl90cmFpbl9kYXRhc2V0JTIwaGVyZSUyMGlzJTIwYSUyMGJhdGNoZWQlMjB0Zi5kYXRhLkRhdGFzZXQlMkMlMEElMjMlMjBub3QlMjB0aGUlMjBvcmlnaW5hbCUyMEh1Z2dpbmclMjBGYWNlJTIwRGF0YXNldCUyQyUyMHNvJTIwaXRzJTIwbGVuKCklMjBpcyUyMGFscmVhZHklMjBudW1fc2FtcGxlcyUyMCUyRiUyRiUyMGJhdGNoX3NpemUuJTBBbnVtX3RyYWluX2Vwb2NocyUyMCUzRCUyMDglMEFudW1fdHJhaW5fc3RlcHMlMjAlM0QlMjBsZW4odGZfdHJhaW5fZGF0YXNldCklMjAqJTIwbnVtX3RyYWluX2Vwb2NocyUwQW1vZGVsX25hbWUlMjAlM0QlMjBtb2RlbF9jaGVja3BvaW50LnNwbGl0KCUyMiUyRiUyMiklNUItMSU1RCUwQSUwQW9wdGltaXplciUyQyUyMHNjaGVkdWxlJTIwJTNEJTIwY3JlYXRlX29wdGltaXplciglMEElMjAlMjAlMjAlMjBpbml0X2xyJTNENS42ZS01JTJDJTBBJTIwJTIwJTIwJTIwbnVtX3dhcm11cF9zdGVwcyUzRDAlMkMlMEElMjAlMjAlMjAlMjBudW1fdHJhaW5fc3RlcHMlM0RudW1fdHJhaW5fc3RlcHMlMkMlMEElMjAlMjAlMjAlMjB3ZWlnaHRfZGVjYXlfcmF0ZSUzRDAuMDElMkMlMEEpJTBBJTBBbW9kZWwuY29tcGlsZShvcHRpbWl6ZXIlM0RvcHRpbWl6ZXIpJTBBJTBBJTIzJTIwVHJhaW4lMjBpbiUyMG1peGVkLXByZWNpc2lvbiUyMGZsb2F0MTYlMEF0Zi5rZXJhcy5taXhlZF9wcmVjaXNpb24uc2V0X2dsb2JhbF9wb2xpY3koJTIybWl4ZWRfZmxvYXQxNiUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> create_optimizer
<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

<span class="hljs-comment"># The number of training steps is the number of samples in the dataset, divided by the batch size then multiplied</span>
<span class="hljs-comment"># by the total number of epochs. Note that the tf_train_dataset here is a batched tf.data.Dataset,</span>
<span class="hljs-comment"># not the original Hugging Face Dataset, so its len() is already num_samples // batch_size.</span>
num_train_epochs = <span class="hljs-number">8</span>
num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset) * num_train_epochs
model_name = model_checkpoint.split(<span class="hljs-string">&quot;/&quot;</span>)[-<span class="hljs-number">1</span>]

optimizer, schedule = create_optimizer(
    init_lr=<span class="hljs-number">5.6e-5</span>,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_train_steps=num_train_steps,
    weight_decay_rate=<span class="hljs-number">0.01</span>,
)

model.<span class="hljs-built_in">compile</span>(optimizer=optimizer)

<span class="hljs-comment"># Train in mixed-precision float16</span>
tf.keras.mixed_precision.set_global_policy(<span class="hljs-string">&quot;mixed_float16&quot;</span>)`,wrap:!1}}),N=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycy5rZXJhc19jYWxsYmFja3MlMjBpbXBvcnQlMjBQdXNoVG9IdWJDYWxsYmFjayUwQSUwQWNhbGxiYWNrJTIwJTNEJTIwUHVzaFRvSHViQ2FsbGJhY2soJTBBJTIwJTIwJTIwJTIwb3V0cHV0X2RpciUzRGYlMjIlN0Jtb2RlbF9uYW1lJTdELWZpbmV0dW5lZC1hbWF6b24tZW4tZXMlMjIlMkMlMjB0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMEEpJTBBJTBBbW9kZWwuZml0KCUwQSUyMCUyMCUyMCUyMHRmX3RyYWluX2RhdGFzZXQlMkMlMjB2YWxpZGF0aW9uX2RhdGElM0R0Zl9ldmFsX2RhdGFzZXQlMkMlMjBjYWxsYmFja3MlM0QlNUJjYWxsYmFjayU1RCUyQyUyMGVwb2NocyUzRDglMEEp",highlighted:`<span class="hljs-keyword">from</span> transformers.keras_callbacks <span class="hljs-keyword">import</span> PushToHubCallback

callback = PushToHubCallback(
    output_dir=<span class="hljs-string">f&quot;<span class="hljs-subst">{model_name}</span>-finetuned-amazon-en-es&quot;</span>, tokenizer=tokenizer
)

model.fit(
    tf_train_dataset, validation_data=tf_eval_dataset, callbacks=[callback], epochs=<span class="hljs-number">8</span>
)`,wrap:!1}}),L=new h({props:{code:"ZnJvbSUyMHRxZG0lMjBpbXBvcnQlMjB0cWRtJTBBaW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBJTBBYWxsX3ByZWRzJTIwJTNEJTIwJTVCJTVEJTBBYWxsX2xhYmVscyUyMCUzRCUyMCU1QiU1RCUwQWZvciUyMGJhdGNoJTIwaW4lMjB0cWRtKHRmX2V2YWxfZGF0YXNldCklM0ElMEElMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUyMCUzRCUyMG1vZGVsLmdlbmVyYXRlKCoqYmF0Y2gpJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9wcmVkcyUyMCUzRCUyMHRva2VuaXplci5iYXRjaF9kZWNvZGUocHJlZGljdGlvbnMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSklMEElMjAlMjAlMjAlMjBsYWJlbHMlMjAlM0QlMjBiYXRjaCU1QiUyMmxhYmVscyUyMiU1RC5udW1weSgpJTBBJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwbnAud2hlcmUobGFiZWxzJTIwISUzRCUyMC0xMDAlMkMlMjBsYWJlbHMlMkMlMjB0b2tlbml6ZXIucGFkX3Rva2VuX2lkKSUwQSUyMCUyMCUyMCUyMGRlY29kZWRfbGFiZWxzJTIwJTNEJTIwdG9rZW5pemVyLmJhdGNoX2RlY29kZShsYWJlbHMlMkMlMjBza2lwX3NwZWNpYWxfdG9rZW5zJTNEVHJ1ZSklMEElMjAlMjAlMjAlMjBkZWNvZGVkX3ByZWRzJTIwJTNEJTIwJTVCJTIyJTVDbiUyMi5qb2luKHNlbnRfdG9rZW5pemUocHJlZC5zdHJpcCgpKSklMjBmb3IlMjBwcmVkJTIwaW4lMjBkZWNvZGVkX3ByZWRzJTVEJTBBJTIwJTIwJTIwJTIwZGVjb2RlZF9sYWJlbHMlMjAlM0QlMjAlNUIlMjIlNUNuJTIyLmpvaW4oc2VudF90b2tlbml6ZShsYWJlbC5zdHJpcCgpKSklMjBmb3IlMjBsYWJlbCUyMGluJTIwZGVjb2RlZF9sYWJlbHMlNUQlMEElMjAlMjAlMjAlMjBhbGxfcHJlZHMuZXh0ZW5kKGRlY29kZWRfcHJlZHMpJTBBJTIwJTIwJTIwJTIwYWxsX2xhYmVscy5leHRlbmQoZGVjb2RlZF9sYWJlbHMp",highlighted:`<span class="hljs-keyword">from</span> tqdm <span class="hljs-keyword">import</span> tqdm
<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np

all_preds = []
all_labels = []
<span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> tqdm(tf_eval_dataset):
    predictions = model.generate(**batch)
    decoded_preds = tokenizer.batch_decode(predictions, skip_special_tokens=<span class="hljs-literal">True</span>)
    labels = batch[<span class="hljs-string">&quot;labels&quot;</span>].numpy()
    labels = np.where(labels != -<span class="hljs-number">100</span>, labels, tokenizer.pad_token_id)
    decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=<span class="hljs-literal">True</span>)
    decoded_preds = [<span class="hljs-string">&quot;\\n&quot;</span>.join(sent_tokenize(pred.strip())) <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> decoded_preds]
    decoded_labels = [<span class="hljs-string">&quot;\\n&quot;</span>.join(sent_tokenize(label.strip())) <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> decoded_labels]
    all_preds.extend(decoded_preds)
    all_labels.extend(decoded_labels)`,wrap:!1}}),q=new h({props:{code:"cmVzdWx0JTIwJTNEJTIwcm91Z2Vfc2NvcmUuY29tcHV0ZSglMEElMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUzRGRlY29kZWRfcHJlZHMlMkMlMjByZWZlcmVuY2VzJTNEZGVjb2RlZF9sYWJlbHMlMkMlMjB1c2Vfc3RlbW1lciUzRFRydWUlMEEpJTBBcmVzdWx0JTIwJTNEJTIwJTdCa2V5JTNBJTIwdmFsdWUubWlkLmZtZWFzdXJlJTIwKiUyMDEwMCUyMGZvciUyMGtleSUyQyUyMHZhbHVlJTIwaW4lMjByZXN1bHQuaXRlbXMoKSU3RCUwQSU3QmslM0ElMjByb3VuZCh2JTJDJTIwNCklMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwcmVzdWx0Lml0ZW1zKCklN0Q=",highlighted:`result = rouge_score.compute(
    predictions=decoded_preds, references=decoded_labels, use_stemmer=<span class="hljs-literal">True</span>
)
result = {key: value.mid.fmeasure * <span class="hljs-number">100</span> <span class="hljs-keyword">for</span> key, value <span class="hljs-keyword">in</span> result.items()}
{k: <span class="hljs-built_in">round</span>(v, <span class="hljs-number">4</span>) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> result.items()}`,wrap:!1}}),Q=new h({props:{code:"JTdCJ3JvdWdlMSclM0ElMjAzMS40ODE1JTJDJTIwJ3JvdWdlMiclM0ElMjAyNS40Mzg2JTJDJTIwJ3JvdWdlTCclM0ElMjAzMS40ODE1JTJDJTIwJ3JvdWdlTHN1bSclM0ElMjAzMS40ODE1JTdE",highlighted:'{&#x27;rouge1&#x27;: <span class="hljs-number">31.4815</span>, &#x27;rouge2&#x27;: <span class="hljs-number">25.4386</span>, &#x27;rougeL&#x27;: <span class="hljs-number">31.4815</span>, &#x27;rougeLsum&#x27;: <span class="hljs-number">31.4815</span>}',wrap:!1}}),{c(){p=y("p"),p.innerHTML=u,m=t(),J(f.$$.fragment),G=t(),Z=y("p"),Z.textContent=W,I=t(),J(g.$$.fragment),R=t(),v=y("p"),v.innerHTML=z,S=t(),J(N.$$.fragment),V=t(),x=y("p"),x.innerHTML=C,B=t(),J(L.$$.fragment),X=t(),Y=y("p"),Y.textContent=K,A=t(),J(q.$$.fragment),E=t(),J(Q.$$.fragment)},l(j){p=c(j,"P",{"data-svelte-h":!0}),w(p)!=="svelte-1cjj16b"&&(p.innerHTML=u),m=n(j),T(f.$$.fragment,j),G=n(j),Z=c(j,"P",{"data-svelte-h":!0}),w(Z)!=="svelte-1jt9xol"&&(Z.textContent=W),I=n(j),T(g.$$.fragment,j),R=n(j),v=c(j,"P",{"data-svelte-h":!0}),w(v)!=="svelte-nezlnh"&&(v.innerHTML=z),S=n(j),T(N.$$.fragment,j),V=n(j),x=c(j,"P",{"data-svelte-h":!0}),w(x)!=="svelte-joj7pi"&&(x.innerHTML=C),B=n(j),T(L.$$.fragment,j),X=n(j),Y=c(j,"P",{"data-svelte-h":!0}),w(Y)!=="svelte-1fcuh2r"&&(Y.textContent=K),A=n(j),T(q.$$.fragment,j),E=n(j),T(Q.$$.fragment,j)},m(j,_){e(j,p,_),e(j,m,_),o(f,j,_),e(j,G,_),e(j,Z,_),e(j,I,_),o(g,j,_),e(j,R,_),e(j,v,_),e(j,S,_),o(N,j,_),e(j,V,_),e(j,x,_),e(j,B,_),o(L,j,_),e(j,X,_),e(j,Y,_),e(j,A,_),o(q,j,_),e(j,E,_),o(Q,j,_),F=!0},i(j){F||(r(f.$$.fragment,j),r(g.$$.fragment,j),r(N.$$.fragment,j),r(L.$$.fragment,j),r(q.$$.fragment,j),r(Q.$$.fragment,j),F=!0)},o(j){i(f.$$.fragment,j),i(g.$$.fragment,j),i(N.$$.fragment,j),i(L.$$.fragment,j),i(q.$$.fragment,j),i(Q.$$.fragment,j),F=!1},d(j){j&&(l(p),l(m),l(G),l(Z),l(I),l(R),l(v),l(S),l(V),l(x),l(B),l(X),l(Y),l(A),l(E)),U(f,j),U(g,j),U(N,j),U(L,j),U(q,j),U(Q,j)}}}function XM(k){let p,u="これでようやく、トレーニングに必要な材料が揃いました。あとは、標準的な引数でトレーナーを実体化するだけです。",m,f,G,Z,W="そして、トレーニングランを開始します。",I,g,R,v,z="学習中はエポック毎に学習損失が減少し、ROUGE スコアが増加するのが分かるはずです。学習が完了したら、<code>Trainer.evaluate()</code>を実行して最終的な ROUGE スコアを確認することができます。",S,N,V,x,C,B,L=`スコアから、私達のモデルがlead-3のベースラインを見事に上回ったことがわかります。いいですね！
最後に、以下のようにモデルの重みをハブにプッシュします。`,X,Y,K,A,q,E,Q=`これは、ハブにすべてのファイルをアップロードする前に、チェックポイントと設定ファイルを <code>output_dir</code> に保存するものです。引数に <code>tags</code> を指定することで、Hub 上のウィジェットが mT5 アーキテクチャに関連付けられたデフォルトのテキスト生成用ではなく、要約パイプライン用のものになることも確認できます (モデルタグに関する詳細については、 <a href="https://huggingface.co/docs/hub/main#how-is-a-models-type-of-inference-api-and-widget-determined" rel="nofollow">🤗 Hub documentation</a>を参照してください)。
<code>trainer.push_to_hub()</code> の出力は Git のコミットハッシュへの URL で、モデルリポジトリに加えられた変更を簡単に確認することができます！`,F,j,_="このセクションの最後に、🤗 Accelerate が提供する低レベルの機能を使って mT5 を微調整することもできる方法を見てみましょう。",ys;return f=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFNlcTJTZXFUcmFpbmVyJTBBJTBBdHJhaW5lciUyMCUzRCUyMFNlcTJTZXFUcmFpbmVyKCUwQSUyMCUyMCUyMCUyMG1vZGVsJTJDJTBBJTIwJTIwJTIwJTIwYXJncyUyQyUwQSUyMCUyMCUyMCUyMHRyYWluX2RhdGFzZXQlM0R0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMGV2YWxfZGF0YXNldCUzRHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkYXRpb24lMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBkYXRhX2NvbGxhdG9yJTNEZGF0YV9jb2xsYXRvciUyQyUwQSUyMCUyMCUyMCUyMHRva2VuaXplciUzRHRva2VuaXplciUyQyUwQSUyMCUyMCUyMCUyMGNvbXB1dGVfbWV0cmljcyUzRGNvbXB1dGVfbWV0cmljcyUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> Seq2SeqTrainer

trainer = Seq2SeqTrainer(
    model,
    args,
    train_dataset=tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    eval_dataset=tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>],
    data_collator=data_collator,
    tokenizer=tokenizer,
    compute_metrics=compute_metrics,
)`,wrap:!1}}),g=new h({props:{code:"dHJhaW5lci50cmFpbigp",highlighted:"trainer.train()",wrap:!1}}),N=new h({props:{code:"dHJhaW5lci5ldmFsdWF0ZSgp",highlighted:"trainer.evaluate()",wrap:!1}}),x=new h({props:{code:"JTdCJ2V2YWxfbG9zcyclM0ElMjAzLjAyODUyNDM5ODgwMzcxMSUyQyUwQSUyMCdldmFsX3JvdWdlMSclM0ElMjAxNi45NzI4JTJDJTBBJTIwJ2V2YWxfcm91Z2UyJyUzQSUyMDguMjk2OSUyQyUwQSUyMCdldmFsX3JvdWdlTCclM0ElMjAxNi44MzY2JTJDJTBBJTIwJ2V2YWxfcm91Z2VMc3VtJyUzQSUyMDE2Ljg1MSUyQyUwQSUyMCdldmFsX2dlbl9sZW4nJTNBJTIwMTAuMTU5NyUyQyUwQSUyMCdldmFsX3J1bnRpbWUnJTNBJTIwNi4xMDU0JTJDJTBBJTIwJ2V2YWxfc2FtcGxlc19wZXJfc2Vjb25kJyUzQSUyMDM4Ljk4MiUyQyUwQSUyMCdldmFsX3N0ZXBzX3Blcl9zZWNvbmQnJTNBJTIwNC45MTQlN0Q=",highlighted:`{<span class="hljs-string">&#x27;eval_loss&#x27;</span>: <span class="hljs-number">3.028524398803711</span>,
 <span class="hljs-string">&#x27;eval_rouge1&#x27;</span>: <span class="hljs-number">16.9728</span>,
 <span class="hljs-string">&#x27;eval_rouge2&#x27;</span>: <span class="hljs-number">8.2969</span>,
 <span class="hljs-string">&#x27;eval_rougeL&#x27;</span>: <span class="hljs-number">16.8366</span>,
 <span class="hljs-string">&#x27;eval_rougeLsum&#x27;</span>: <span class="hljs-number">16.851</span>,
 <span class="hljs-string">&#x27;eval_gen_len&#x27;</span>: <span class="hljs-number">10.1597</span>,
 <span class="hljs-string">&#x27;eval_runtime&#x27;</span>: <span class="hljs-number">6.1054</span>,
 <span class="hljs-string">&#x27;eval_samples_per_second&#x27;</span>: <span class="hljs-number">38.982</span>,
 <span class="hljs-string">&#x27;eval_steps_per_second&#x27;</span>: <span class="hljs-number">4.914</span>}`,wrap:!1}}),Y=new h({props:{code:"dHJhaW5lci5wdXNoX3RvX2h1Yihjb21taXRfbWVzc2FnZSUzRCUyMlRyYWluaW5nJTIwY29tcGxldGUlMjIlMkMlMjB0YWdzJTNEJTIyc3VtbWFyaXphdGlvbiUyMik=",highlighted:'trainer.push_to_hub(<span class="hljs-attribute">commit_message</span>=<span class="hljs-string">&quot;Training complete&quot;</span>, <span class="hljs-attribute">tags</span>=<span class="hljs-string">&quot;summarization&quot;</span>)',wrap:!1}}),A=new h({props:{code:"J2h0dHBzJTNBJTJGJTJGaHVnZ2luZ2ZhY2UuY28lMkZodWdnaW5nZmFjZS1jb3Vyc2UlMkZtdDUtZmluZXR1bmVkLWFtYXpvbi1lbi1lcyUyRmNvbW1pdCUyRmFhMDUzNmI4MjliMjhlNzNlMWU0Yjk0YjhhNWFhY2VjNDIwZDQwZTAn",highlighted:'<span class="hljs-string">&#x27;https://huggingface.co/huggingface-course/mt5-finetuned-amazon-en-es/commit/aa0536b829b28e73e1e4b94b8a5aacec420d40e0&#x27;</span>',wrap:!1}}),{c(){p=y("p"),p.textContent=u,m=t(),J(f.$$.fragment),G=t(),Z=y("p"),Z.textContent=W,I=t(),J(g.$$.fragment),R=t(),v=y("p"),v.innerHTML=z,S=t(),J(N.$$.fragment),V=t(),J(x.$$.fragment),C=t(),B=y("p"),B.textContent=L,X=t(),J(Y.$$.fragment),K=t(),J(A.$$.fragment),q=t(),E=y("p"),E.innerHTML=Q,F=t(),j=y("p"),j.textContent=_},l(d){p=c(d,"P",{"data-svelte-h":!0}),w(p)!=="svelte-1sx6091"&&(p.textContent=u),m=n(d),T(f.$$.fragment,d),G=n(d),Z=c(d,"P",{"data-svelte-h":!0}),w(Z)!=="svelte-gsr0uj"&&(Z.textContent=W),I=n(d),T(g.$$.fragment,d),R=n(d),v=c(d,"P",{"data-svelte-h":!0}),w(v)!=="svelte-sbqohp"&&(v.innerHTML=z),S=n(d),T(N.$$.fragment,d),V=n(d),T(x.$$.fragment,d),C=n(d),B=c(d,"P",{"data-svelte-h":!0}),w(B)!=="svelte-19uslc0"&&(B.textContent=L),X=n(d),T(Y.$$.fragment,d),K=n(d),T(A.$$.fragment,d),q=n(d),E=c(d,"P",{"data-svelte-h":!0}),w(E)!=="svelte-1k7jr0c"&&(E.innerHTML=Q),F=n(d),j=c(d,"P",{"data-svelte-h":!0}),w(j)!=="svelte-u549u"&&(j.textContent=_)},m(d,$){e(d,p,$),e(d,m,$),o(f,d,$),e(d,G,$),e(d,Z,$),e(d,I,$),o(g,d,$),e(d,R,$),e(d,v,$),e(d,S,$),o(N,d,$),e(d,V,$),o(x,d,$),e(d,C,$),e(d,B,$),e(d,X,$),o(Y,d,$),e(d,K,$),o(A,d,$),e(d,q,$),e(d,E,$),e(d,F,$),e(d,j,$),ys=!0},i(d){ys||(r(f.$$.fragment,d),r(g.$$.fragment,d),r(N.$$.fragment,d),r(x.$$.fragment,d),r(Y.$$.fragment,d),r(A.$$.fragment,d),ys=!0)},o(d){i(f.$$.fragment,d),i(g.$$.fragment,d),i(N.$$.fragment,d),i(x.$$.fragment,d),i(Y.$$.fragment,d),i(A.$$.fragment,d),ys=!1},d(d){d&&(l(p),l(m),l(G),l(Z),l(I),l(R),l(v),l(S),l(V),l(C),l(B),l(X),l(K),l(q),l(E),l(F),l(j)),U(f,d),U(g,d),U(N,d),U(x,d),U(Y,d),U(A,d)}}}function JM(k){let p,u,m,f='🤗 Accelerateを使ったモデルの微調整は、<a href="/course/ja/chapter3">第3章</a>で行ったテキスト分類の例と非常によく似ています。主な違いは、学習時に要約を明示的に生成する必要があることと、ROUGEスコアの計算方法を定義することです（<code>Seq2SeqTrainer</code>が生成の面倒をみてくれたことを思い出してください）。では、この2つの要件を🤗 Accelerateでどのように実装するか見てみましょう。',G,Z,W,I,g="まず最初に行うべきことは、各分割に対して <code>DataLoader</code> を作成することです。PyTorchのデータローダーはテンソルのバッチを想定しているので、データセットのフォーマットを <code>&quot;torch&quot;</code> に設定する必要があります。",R,v,z,S,N="これでテンソルだけのデータセットができたので、次にやることは <code>DataCollatorForSeq2Seq</code> を再び実体化することです。そのためには、新しいバージョンのモデルを用意する必要があるので、キャッシュからロードし直しましょう。",V,x,C,B,L="次に、データコレーターを実態化し、これを使用してデータローダーを定義します。",X,Y,K,A,q="次に行うことは、使用するオプティマイザーを定義することです。他の例と同様に、ほとんどの問題でうまく機能する <code>AdamW</code> を使用することにします。",E,Q,F,j,_="最後に、モデル、オプティマイザー、データロードを <code>accelerator.prepare()</code> メソッドに渡します。",ys,d,$,P,Ns,O,aa="さて、オブジェクトの準備ができたので、残すは3つです。",Xs,ss,nl="<li>学習率のスケジュールを定義する。</li> <li>評価用の要約を後処理する関数を実装する。</li> <li>ハブ上にモデルをプッシュできるリポジトリを作成する。</li>",cs,Js,fs="学習率のスケジュールには、前節までの標準的な線形なものを使うことにします。",As,ls,Ml,Ts,$s="後処理として、生成された要約を改行で区切られた文に分割する関数が必要です。これはROUGE指標が期待する形式であり、次のようなコードの断片でこれを実現できます。",zs,es,Ys,as,ta="これは、 <code>Seq2SeqTrainer</code> の <code>compute_metrics()</code> 関数をどのように定義したかを思い出せば、見覚えがあるはずです。",Qs,ts,pl=`最後に、ハギングフェイス ハブにモデルリポジトリを作成する必要があります。これには、適切なタイトルの🤗 ハブ ライブラリを使用します。
私たちは、リポジトリの名前を定義する必要があるだけです。このライブラリには、リポジトリ ID とユーザプロファイルを組み合わせるユーティリティ関数があります。`,os,Ws,Ss,ns,Es,Ms,na="このリポジトリ名を使って、resultsディレクトリにローカルバージョンをクローンし、学習用成果物を格納します。",Fs,ps,Hs,ms,ml=`これにより、トレーニング中に <code>repo.push_to_hub()</code> メソッドを呼び出すことで、成果物をハブにプッシュバックすることができます！
それでは、トレーニングループを書き出し、分析を終えましょう。`,Us,Vs,Ds,rs,rl="要約のためのトレーニングループは、私たちが遭遇した他の🤗 Accelerateの例と非常によく似ており、大きく4つの主要なステップに分かれています。",ws,js,_s="<li>各エポックごとに <code>train_dataloader</code> にあるすべての例に対して繰り返し処理を行い、モデルを学習させる。</li> <li>各エポック終了時に、まずトークンを生成し、それをデコードしてテキストにすることでモデルの要約を生成する。(参考要約も)。</li> <li>先に見たのと同じ手法でROUGEスコアを計算する。</li> <li>チェックポイントを保存し、すべてをハブにプッシュする。ここでは、エポック毎にチェックポイントを <em>非同期</em> にプッシュできるように、<code>Repository</code> オブジェクトの <code>blocking=False</code> という便利な引数に頼っています。これにより、GBサイズのモデルで発生する遅いアップロードを待つことなく、学習を継続することができるようになりました。</li>",il,ds,Cs="これらの手順は、以下のコードブロックのようになります。",yl,hs,us,Rs,Ls,is,cl="それで終わりです。これを実行すると、<code>Trainer</code>で得たものとよく似たモデルと結果が得られます。",bs;return p=new Is({props:{title:"mT5モデルを 🤗 Accelerate を使って微調整する",local:"mt5モデルを--accelerate-を使って微調整する",headingTag:"h2"}}),Z=new Is({props:{title:"トレーニングのための準備",local:"トレーニングのための準備",headingTag:"h3"}}),v=new h({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzLnNldF9mb3JtYXQoJTIydG9yY2glMjIp",highlighted:'tokenized_datasets.set_format(<span class="hljs-string">&quot;torch&quot;</span>)',wrap:!1}}),x=new h({props:{code:"bW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXEyU2VxTE0uZnJvbV9wcmV0cmFpbmVkKG1vZGVsX2NoZWNrcG9pbnQp",highlighted:"model = AutoModelForSeq2SeqLM.from_pretrained(model_checkpoint)",wrap:!1}}),Y=new h({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGElMjBpbXBvcnQlMjBEYXRhTG9hZGVyJTBBJTBBYmF0Y2hfc2l6ZSUyMCUzRCUyMDglMEF0cmFpbl9kYXRhbG9hZGVyJTIwJTNEJTIwRGF0YUxvYWRlciglMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBiYXRjaF9zaXplJTNEYmF0Y2hfc2l6ZSUyQyUwQSklMEFldmFsX2RhdGFsb2FkZXIlMjAlM0QlMjBEYXRhTG9hZGVyKCUwQSUyMCUyMCUyMCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnZhbGlkYXRpb24lMjIlNUQlMkMlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUyQyUyMGJhdGNoX3NpemUlM0RiYXRjaF9zaXplJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data <span class="hljs-keyword">import</span> DataLoader

batch_size = <span class="hljs-number">8</span>
train_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>],
    shuffle=<span class="hljs-literal">True</span>,
    collate_fn=data_collator,
    batch_size=batch_size,
)
eval_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>], collate_fn=data_collator, batch_size=batch_size
)`,wrap:!1}}),Q=new h({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjBsciUzRDJlLTUp",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">2e-5</span>)`,wrap:!1}}),d=new h({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUwQWFjY2VsZXJhdG9yJTIwJTNEJTIwQWNjZWxlcmF0b3IoKSUwQW1vZGVsJTJDJTIwb3B0aW1pemVyJTJDJTIwdHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyMCUzRCUyMGFjY2VsZXJhdG9yLnByZXBhcmUoJTBBJTIwJTIwJTIwJTIwbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMkMlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator

accelerator = Accelerator()
model, optimizer, train_dataloader, eval_dataloader = accelerator.prepare(
    model, optimizer, train_dataloader, eval_dataloader
)`,wrap:!1}}),P=new al({props:{$$slots:{default:[AM]},$$scope:{ctx:k}}}),ls=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fdHJhaW5fZXBvY2hzJTIwJTNEJTIwMTAlMEFudW1fdXBkYXRlX3N0ZXBzX3Blcl9lcG9jaCUyMCUzRCUyMGxlbih0cmFpbl9kYXRhbG9hZGVyKSUwQW51bV90cmFpbmluZ19zdGVwcyUyMCUzRCUyMG51bV90cmFpbl9lcG9jaHMlMjAqJTIwbnVtX3VwZGF0ZV9zdGVwc19wZXJfZXBvY2glMEElMEFscl9zY2hlZHVsZXIlMjAlM0QlMjBnZXRfc2NoZWR1bGVyKCUwQSUyMCUyMCUyMCUyMCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QwJTJDJTBBJTIwJTIwJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTJDJTBBKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

num_train_epochs = <span class="hljs-number">10</span>
num_update_steps_per_epoch = <span class="hljs-built_in">len</span>(train_dataloader)
num_training_steps = num_train_epochs * num_update_steps_per_epoch

lr_scheduler = get_scheduler(
    <span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_training_steps=num_training_steps,
)`,wrap:!1}}),es=new h({props:{code:"ZGVmJTIwcG9zdHByb2Nlc3NfdGV4dChwcmVkcyUyQyUyMGxhYmVscyklM0ElMEElMjAlMjAlMjAlMjBwcmVkcyUyMCUzRCUyMCU1QnByZWQuc3RyaXAoKSUyMGZvciUyMHByZWQlMjBpbiUyMHByZWRzJTVEJTBBJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwJTVCbGFiZWwuc3RyaXAoKSUyMGZvciUyMGxhYmVsJTIwaW4lMjBsYWJlbHMlNUQlMEElMEElMjAlMjAlMjAlMjAlMjMlMjBST1VHRSUyMGV4cGVjdHMlMjBhJTIwbmV3bGluZSUyMGFmdGVyJTIwZWFjaCUyMHNlbnRlbmNlJTBBJTIwJTIwJTIwJTIwcHJlZHMlMjAlM0QlMjAlNUIlMjIlNUNuJTIyLmpvaW4obmx0ay5zZW50X3Rva2VuaXplKHByZWQpKSUyMGZvciUyMHByZWQlMjBpbiUyMHByZWRzJTVEJTBBJTIwJTIwJTIwJTIwbGFiZWxzJTIwJTNEJTIwJTVCJTIyJTVDbiUyMi5qb2luKG5sdGsuc2VudF90b2tlbml6ZShsYWJlbCkpJTIwZm9yJTIwbGFiZWwlMjBpbiUyMGxhYmVscyU1RCUwQSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMHByZWRzJTJDJTIwbGFiZWxz",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">postprocess_text</span>(<span class="hljs-params">preds, labels</span>):
    preds = [pred.strip() <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> preds]
    labels = [label.strip() <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> labels]

    <span class="hljs-comment"># ROUGE expects a newline after each sentence</span>
    preds = [<span class="hljs-string">&quot;\\n&quot;</span>.join(nltk.sent_tokenize(pred)) <span class="hljs-keyword">for</span> pred <span class="hljs-keyword">in</span> preds]
    labels = [<span class="hljs-string">&quot;\\n&quot;</span>.join(nltk.sent_tokenize(label)) <span class="hljs-keyword">for</span> label <span class="hljs-keyword">in</span> labels]

    <span class="hljs-keyword">return</span> preds, labels`,wrap:!1}}),Ws=new h({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMGdldF9mdWxsX3JlcG9fbmFtZSUwQSUwQW1vZGVsX25hbWUlMjAlM0QlMjAlMjJ0ZXN0LWJlcnQtZmluZXR1bmVkLXNxdWFkLWFjY2VsZXJhdGUlMjIlMEFyZXBvX25hbWUlMjAlM0QlMjBnZXRfZnVsbF9yZXBvX25hbWUobW9kZWxfbmFtZSklMEFyZXBvX25hbWU=",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> get_full_repo_name

model_name = <span class="hljs-string">&quot;test-bert-finetuned-squad-accelerate&quot;</span>
repo_name = get_full_repo_name(model_name)
repo_name`,wrap:!1}}),ns=new h({props:{code:"J2xld3R1biUyRm10NS1maW5ldHVuZWQtYW1hem9uLWVuLWVzLWFjY2VsZXJhdGUn",highlighted:'<span class="hljs-string">&#x27;lewtun/mt5-finetuned-amazon-en-es-accelerate&#x27;</span>',wrap:!1}}),ps=new h({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMFJlcG9zaXRvcnklMEElMEFvdXRwdXRfZGlyJTIwJTNEJTIwJTIycmVzdWx0cy1tdDUtZmluZXR1bmVkLXNxdWFkLWFjY2VsZXJhdGUlMjIlMEFyZXBvJTIwJTNEJTIwUmVwb3NpdG9yeShvdXRwdXRfZGlyJTJDJTIwY2xvbmVfZnJvbSUzRHJlcG9fbmFtZSk=",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> Repository

output_dir = <span class="hljs-string">&quot;results-mt5-finetuned-squad-accelerate&quot;</span>
repo = Repository(output_dir, clone_from=repo_name)`,wrap:!1}}),Vs=new Is({props:{title:"学習ループ",local:"学習ループ",headingTag:"h3"}}),hs=new h({props:{code:" ",highlighted:`<span class="hljs-keyword">from</span> tqdm.auto <span class="hljs-keyword">import</span> tqdm
<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np

progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_train_epochs):
    <span class="hljs-comment"># Training</span>
    model.train()
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(train_dataloader):
        outputs = model(**batch)
        loss = outputs.loss
        accelerator.backward(loss)

        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(<span class="hljs-number">1</span>)

    <span class="hljs-comment"># Evaluation</span>
    model.<span class="hljs-built_in">eval</span>()
    <span class="hljs-keyword">for</span> step, batch <span class="hljs-keyword">in</span> <span class="hljs-built_in">enumerate</span>(eval_dataloader):
        <span class="hljs-keyword">with</span> torch.no_grad():
            generated_tokens = accelerator.unwrap_model(model).generate(
                batch[<span class="hljs-string">&quot;input_ids&quot;</span>],
                attention_mask=batch[<span class="hljs-string">&quot;attention_mask&quot;</span>],
            )

            generated_tokens = accelerator.pad_across_processes(
                generated_tokens, dim=<span class="hljs-number">1</span>, pad_index=tokenizer.pad_token_id
            )
            labels = batch[<span class="hljs-string">&quot;labels&quot;</span>]

            <span class="hljs-comment"># If we did not pad to max length, we need to pad the labels too</span>
            labels = accelerator.pad_across_processes(
                batch[<span class="hljs-string">&quot;labels&quot;</span>], dim=<span class="hljs-number">1</span>, pad_index=tokenizer.pad_token_id
            )

            generated_tokens = accelerator.gather(generated_tokens).cpu().numpy()
            labels = accelerator.gather(labels).cpu().numpy()

            <span class="hljs-comment"># Replace -100 in the labels as we can&#x27;t decode them</span>
            labels = np.where(labels != -<span class="hljs-number">100</span>, labels, tokenizer.pad_token_id)
            <span class="hljs-keyword">if</span> <span class="hljs-built_in">isinstance</span>(generated_tokens, <span class="hljs-built_in">tuple</span>):
                generated_tokens = generated_tokens[<span class="hljs-number">0</span>]
            decoded_preds = tokenizer.batch_decode(
                generated_tokens, skip_special_tokens=<span class="hljs-literal">True</span>
            )
            decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=<span class="hljs-literal">True</span>)

            decoded_preds, decoded_labels = postprocess_text(
                decoded_preds, decoded_labels
            )

            rouge_score.add_batch(predictions=decoded_preds, references=decoded_labels)

    <span class="hljs-comment"># Compute metrics</span>
    result = rouge_score.compute()
    <span class="hljs-comment"># Extract the median ROUGE scores</span>
    result = {key: value.mid.fmeasure * <span class="hljs-number">100</span> <span class="hljs-keyword">for</span> key, value <span class="hljs-keyword">in</span> result.items()}
    result = {k: <span class="hljs-built_in">round</span>(v, <span class="hljs-number">4</span>) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> result.items()}
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;Epoch <span class="hljs-subst">{epoch}</span>:&quot;</span>, result)

    <span class="hljs-comment"># Save and upload</span>
    accelerator.wait_for_everyone()
    unwrapped_model = accelerator.unwrap_model(model)
    unwrapped_model.save_pretrained(output_dir, save_function=accelerator.save)
    <span class="hljs-keyword">if</span> accelerator.is_main_process:
        tokenizer.save_pretrained(output_dir)
        repo.push_to_hub(
            commit_message=<span class="hljs-string">f&quot;Training in progress epoch <span class="hljs-subst">{epoch}</span>&quot;</span>, blocking=<span class="hljs-literal">False</span>
        )`,wrap:!1}}),Rs=new h({props:{code:"RXBvY2glMjAwJTNBJTIwJTdCJ3JvdWdlMSclM0ElMjA1LjYzNTElMkMlMjAncm91Z2UyJyUzQSUyMDEuMTYyNSUyQyUyMCdyb3VnZUwnJTNBJTIwNS40ODY2JTJDJTIwJ3JvdWdlTHN1bSclM0ElMjA1LjUwMDUlN0QlMEFFcG9jaCUyMDElM0ElMjAlN0Incm91Z2UxJyUzQSUyMDkuODY0NiUyQyUyMCdyb3VnZTInJTNBJTIwMy40MTA2JTJDJTIwJ3JvdWdlTCclM0ElMjA5Ljk0MzklMkMlMjAncm91Z2VMc3VtJyUzQSUyMDkuOTMwNiU3RCUwQUVwb2NoJTIwMiUzQSUyMCU3Qidyb3VnZTEnJTNBJTIwMTEuMDg3MiUyQyUyMCdyb3VnZTInJTNBJTIwMy4zMjczJTJDJTIwJ3JvdWdlTCclM0ElMjAxMS4wNTA4JTJDJTIwJ3JvdWdlTHN1bSclM0ElMjAxMC45NDY4JTdEJTBBRXBvY2glMjAzJTNBJTIwJTdCJ3JvdWdlMSclM0ElMjAxMS44NTg3JTJDJTIwJ3JvdWdlMiclM0ElMjA0LjgxNjclMkMlMjAncm91Z2VMJyUzQSUyMDExLjc5ODYlMkMlMjAncm91Z2VMc3VtJyUzQSUyMDExLjc1MTglN0QlMEFFcG9jaCUyMDQlM0ElMjAlN0Incm91Z2UxJyUzQSUyMDEyLjk4NDIlMkMlMjAncm91Z2UyJyUzQSUyMDUuNTg4NyUyQyUyMCdyb3VnZUwnJTNBJTIwMTIuNzU0NiUyQyUyMCdyb3VnZUxzdW0nJTNBJTIwMTIuNzAyOSU3RCUwQUVwb2NoJTIwNSUzQSUyMCU3Qidyb3VnZTEnJTNBJTIwMTMuNDYyOCUyQyUyMCdyb3VnZTInJTNBJTIwNi40NTk4JTJDJTIwJ3JvdWdlTCclM0ElMjAxMy4zMTIlMkMlMjAncm91Z2VMc3VtJyUzQSUyMDEzLjI5MTMlN0QlMEFFcG9jaCUyMDYlM0ElMjAlN0Incm91Z2UxJyUzQSUyMDEyLjkxMzElMkMlMjAncm91Z2UyJyUzQSUyMDUuODkxNCUyQyUyMCdyb3VnZUwnJTNBJTIwMTIuNjg5NiUyQyUyMCdyb3VnZUxzdW0nJTNBJTIwMTIuNTcwMSU3RCUwQUVwb2NoJTIwNyUzQSUyMCU3Qidyb3VnZTEnJTNBJTIwMTMuMzA3OSUyQyUyMCdyb3VnZTInJTNBJTIwNi4yOTk0JTJDJTIwJ3JvdWdlTCclM0ElMjAxMy4xNTM2JTJDJTIwJ3JvdWdlTHN1bSclM0ElMjAxMy4xMTk0JTdEJTBBRXBvY2glMjA4JTNBJTIwJTdCJ3JvdWdlMSclM0ElMjAxMy45NiUyQyUyMCdyb3VnZTInJTNBJTIwNi41OTk4JTJDJTIwJ3JvdWdlTCclM0ElMjAxMy45MTIzJTJDJTIwJ3JvdWdlTHN1bSclM0ElMjAxMy43NzQ0JTdEJTBBRXBvY2glMjA5JTNBJTIwJTdCJ3JvdWdlMSclM0ElMjAxNC4xMTkyJTJDJTIwJ3JvdWdlMiclM0ElMjA3LjAwNTklMkMlMjAncm91Z2VMJyUzQSUyMDE0LjExNzIlMkMlMjAncm91Z2VMc3VtJyUzQSUyMDEzLjk1MDklN0Q=",highlighted:`Epoch <span class="hljs-number">0</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">5.6351</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">1.1625</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">5.4866</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">5.5005</span>}
Epoch <span class="hljs-number">1</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">9.8646</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">3.4106</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">9.9439</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">9.9306</span>}
Epoch <span class="hljs-number">2</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">11.0872</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">3.3273</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">11.0508</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">10.9468</span>}
Epoch <span class="hljs-number">3</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">11.8587</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">4.8167</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">11.7986</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">11.7518</span>}
Epoch <span class="hljs-number">4</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">12.9842</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">5.5887</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">12.7546</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">12.7029</span>}
Epoch <span class="hljs-number">5</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">13.4628</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">6.4598</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">13.312</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">13.2913</span>}
Epoch <span class="hljs-number">6</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">12.9131</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">5.8914</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">12.6896</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">12.5701</span>}
Epoch <span class="hljs-number">7</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">13.3079</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">6.2994</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">13.1536</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">13.1194</span>}
Epoch <span class="hljs-number">8</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">13.96</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">6.5998</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">13.9123</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">13.7744</span>}
Epoch <span class="hljs-number">9</span>: {<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">14.1192</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">7.0059</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">14.1172</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">13.9509</span>}`,wrap:!1}}),{c(){J(p.$$.fragment),u=t(),m=y("p"),m.innerHTML=f,G=t(),J(Z.$$.fragment),W=t(),I=y("p"),I.innerHTML=g,R=t(),J(v.$$.fragment),z=t(),S=y("p"),S.innerHTML=N,V=t(),J(x.$$.fragment),C=t(),B=y("p"),B.textContent=L,X=t(),J(Y.$$.fragment),K=t(),A=y("p"),A.innerHTML=q,E=t(),J(Q.$$.fragment),F=t(),j=y("p"),j.innerHTML=_,ys=t(),J(d.$$.fragment),$=t(),J(P.$$.fragment),Ns=t(),O=y("p"),O.textContent=aa,Xs=t(),ss=y("ul"),ss.innerHTML=nl,cs=t(),Js=y("p"),Js.textContent=fs,As=t(),J(ls.$$.fragment),Ml=t(),Ts=y("p"),Ts.textContent=$s,zs=t(),J(es.$$.fragment),Ys=t(),as=y("p"),as.innerHTML=ta,Qs=t(),ts=y("p"),ts.textContent=pl,os=t(),J(Ws.$$.fragment),Ss=t(),J(ns.$$.fragment),Es=t(),Ms=y("p"),Ms.textContent=na,Fs=t(),J(ps.$$.fragment),Hs=t(),ms=y("p"),ms.innerHTML=ml,Us=t(),J(Vs.$$.fragment),Ds=t(),rs=y("p"),rs.textContent=rl,ws=t(),js=y("ol"),js.innerHTML=_s,il=t(),ds=y("p"),ds.textContent=Cs,yl=t(),J(hs.$$.fragment),us=t(),J(Rs.$$.fragment),Ls=t(),is=y("p"),is.innerHTML=cl},l(M){T(p.$$.fragment,M),u=n(M),m=c(M,"P",{"data-svelte-h":!0}),w(m)!=="svelte-1vkiikr"&&(m.innerHTML=f),G=n(M),T(Z.$$.fragment,M),W=n(M),I=c(M,"P",{"data-svelte-h":!0}),w(I)!=="svelte-7tqvsm"&&(I.innerHTML=g),R=n(M),T(v.$$.fragment,M),z=n(M),S=c(M,"P",{"data-svelte-h":!0}),w(S)!=="svelte-tier4v"&&(S.innerHTML=N),V=n(M),T(x.$$.fragment,M),C=n(M),B=c(M,"P",{"data-svelte-h":!0}),w(B)!=="svelte-pus0vm"&&(B.textContent=L),X=n(M),T(Y.$$.fragment,M),K=n(M),A=c(M,"P",{"data-svelte-h":!0}),w(A)!=="svelte-157xrx7"&&(A.innerHTML=q),E=n(M),T(Q.$$.fragment,M),F=n(M),j=c(M,"P",{"data-svelte-h":!0}),w(j)!=="svelte-cliuhs"&&(j.innerHTML=_),ys=n(M),T(d.$$.fragment,M),$=n(M),T(P.$$.fragment,M),Ns=n(M),O=c(M,"P",{"data-svelte-h":!0}),w(O)!=="svelte-1i58yt8"&&(O.textContent=aa),Xs=n(M),ss=c(M,"UL",{"data-svelte-h":!0}),w(ss)!=="svelte-ux6piu"&&(ss.innerHTML=nl),cs=n(M),Js=c(M,"P",{"data-svelte-h":!0}),w(Js)!=="svelte-1vplhg0"&&(Js.textContent=fs),As=n(M),T(ls.$$.fragment,M),Ml=n(M),Ts=c(M,"P",{"data-svelte-h":!0}),w(Ts)!=="svelte-1fjvpg5"&&(Ts.textContent=$s),zs=n(M),T(es.$$.fragment,M),Ys=n(M),as=c(M,"P",{"data-svelte-h":!0}),w(as)!=="svelte-1x69ayw"&&(as.innerHTML=ta),Qs=n(M),ts=c(M,"P",{"data-svelte-h":!0}),w(ts)!=="svelte-io43kt"&&(ts.textContent=pl),os=n(M),T(Ws.$$.fragment,M),Ss=n(M),T(ns.$$.fragment,M),Es=n(M),Ms=c(M,"P",{"data-svelte-h":!0}),w(Ms)!=="svelte-7pdgi"&&(Ms.textContent=na),Fs=n(M),T(ps.$$.fragment,M),Hs=n(M),ms=c(M,"P",{"data-svelte-h":!0}),w(ms)!=="svelte-103hp75"&&(ms.innerHTML=ml),Us=n(M),T(Vs.$$.fragment,M),Ds=n(M),rs=c(M,"P",{"data-svelte-h":!0}),w(rs)!=="svelte-mp3dud"&&(rs.textContent=rl),ws=n(M),js=c(M,"OL",{"data-svelte-h":!0}),w(js)!=="svelte-ski3me"&&(js.innerHTML=_s),il=n(M),ds=c(M,"P",{"data-svelte-h":!0}),w(ds)!=="svelte-whdqdc"&&(ds.textContent=Cs),yl=n(M),T(hs.$$.fragment,M),us=n(M),T(Rs.$$.fragment,M),Ls=n(M),is=c(M,"P",{"data-svelte-h":!0}),w(is)!=="svelte-1iodlq"&&(is.innerHTML=cl)},m(M,b){o(p,M,b),e(M,u,b),e(M,m,b),e(M,G,b),o(Z,M,b),e(M,W,b),e(M,I,b),e(M,R,b),o(v,M,b),e(M,z,b),e(M,S,b),e(M,V,b),o(x,M,b),e(M,C,b),e(M,B,b),e(M,X,b),o(Y,M,b),e(M,K,b),e(M,A,b),e(M,E,b),o(Q,M,b),e(M,F,b),e(M,j,b),e(M,ys,b),o(d,M,b),e(M,$,b),o(P,M,b),e(M,Ns,b),e(M,O,b),e(M,Xs,b),e(M,ss,b),e(M,cs,b),e(M,Js,b),e(M,As,b),o(ls,M,b),e(M,Ml,b),e(M,Ts,b),e(M,zs,b),o(es,M,b),e(M,Ys,b),e(M,as,b),e(M,Qs,b),e(M,ts,b),e(M,os,b),o(Ws,M,b),e(M,Ss,b),o(ns,M,b),e(M,Es,b),e(M,Ms,b),e(M,Fs,b),o(ps,M,b),e(M,Hs,b),e(M,ms,b),e(M,Us,b),o(Vs,M,b),e(M,Ds,b),e(M,rs,b),e(M,ws,b),e(M,js,b),e(M,il,b),e(M,ds,b),e(M,yl,b),o(hs,M,b),e(M,us,b),o(Rs,M,b),e(M,Ls,b),e(M,is,b),bs=!0},i(M){bs||(r(p.$$.fragment,M),r(Z.$$.fragment,M),r(v.$$.fragment,M),r(x.$$.fragment,M),r(Y.$$.fragment,M),r(Q.$$.fragment,M),r(d.$$.fragment,M),r(P.$$.fragment,M),r(ls.$$.fragment,M),r(es.$$.fragment,M),r(Ws.$$.fragment,M),r(ns.$$.fragment,M),r(ps.$$.fragment,M),r(Vs.$$.fragment,M),r(hs.$$.fragment,M),r(Rs.$$.fragment,M),bs=!0)},o(M){i(p.$$.fragment,M),i(Z.$$.fragment,M),i(v.$$.fragment,M),i(x.$$.fragment,M),i(Y.$$.fragment,M),i(Q.$$.fragment,M),i(d.$$.fragment,M),i(P.$$.fragment,M),i(ls.$$.fragment,M),i(es.$$.fragment,M),i(Ws.$$.fragment,M),i(ns.$$.fragment,M),i(ps.$$.fragment,M),i(Vs.$$.fragment,M),i(hs.$$.fragment,M),i(Rs.$$.fragment,M),bs=!1},d(M){M&&(l(u),l(m),l(G),l(W),l(I),l(R),l(z),l(S),l(V),l(C),l(B),l(X),l(K),l(A),l(E),l(F),l(j),l(ys),l($),l(Ns),l(O),l(Xs),l(ss),l(cs),l(Js),l(As),l(Ml),l(Ts),l(zs),l(Ys),l(as),l(Qs),l(ts),l(os),l(Ss),l(Es),l(Ms),l(Fs),l(Hs),l(ms),l(Us),l(Ds),l(rs),l(ws),l(js),l(il),l(ds),l(yl),l(us),l(Ls),l(is)),U(p,M),U(Z,M),U(v,M),U(x,M),U(Y,M),U(Q,M),U(d,M),U(P,M),U(ls,M),U(es,M),U(Ws,M),U(ns,M),U(ps,M),U(Vs,M),U(hs,M),U(Rs,M)}}}function AM(k){let p,u='🚨 TPUでトレーニングする場合は、上記のコードをすべて専用のトレーニング関数に移動する必要があります。詳しくは<a href="/course/ja/chapter3">第3章</a>を参照してください。';return{c(){p=y("p"),p.innerHTML=u},l(m){p=c(m,"P",{"data-svelte-h":!0}),w(p)!=="svelte-tre0vw"&&(p.innerHTML=u)},m(m,f){e(m,p,f)},p:tl,d(m){m&&l(p)}}}function zM(k){let p,u,m,f,G,Z,W,I,g,R,v,z,S="このセクションでは、Transformerモデルを使用して、長いドキュメントを要約する方法を見ていきます。これは、<em>文章要約</em> として知られるタスクです。 これは、長い文章を理解したり、ドキュメントの主要なトピックを補足する一貫性のあるテキストを生成したりするなど、さまざまな能力を必要とするため、最も困難なNLPタスクの1つです。 ただし、テキストの要約は、うまく行けば、領域の専門家が長いドキュメントを詳細に読む負担を軽減することで、さまざまなビジネスプロセスをスピードアップできる強力なツールになります。",N,V,x,C,B='<a href="https://huggingface.co/models?pipeline_tag=summarization&amp;sort=downloads" rel="nofollow">ハギングフェイス ハブ</a>には、要約用に微調整されたさまざまなモデルがすでに存在しますが、これらのほとんどは英語のドキュメントにのみ適しています。 したがって、このセクションにひねりを加えるために、英語とスペイン語のバイリンガルモデルをトレーニングします。 このセクションの終わりまでに、ここに示すようなカスタマーレビューを要約できる<a href="https://huggingface.co/huggingface-course/mt5-small-finetuned-amazon-en-es" rel="nofollow">モデル</a>ができあがります。',L,X,Y,K,A,q="これから説明するように、これらの要約は、顧客が製品レビュー投稿時につけたタイトル文を使って学習されているため、簡潔です。 このタスクに適した多言語コーパスをまとめることから始めましょう。",E,Q,F,j,_='<a href="https://huggingface.co/datasets/amazon_reviews_multi" rel="nofollow">Multilingual Amazon Reviews Corpus</a>を使用して、多言語要約器を作成します。このコーパスは、6つの言語でのAmazon製品レビューで構成されており、通常、多言語分類子のベンチマークに使用されます。 ただし、各レビューには短いタイトルが付いているため、モデルが学習対象とする要約文としてタイトルを使用できます。 開始するには、ハギングフェイス ハブから英語とスペイン語のサブセットをダウンロードしましょう。',ys,d,$,P,Ns,O,aa='ご覧の通り、各言語の <code>train</code> 分割には 200,000 件のレビューがあり、 <code>validation</code> と <code>test</code> 分割にはそれぞれ 5,000 件のレビューがあります。私達が内容を知りたいレビュー情報は <code>review_body</code> と <code>review_title</code> カラムに含まれています。<a href="/course/ja/chapter5">第5章</a> で学んだ手法で、トレーニングセットからランダムにサンプルを取得する簡単な関数を作成し、いくつかの例を見てみましょう。',Xs,ss,nl,cs,Js,fs,As,ls,Ml="このサンプルは、肯定的なレビューから否定的なレビューまで（そしてその中間にある全てのレビュー！）、一般的にオンラインで見られるレビューの多様性を示しています。 「meh」というタイトルはあまり有益な情報を示すタイトルではありませんが、他のタイトルはレビュー自体の適切な要約のように見えます。40万件のレビューすべてについて要約モデルをトレーニングすることは、単一のGPUではあまりにも時間がかかりすぎるため、その代わりに、単一製品のドメインについて要約を生成することに焦点を当てます。どのようなドメインから選択できるかを知るために、<code>english_dataset</code> を <code>pandas.DataFrame</code> に変換して、製品カテゴリごとのレビュー数を計算してみましょう。",Ts,$s,zs,es,Ys,as,ta='英語のデータセットで最も人気のある商品は、家庭用品、衣類、ワイヤレス電子機器に関するものです。しかし、Amazon本来のテーマに沿って、書評の要約に焦点を当てましょう。結局のところ、書籍はこの会社が設立された際の商品なのです! 2つの製品カテゴリ(<code>book</code> と <code>digital_ebook_purchase</code>) が当てはまるので、これらの製品について両言語でデータセットをフィルタリングしてみましょう。<a href="/course/ja/chapter5">第5章</a> で見たように、 <code>Dataset.filter()</code> 関数を使うと非常に効率的にデータセットをスライスできるので、これを行うための簡単な関数を定義してみましょう。',Qs,ts,pl,os,Ws="この関数を <code>english_dataset</code> と <code>spanish_dataset</code> に適用すると、書籍のカテゴリを含む行だけが結果に含まれるようになります。フィルタを適用する前に、<code>english_dataset</code> のフォーマットを <code>&quot;pandas&quot;</code> から <code>&quot;arrow&quot;</code> に戻してみましょう。",Ss,ns,Es,Ms,na="次に、フィルター機能を適用し、サニティーチェックとして、レビューのサンプルが本当に本に関するものかどうかを調べてみましょう。",Fs,ps,Hs,ms,ml,Us,Vs="レビューが厳密に本についてではなく、カレンダーやOneNoteのような電子アプリケーションのようなものを参照している可能性があることがわかります。それでも、このドメインは要約モデルを学習させるのに適していると思われます。このタスクに適した様々なモデルを見る前に、最後のデータ準備として、英語とスペイン語のレビューを1つの <code>DatasetDict</code> オブジェクトとして結合する必要があります。🤗 Datasetsには便利な <code>concatenate_datasets()</code> 関数があり、（その名の通り）2つの <code>Dataset</code> オブジェクトを重ね合わせることができます。つまり、バイリンガル・データセットを作成するために、各分割をループし、その分割データセットを連結し、モデルが単一言語に過剰適合しないように結果をシャッフルします。",Ds,rs,rl,ws,js,_s,il=`これは確かに英語とスペイン語のレビューが混在しているように見えますね！
さて、トレーニングコーパスができたので、最後にレビューとそのタイトルに含まれる単語の分布を確認します。これは要約タスクにおいて特に重要で、学習データとして参考にするデータ中に短すぎる要約が多いと、要約生成時に1つか2つの単語しか出力しないようモデルを偏らせる可能性があります。下のプロットは単語の分布を示しており、タイトルが1-2単語だけに大きく偏っていることがわかります。`,ds,Cs,yl='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/review-lengths.svg" alt="Word count distributions for the review titles and texts."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/review-lengths-dark.svg" alt="Word count distributions for the review titles and texts."/>',hs,us,Rs="この問題に対処し、私達のモデルがより興味深い要約を生成できるように、非常に短いタイトルを持つ例をフィルタリングすることにします。英語とスペイン語のテキストを扱っているので、タイトルを空白で分割する大まかな経験則を元に、信頼できる <code>Dataset.filter()</code> メソッドを以下のように使用します。",Ls,is,cl,bs,M="さて、コーパスができたところで、このコーパスを使って、Transformerのモデルを微調整してみましょう。",b,Jl,ma,Tl,en='考えてみれば、文章の要約は機械翻訳と似たような種類のタスクです。レビューのようなテキスト入力があり、それを入力文内の顕著な特徴をとらえた短いバージョンに「翻訳」したいのです。したがって、要約のためのほとんどのTransformerモデルは<a href="/course/ja/chapter1">第1章</a>で最初に出会ったエンコーダとデコーダのアーキテクチャを採用しています。しかし、GPTモデル群のような例外もあり、少数ショット学習設定で使用することも可能です。以下の表は、要約のために微調整が可能な、よく使われる事前学習済みモデルの一覧です。',ra,ol,an='<thead><tr><th align="center">Transformer model</th> <th>Description</th> <th align="center">Multilingual?</th></tr></thead> <tbody><tr><td align="center"><a href="https://huggingface.co/gpt2-xl" rel="nofollow">GPT-2</a></td> <td>Although trained as an auto-regressive language model, you can make GPT-2 generate summaries by appending “TL;DR” at the end of the input text.</td> <td align="center">❌</td></tr> <tr><td align="center"><a href="https://huggingface.co/google/pegasus-large" rel="nofollow">PEGASUS</a></td> <td>Uses a pretraining objective to predict masked sentences in multi-sentence texts. This pretraining objective is closer to summarization than vanilla language modeling and scores highly on popular benchmarks.</td> <td align="center">❌</td></tr> <tr><td align="center"><a href="https://huggingface.co/t5-base" rel="nofollow">T5</a></td> <td>A universal Transformer architecture that formulates all tasks in a text-to-text framework; e.g., the input format for the model to summarize a document is <code>summarize: ARTICLE</code>.</td> <td align="center">❌</td></tr> <tr><td align="center"><a href="https://huggingface.co/google/mt5-base" rel="nofollow">mT5</a></td> <td>A multilingual version of T5, pretrained on the multilingual Common Crawl corpus (mC4), covering 101 languages.</td> <td align="center">✅</td></tr> <tr><td align="center"><a href="https://huggingface.co/facebook/bart-base" rel="nofollow">BART</a></td> <td>A novel Transformer architecture with both an encoder and a decoder stack trained to reconstruct corrupted input that combines the pretraining schemes of BERT and GPT-2.</td> <td align="center">❌</td></tr> <tr><td align="center"><a href="https://huggingface.co/facebook/mbart-large-50" rel="nofollow">mBART-50</a></td> <td>A multilingual version of BART, pretrained on 50 languages.</td> <td align="center">✅</td></tr></tbody>',ia,Ul,tn="この表からわかるように、要約のためのTransformerモデルの大半は（そして実際、ほとんどのNLPタスクも）単言語版です。これはタスクが英語やドイツ語のような利用可能なデータの多い「高リソース」言語である場合は良いのですが、世界中で使われている何千もの他の言語ではそうではありません。幸いなことに、mT5やmBARTのような多言語Transformerモデルもあります。これらのモデルは言語モデリングを使って事前に学習されますが、ひねりが加えられています。1つの言語のコーパスで学習するのではなく、50以上の言語のテキストで一度に共同学習しているのです！",ya,wl,nn="ここでは、T5をベースにテキストからテキストへのフレームワークで事前学習された興味深いアーキテクチャであるmT5に焦点を当てます。T5では、すべての自然言語処理タスクは「要約：」のようなプロンプト接頭辞で定式化され、生成されたテキストをプロンプトに適応させるようモデルに条件付けされます。下図に示すように、T5は非常に汎用性が高く、1つのモデルで多くのタスクを解決することができます！",ca,qs,Mn='<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/t5.svg" alt="Different tasks performed by the T5 architecture."/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter7/t5-dark.svg" alt="Different tasks performed by the T5 architecture."/>',Ja,jl,pn="mT5は接頭辞を使用しませんが、T5の多用途性を共有し、多言語であるという利点があります。さて、モデルを選んだところで、学習用のデータの準備に取りかかりましょう。",Ta,Ks,oa,dl,Ua,hl,wa,ul,mn="次のタスクはレビューとそのタイトルをトークン化しエンコードすることです。いつものように、事前に学習したモデルのチェックポイントに関連付けられたトークナイザーをロードすることから始めます。ここではチェックポイントとして <code>mt5-small</code> を使用します。",ja,bl,da,Ps,ha,Il,rn="少量のサンプルでmT5トークナイザーをテストしてみましょう",ua,fl,ba,Cl,Ia,Zl,yn='ここで、<a href="/course/ja/chapter3">第3章</a> の最初の微調整の実験で遭遇した、おなじみの <code>input_ids</code> と <code>attention_mask</code> を見ることができます。これらの入力IDをトークナイザーの <code>convert_ids_to_tokens()</code> 関数でデコードして、どのようなトークナイザーなのかを見てみましょう。',fa,gl,Ca,kl,Za,Gl,cn='Unicodeの特殊文字 <code>▁</code> とシーケンスの終わりを意味するトークン <code>&lt;/s&gt;</code> は、SentencePieceトークナイザーを扱っていることを示しています。これは <a href="/course/ja/chapter6">第6章</a> で説明したユニグラムセグメント化アルゴリズムに基づいています。ユニグラムは多言語コーパスに特に有効です。ユニグラムによりSentencePieceは口調、句読点、空白などに依存しなくなるので、日本語のように空白文字を持たない多くの言語に対して効果的になります。',ga,vl,Jn="このコーパスをトークン化するために、要約に関連する些細な問題に対処する必要があります。ラベルもテキストなので、モデルの最大コンテキストサイズを超える可能性があります。これは、レビューとそのタイトルの両方に切り詰めを適用して、過度に長い入力をモデルに渡さないようにする必要があることを意味します。🤗 Transformers のトークナイザーは、入力と並行してラベルをトークン化することができる便利な <code>as_target_tokenizer()</code> 関数を提供します。これは通常、まず入力をエンコードし、次にラベルを別の列としてエンコードする前処理関数の内部で、コンテキストマネージャーを使用して行われます。",ka,Bl,Tn="以下は、mT5 用のそのような関数の例です。",Ga,xl,va,$l,on="何が起こっているのか理解するために、このコードを見ていきましょう。まず最初に、<code>max_input_length</code>と<code>max_target_length</code>の値を定義しました。これはレビューとタイトルの長さの上限を設定するものです。通常、レビューの本文はタイトルよりもはるかに大きいので、これらの値を適宜スケーリングしています。次に、<code>preprocess_function()</code> 自身で、レビューが最初にトークン化され、次に <code>as_target_tokenizer()</code> でタイトルがトークン化されていることがわかります。",Ba,Wl,Un="<code>preprocess_function()</code> があれば、あとはこのコースで散々使ってきた便利な <code>Dataset.map()</code> 関数を使ってコーパス全体をトークン化するのは簡単なことです。",xa,Vl,$a,_l,wn="さて、コーパスの前処理が終わったところで、要約によく使われるいくつかの指標を見てみましょう。これから見るように、機械が生成した文章の品質を測る際に、万能の手法は存在しません。",Wa,Os,Va,Rl,_a,Nl,Ra,Xl,jn="このコースで取り上げた他のほとんどのタスクと比較して、要約や翻訳のようなテキスト生成タスクの性能測定はそれほど簡単ではありません。例えば、「ハンガーゲームを読むのが好きだ」というレビューがあったとして、「ハンガーゲームが大好きだ」「ハンガーゲームは素晴らしい読み物だ」など、有効な要約が複数存在します。明らかに、生成された要約とラベルの間にある種の完全な一致を適用することは良い解決策ではありません。私たちは皆、独自の文体を持っているので、そのような測定指標を用いては人間でさえうまくいかないでしょう。",Na,Al,dn='要約のために、最もよく使われる指標の1つが<a href="https://en.wikipedia.org/wiki/ROUGE_(metric)" rel="nofollow">ROUGE score</a> (Recall-Oriented Understudy for Gisting Evaluationの略)です。この指標の背後にある基本的な考え方は、生成された要約を、通常人間が作成するした参照要約のセットと比較することです。これをより正確にするために、次の2つの要約を比較したいとします。',Xa,zl,Aa,Yl,hn="比較する一つの方法として、重複している単語の数を数えることが考えられますが、この場合、6個となります。しかし、これは少し粗いので、代わりにROUGEは重なり合った部分の <em>適合率</em> と <em>再現率</em> のスコアを計算することを基本としています。",za,sl,Ya,Ql,Lt,Qa,oM='<span class="katex-display"><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mrow><mrow><mi mathvariant="normal">R</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">l</mi></mrow><mo>=</mo><mfrac><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">g</mi><mtext> </mtext><mi mathvariant="normal">w</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mtext> </mtext><mi mathvariant="normal">n</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mtext> </mtext><mi mathvariant="normal">w</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">s</mi><mtext> </mtext><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">f</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">e</mi><mtext> </mtext><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">y</mi></mrow></mfrac></mrow><annotation encoding="application/x-tex"> \\mathrm{Recall} = \\frac{\\mathrm{Number\\,of\\,overlapping\\, words}}{\\mathrm{Total\\, number\\, of\\, words\\, in\\, reference\\, summary}} </annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord"><span class="mord mathrm">Recall</span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:2.2519em;vertical-align:-0.8804em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.3714em;"><span style="top:-2.314em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord"><span class="mord mathrm">Total</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">number</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.07778em;">of</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">words</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">in</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">reference</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.01389em;">summary</span></span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.677em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord"><span class="mord mathrm">Number</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.07778em;">of</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.01389em;">overlapping</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">words</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.8804em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span></span></span></span></span>',Sa,Sl,qt,Ea,UM='<span class="katex-display"><span class="katex"><span class="katex-mathml"><math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><semantics><mrow><mrow><mi mathvariant="normal">P</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">c</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">s</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi></mrow><mo>=</mo><mfrac><mrow><mi mathvariant="normal">N</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">l</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">p</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">g</mi><mtext> </mtext><mi mathvariant="normal">w</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">s</mi></mrow><mrow><mi mathvariant="normal">T</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">l</mi><mtext> </mtext><mi mathvariant="normal">n</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">b</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mtext> </mtext><mi mathvariant="normal">o</mi><mi mathvariant="normal">f</mi><mtext> </mtext><mi mathvariant="normal">w</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">d</mi><mi mathvariant="normal">s</mi><mtext> </mtext><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi><mtext> </mtext><mi mathvariant="normal">g</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">t</mi><mi mathvariant="normal">e</mi><mi mathvariant="normal">d</mi><mtext> </mtext><mi mathvariant="normal">s</mi><mi mathvariant="normal">u</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">r</mi><mi mathvariant="normal">y</mi></mrow></mfrac></mrow><annotation encoding="application/x-tex"> \\mathrm{Precision} = \\frac{\\mathrm{Number\\,of\\,overlapping\\, words}}{\\mathrm{Total\\, number\\, of\\, words\\, in\\, generated\\, summary}} </annotation></semantics></math></span><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6833em;"></span><span class="mord"><span class="mord mathrm">Precision</span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:2.2519em;vertical-align:-0.8804em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.3714em;"><span style="top:-2.314em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord"><span class="mord mathrm">Total</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">number</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.07778em;">of</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">words</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">in</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">generated</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.01389em;">summary</span></span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.677em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord"><span class="mord mathrm">Number</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.07778em;">of</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm" style="margin-right:0.01389em;">overlapping</span><span class="mspace" style="margin-right:0.1667em;"></span><span class="mord mathrm">words</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.8804em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span></span></span></span></span>',Fa,El,un="これを冗長な要約に適用すると、適合率は6/10 = 0.6となり、短い要約で得られた6/7 = 0.86よりもかなり悪くなります。実際には、通常、適合率と再現率の両方が計算され、そして、F1スコア（精度とリコールの調和平均）が報告されます。これは🤗 Datasetsで、まず <code>rouge_score</code> パッケージをインストールすることで簡単に行うことができます。",Ha,Fl,Da,Hl,bn="そして、ROUGE指標を読み込みます。",La,Dl,qa,Ll,In="そして、<code>rouge_score.compute()</code>関数を使って、すべての指標を一度に計算することができます。",Ka,ql,Pa,Kl,Oa,Pl,fn="おっと、この出力には多くの情報が含まれていますね。",st,Ol,Cn="これは全て何を意味するのでしょうか？まず、🤗 Datasetsは適合率、再現率、F1スコアの信頼区間を計算します。これらはここに表示されている <code>low</code>、<code>mid</code>、<code>high</code> の属性です。さらに、🤗 Datasetsは生成された要約と参照された要約を比較する際に、異なるタイプのテキストの粒度に基づいた様々なROUGEスコアを計算します。<code>rouge1</code>のバリエーションはユニグラムの重なり具合です。これは単語のオーバーラップを言い換えただけのもので、まさに上で説明したような指標です。これを確認するために、スコアの <code>mid</code> 値を引き出してみましょう。",lt,se,et,le,at,ee,Zn=`素晴らしい！適合率と再現率の数値が一致しました。では、他のROUGEスコアについてはどうでしょうか？
<code>rouge2</code> はビッグラム（単語のペアの重なり）の重なりを測定し、 <code>rougeL</code> と <code>rougeLsum</code> は生成されたサマリーと参照サマリーで最も長い共通部分文字列を探して、最も長くマッチする単語列を測定します。<code>rougeLsum</code> の “sum” は、 <code>rougeL</code> が個々の文の平均値として計算されるのに対し、この指標は要約全体に対して計算されるという事実を表している。`,tt,ll,nt,ae,gn="このROUGEスコアを使ってモデルのパフォーマンスを追跡していきますが、その前に優れたNLP実践者がすべきこと、それは強力かつシンプルなベースラインを作成することです。",Mt,te,pt,ne,kn="テキスト要約の一般的なベースラインは、単純に記事の最初の3つのセンテンスを取ることで、しばしば <em>lead-3</em> ベースラインと呼ばれます。文の境界を追跡するためにピリオドを使うこともできますが、このやり方は “U.S.” や “U.N.” のような頭字語では失敗します。そこで、このようなケースを処理するための優れたアルゴリズムを含む <code>nltk</code> ライブラリを使用することにします。このパッケージは、以下のように <code>pip</code> を用いてインストールすることができます。",mt,Me,rt,pe,Gn="そして、句読点規則をダウンロードしてください。",it,me,yt,re,vn="次に、<code>nltk</code>からセンテンストークナイザーをインポートし、レビューの最初の3文を抽出する簡単な関数を作成します。テキストの要約では、各要約を改行で区切るのが慣例なので、これも含めて学習例でテストしてみましょう。",ct,ie,Jt,ye,Tt,ce,Bn="これはうまくいきそうなので、今度はデータセットからこれらの「要約」を抽出し、ベースラインのROUGEスコアを計算する関数を実装してみましょう。",ot,Je,Ut,Te,xn="そして、この関数を使って検証セットのROUGEスコアを計算し、Pandasを使って少しきれいにすることができます。",wt,oe,jt,Ue,dt,we,$n="rouge2`のスコアが他よりかなり低いことがわかります。これは、レビューのタイトルが一般的に簡潔であるため、lead-3のベースラインが冗長すぎるという事実を反映していると思われます。これでベースラインができたので、次はmT5の微調整を行います！",ht,Zs,gs,Le,el,ut,je,Wn="次に必要なのは、ハンギングフェイス ハブにログインすることです。このコードをノートブックで実行する場合は、次のユーティリティ関数で実行できます。",bt,de,It,he,Vn="これにより、ウィジェットが表示され、認証情報を入力することができます。または、ターミナルで以下のコマンドを実行し、ログインすることもできます。",ft,ue,Ct,qe,be,_n='次に、シーケンス間タスクのためのデータコレーターを定義する必要があります。mT5はエンコーダ・デコーダのTransformerモデルなので、バッチを準備する際の一つのちょっとした差異は、デコード中にラベルを右に1つシフトする必要があることです。これは、デコーダが以前の真実のラベルしか見ないようにするためで、現在や将来のラベルをモデルに記憶させないようにしうます。これは<a href="/course/ja/chapter7/6">因果言語モデリング</a>のようなタスクでマスクされた自己注意が入力に適用される方法に似ています。',Zt,Ie,Rn="幸運なことに、🤗 Transformers は <code>DataCollatorForSeq2Seq</code> コレーターを提供し、入力とラベルを動的にパディングしてくれます。このコレーターをインスタンス化するには、単に <code>tokenizer</code> と <code>model</code> を提供する必要があります。",gt,ks,Gs,Ke,fe,Nn="それでは、このコレーターが少量のサンプルをバッチで与えたときに何を生成するかを見てみましょう。まず、文字列を含む列を削除する必要があります。コレーターはこれらの要素をどのようにパディングするかを知らないからです。",kt,Ce,Gt,Ze,Xn="コレーター は <code>dict</code> のリストを受け取り、各 <code>dict</code> はデータセット内の 1 つの例を表している事を期待しています。したがって、データをコレーターに渡す前に期待通りの形式に変換する必要があります。",vt,ge,Bt,ke,xt,Ge,An="ここで注目すべきは、最初の例は2番目の例よりも長いので、2番目の例の <code>input_ids</code> と <code>attention_mask</code> は右側に <code>[PAD]</code> トークン (ID は <code>0</code>) でパディングされていることです。同様に、<code>labels</code> は <code>-100</code> でパディングされていることがわかります。これは、パディングトークンが損失関数によって無視されることを確認するためです。そして最後に、新しい <code>decoder_input_ids</code> を見ると、最初のエントリに <code>[PAD]</code> トークンを挿入してラベルを右にシフトしていることが確認できます。",$t,vs,Bs,Pe,Oe,ve,Wt,Be,zn="モデルをハブにプッシュしたら、推論ウィジェットか <code>pipeline</code> オブジェクトを使って、次のように操作することができます。",Vt,xe,_t,$e,Yn="要約の品質について感触を得るために、テストセット（モデルは見た事がない）からいくつかの例をパイプラインに送り込むことができます。最初に、レビュー、タイトル、生成された要約を一緒に表示する簡単な関数を実装してみましょう。",Rt,We,Nt,Ve,Qn="英語の例を一つ見てみましょう。",Xt,_e,At,Re,zt,Ne,Sn="これは悪くありません! 私たちのモデルは実際に新しい単語でレビューの一部を補強することによって、抽象的な要約を行うことができたことがわかります。また、私たちのモデルの最もクールな点は、バイリンガルであることです。したがって、スペイン語のレビューの要約も生成することができます。",Yt,Xe,Qt,Ae,St,ze,En="要約は英語で「Very easy to read」と訳され、この要約の場合はレビューの文中から直接抽出されたことが分かります。しかし、これはmT5モデルの多用途性を示しており、多言語コーパスを扱うことがどのようなものかを体験していただけたと思います。",Et,Ye,Fn="次に、もう少し複雑なタスクである、ゼロから言語モデルを学習させる事に目を向けます。",Ft,Qe,Ht,Ma,Dt;G=new IM({props:{fw:k[0]}}),W=new Is({props:{title:"要約",local:"要約",headingTag:"h1"}});const Hn=[ZM,CM],Se=[];function Dn(s,a){return s[0]==="pt"?0:1}g=Dn(k),R=Se[g]=Hn[g](k),V=new ln({props:{id:"yHnr5Dk2zCI"}}),Q=new Is({props:{title:"多言語コーパスの準備",local:"多言語コーパスの準備",headingTag:"h2"}}),d=new h({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBc3BhbmlzaF9kYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmFtYXpvbl9yZXZpZXdzX211bHRpJTIyJTJDJTIwJTIyZXMlMjIpJTBBZW5nbGlzaF9kYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmFtYXpvbl9yZXZpZXdzX211bHRpJTIyJTJDJTIwJTIyZW4lMjIpJTBBZW5nbGlzaF9kYXRhc2V0",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

spanish_dataset = load_dataset(<span class="hljs-string">&quot;amazon_reviews_multi&quot;</span>, <span class="hljs-string">&quot;es&quot;</span>)
english_dataset = load_dataset(<span class="hljs-string">&quot;amazon_reviews_multi&quot;</span>, <span class="hljs-string">&quot;en&quot;</span>)
english_dataset`,wrap:!1}}),P=new h({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3Jldmlld19pZCclMkMlMjAncHJvZHVjdF9pZCclMkMlMjAncmV2aWV3ZXJfaWQnJTJDJTIwJ3N0YXJzJyUyQyUyMCdyZXZpZXdfYm9keSclMkMlMjAncmV2aWV3X3RpdGxlJyUyQyUyMCdsYW5ndWFnZSclMkMlMjAncHJvZHVjdF9jYXRlZ29yeSclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDIwMDAwMCUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB2YWxpZGF0aW9uJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidyZXZpZXdfaWQnJTJDJTIwJ3Byb2R1Y3RfaWQnJTJDJTIwJ3Jldmlld2VyX2lkJyUyQyUyMCdzdGFycyclMkMlMjAncmV2aWV3X2JvZHknJTJDJTIwJ3Jldmlld190aXRsZSclMkMlMjAnbGFuZ3VhZ2UnJTJDJTIwJ3Byb2R1Y3RfY2F0ZWdvcnknJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3Jvd3MlM0ElMjA1MDAwJTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHRlc3QlM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3Jldmlld19pZCclMkMlMjAncHJvZHVjdF9pZCclMkMlMjAncmV2aWV3ZXJfaWQnJTJDJTIwJ3N0YXJzJyUyQyUyMCdyZXZpZXdfYm9keSclMkMlMjAncmV2aWV3X3RpdGxlJyUyQyUyMCdsYW5ndWFnZSclMkMlMjAncHJvZHVjdF9jYXRlZ29yeSclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDUwMDAlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;review_id&#x27;</span>, <span class="hljs-string">&#x27;product_id&#x27;</span>, <span class="hljs-string">&#x27;reviewer_id&#x27;</span>, <span class="hljs-string">&#x27;stars&#x27;</span>, <span class="hljs-string">&#x27;review_body&#x27;</span>, <span class="hljs-string">&#x27;review_title&#x27;</span>, <span class="hljs-string">&#x27;language&#x27;</span>, <span class="hljs-string">&#x27;product_category&#x27;</span>],
        num_rows: <span class="hljs-number">200000</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;review_id&#x27;</span>, <span class="hljs-string">&#x27;product_id&#x27;</span>, <span class="hljs-string">&#x27;reviewer_id&#x27;</span>, <span class="hljs-string">&#x27;stars&#x27;</span>, <span class="hljs-string">&#x27;review_body&#x27;</span>, <span class="hljs-string">&#x27;review_title&#x27;</span>, <span class="hljs-string">&#x27;language&#x27;</span>, <span class="hljs-string">&#x27;product_category&#x27;</span>],
        num_rows: <span class="hljs-number">5000</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;review_id&#x27;</span>, <span class="hljs-string">&#x27;product_id&#x27;</span>, <span class="hljs-string">&#x27;reviewer_id&#x27;</span>, <span class="hljs-string">&#x27;stars&#x27;</span>, <span class="hljs-string">&#x27;review_body&#x27;</span>, <span class="hljs-string">&#x27;review_title&#x27;</span>, <span class="hljs-string">&#x27;language&#x27;</span>, <span class="hljs-string">&#x27;product_category&#x27;</span>],
        num_rows: <span class="hljs-number">5000</span>
    })
})`,wrap:!1}}),ss=new h({props:{code:"ZGVmJTIwc2hvd19zYW1wbGVzKGRhdGFzZXQlMkMlMjBudW1fc2FtcGxlcyUzRDMlMkMlMjBzZWVkJTNENDIpJTNBJTBBJTIwJTIwJTIwJTIwc2FtcGxlJTIwJTNEJTIwZGF0YXNldCU1QiUyMnRyYWluJTIyJTVELnNodWZmbGUoc2VlZCUzRHNlZWQpLnNlbGVjdChyYW5nZShudW1fc2FtcGxlcykpJTBBJTIwJTIwJTIwJTIwZm9yJTIwZXhhbXBsZSUyMGluJTIwc2FtcGxlJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcHJpbnQoZiUyMiU1Q24nJTNFJTNFJTIwVGl0bGUlM0ElMjAlN0JleGFtcGxlJTVCJ3Jldmlld190aXRsZSclNUQlN0QnJTIyKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHByaW50KGYlMjInJTNFJTNFJTIwUmV2aWV3JTNBJTIwJTdCZXhhbXBsZSU1QidyZXZpZXdfYm9keSclNUQlN0QnJTIyKSUwQSUwQSUwQXNob3dfc2FtcGxlcyhlbmdsaXNoX2RhdGFzZXQp",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">show_samples</span>(<span class="hljs-params">dataset, num_samples=<span class="hljs-number">3</span>, seed=<span class="hljs-number">42</span></span>):
    sample = dataset[<span class="hljs-string">&quot;train&quot;</span>].shuffle(seed=seed).select(<span class="hljs-built_in">range</span>(num_samples))
    <span class="hljs-keyword">for</span> example <span class="hljs-keyword">in</span> sample:
        <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\\n&#x27;&gt;&gt; Title: <span class="hljs-subst">{example[<span class="hljs-string">&#x27;review_title&#x27;</span>]}</span>&#x27;&quot;</span>)
        <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;&#x27;&gt;&gt; Review: <span class="hljs-subst">{example[<span class="hljs-string">&#x27;review_body&#x27;</span>]}</span>&#x27;&quot;</span>)


show_samples(english_dataset)`,wrap:!1}}),cs=new h({props:{code:"JyUzRSUzRSUyMFRpdGxlJTNBJTIwV29ya2VkJTIwaW4lMjBmcm9udCUyMHBvc2l0aW9uJTJDJTIwbm90JTIwcmVhciclMEEnJTNFJTNFJTIwUmV2aWV3JTNBJTIwMyUyMHN0YXJzJTIwYmVjYXVzZSUyMHRoZXNlJTIwYXJlJTIwbm90JTIwcmVhciUyMGJyYWtlcyUyMGFzJTIwc3RhdGVkJTIwaW4lMjB0aGUlMjBpdGVtJTIwZGVzY3JpcHRpb24uJTIwQXQlMjBsZWFzdCUyMHRoZSUyMG1vdW50JTIwYWRhcHRlciUyMG9ubHklMjB3b3JrZWQlMjBvbiUyMHRoZSUyMGZyb250JTIwZm9yayUyMG9mJTIwdGhlJTIwYmlrZSUyMHRoYXQlMjBJJTIwZ290JTIwaXQlMjBmb3IuJyUwQSUwQSclM0UlM0UlMjBUaXRsZSUzQSUyMG1laCclMEEnJTNFJTNFJTIwUmV2aWV3JTNBJTIwRG9lcyUyMGl0JUUyJTgwJTk5cyUyMGpvYiUyMGFuZCUyMGl0JUUyJTgwJTk5cyUyMGdvcmdlb3VzJTIwYnV0JTIwbWluZSUyMGlzJTIwZmFsbGluZyUyMGFwYXJ0JTJDJTIwSSUyMGhhZCUyMHRvJTIwYmFzaWNhbGx5JTIwcHV0JTIwaXQlMjB0b2dldGhlciUyMGFnYWluJTIwd2l0aCUyMGhvdCUyMGdsdWUnJTBBJTBBJyUzRSUzRSUyMFRpdGxlJTNBJTIwQ2FuJTVDJ3QlMjBiZWF0JTIwdGhlc2UlMjBmb3IlMjB0aGUlMjBtb25leSclMEEnJTNFJTNFJTIwUmV2aWV3JTNBJTIwQm91Z2h0JTIwdGhpcyUyMGZvciUyMGhhbmRsaW5nJTIwbWlzY2VsbGFuZW91cyUyMGFpcmNyYWZ0JTIwcGFydHMlMjBhbmQlMjBoYW5nZXIlMjAlMjJzdHVmZiUyMiUyMHRoYXQlMjBJJTIwbmVlZGVkJTIwdG8lMjBvcmdhbml6ZSUzQiUyMGl0JTIwcmVhbGx5JTIwZml0JTIwdGhlJTIwYmlsbC4lMjBUaGUlMjB1bml0JTIwYXJyaXZlZCUyMHF1aWNrbHklMkMlMjB3YXMlMjB3ZWxsJTIwcGFja2FnZWQlMjBhbmQlMjBhcnJpdmVkJTIwaW50YWN0JTIwKGFsd2F5cyUyMGElMjBnb29kJTIwc2lnbikuJTIwVGhlcmUlMjBhcmUlMjBmaXZlJTIwd2FsbCUyMG1vdW50cy0tJTIwdGhyZWUlMjBvbiUyMHRoZSUyMHRvcCUyMGFuZCUyMHR3byUyMG9uJTIwdGhlJTIwYm90dG9tLiUyMEklMjB3YW50ZWQlMjB0byUyMG1vdW50JTIwaXQlMjBvbiUyMHRoZSUyMHdhbGwlMkMlMjBzbyUyMGFsbCUyMEklMjBoYWQlMjB0byUyMGRvJTIwd2FzJTIwdG8lMjByZW1vdmUlMjB0aGUlMjB0b3AlMjB0d28lMjBsYXllcnMlMjBvZiUyMHBsYXN0aWMlMjBkcmF3ZXJzJTJDJTIwYXMlMjB3ZWxsJTIwYXMlMjB0aGUlMjBib3R0b20lMjBjb3JuZXIlMjBkcmF3ZXJzJTJDJTIwcGxhY2UlMjBpdCUyMHdoZW4lMjBJJTIwd2FudGVkJTIwYW5kJTIwbWFyayUyMGl0JTNCJTIwSSUyMHRoZW4lMjB1c2VkJTIwc29tZSUyMG9mJTIwdGhlJTIwbmV3JTIwcGxhc3RpYyUyMHNjcmV3JTIwaW4lMjB3YWxsJTIwYW5jaG9ycyUyMCh0aGUlMjA1MCUyMHBvdW5kJTIwdmFyaWV0eSklMjBhbmQlMjBpdCUyMGVhc2lseSUyMG1vdW50ZWQlMjB0byUyMHRoZSUyMHdhbGwuJTIwU29tZSUyMGhhdmUlMjByZW1hcmtlZCUyMHRoYXQlMjB0aGV5JTIwd2FudGVkJTIwZGl2aWRlcnMlMjBmb3IlMjB0aGUlMjBkcmF3ZXJzJTJDJTIwYW5kJTIwdGhhdCUyMHRoZXklMjBtYWRlJTIwdGhvc2UuJTIwR29vZCUyMGlkZWEuJTIwTXklMjBhcHBsaWNhdGlvbiUyMHdhcyUyMHRoYXQlMjBJJTIwbmVlZGVkJTIwc29tZXRoaW5nJTIwdGhhdCUyMEklMjBjYW4lMjBzZWUlMjB0aGUlMjBjb250ZW50cyUyMGF0JTIwYWJvdXQlMjBleWUlMjBsZXZlbCUyQyUyMHNvJTIwSSUyMHdhbnRlZCUyMHRoZSUyMGZ1bGxlci1zaXplZCUyMGRyYXdlcnMuJTIwSSUyMGFsc28lMjBsaWtlJTIwdGhhdCUyMHRoZXNlJTIwYXJlJTIwdGhlJTIwbmV3JTIwcGxhc3RpYyUyMHRoYXQlMjBkb2VzbiU1Qyd0JTIwZ2V0JTIwYnJpdHRsZSUyMGFuZCUyMHNwbGl0JTIwbGlrZSUyMG15JTIwb2xkZXIlMjBwbGFzdGljJTIwZHJhd2VycyUyMGRpZC4lMjBJJTIwbGlrZSUyMHRoZSUyMGFsbC1wbGFzdGljJTIwY29uc3RydWN0aW9uLiUyMEl0JTVDJ3MlMjBoZWF2eSUyMGR1dHklMjBlbm91Z2glMjB0byUyMGhvbGQlMjBtZXRhbCUyMHBhcnRzJTJDJTIwYnV0JTIwYmVpbmclMjBtYWRlJTIwb2YlMjBwbGFzdGljJTIwaXQlNUMncyUyMG5vdCUyMGFzJTIwaGVhdnklMjBhcyUyMGElMjBtZXRhbCUyMGZyYW1lJTJDJTIwc28lMjB5b3UlMjBjYW4lMjBlYXNpbHklMjBtb3VudCUyMGl0JTIwdG8lMjB0aGUlMjB3YWxsJTIwYW5kJTIwc3RpbGwlMjBsb2FkJTIwaXQlMjB1cCUyMHdpdGglMjBoZWF2eSUyMHN0dWZmJTJDJTIwb3IlMjBsaWdodCUyMHN0dWZmLiUyME5vJTIwcHJvYmxlbSUyMHRoZXJlLiUyMEZvciUyMHRoZSUyMG1vbmV5JTJDJTIweW91JTIwY2FuJTVDJ3QlMjBiZWF0JTIwaXQuJTIwQmVzdCUyMG9uZSUyMG9mJTIwdGhlc2UlMjBJJTVDJ3ZlJTIwYm91Z2h0JTIwdG8lMjBkYXRlLS0lMjBhbmQlMjBJJTVDJ3ZlJTIwYmVlbiUyMHVzaW5nJTIwc29tZSUyMHZlcnNpb24lMjBvZiUyMHRoZXNlJTIwZm9yJTIwb3ZlciUyMGZvcnR5JTIweWVhcnMuJw==",highlighted:`<span class="hljs-string">&#x27;&gt;&gt; Title: Worked in front position, not rear&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: 3 stars because these are not rear brakes as stated in the item description. At least the mount adapter only worked on the front fork of the bike that I got it for.&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt; Title: meh&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: Does it’s job and it’s gorgeous but mine is falling apart, I had to basically put it together again with hot glue&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt; Title: Can\\&#x27;t beat these for the money&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: Bought this for handling miscellaneous aircraft parts and hanger &quot;stuff&quot; that I needed to organize; it really fit the bill. The unit arrived quickly, was well packaged and arrived intact (always a good sign). There are five wall mounts-- three on the top and two on the bottom. I wanted to mount it on the wall, so all I had to do was to remove the top two layers of plastic drawers, as well as the bottom corner drawers, place it when I wanted and mark it; I then used some of the new plastic screw in wall anchors (the 50 pound variety) and it easily mounted to the wall. Some have remarked that they wanted dividers for the drawers, and that they made those. Good idea. My application was that I needed something that I can see the contents at about eye level, so I wanted the fuller-sized drawers. I also like that these are the new plastic that doesn\\&#x27;t get brittle and split like my older plastic drawers did. I like the all-plastic construction. It\\&#x27;s heavy duty enough to hold metal parts, but being made of plastic it\\&#x27;s not as heavy as a metal frame, so you can easily mount it to the wall and still load it up with heavy stuff, or light stuff. No problem there. For the money, you can\\&#x27;t beat it. Best one of these I\\&#x27;ve bought to date-- and I\\&#x27;ve been using some version of these for over forty years.&#x27;</span>`,wrap:!1}}),fs=new al({props:{$$slots:{default:[gM]},$$scope:{ctx:k}}}),$s=new h({props:{code:"ZW5nbGlzaF9kYXRhc2V0LnNldF9mb3JtYXQoJTIycGFuZGFzJTIyKSUwQWVuZ2xpc2hfZGYlMjAlM0QlMjBlbmdsaXNoX2RhdGFzZXQlNUIlMjJ0cmFpbiUyMiU1RCU1QiUzQSU1RCUwQSUyMyUyMFNob3clMjBjb3VudHMlMjBmb3IlMjB0b3AlMjAyMCUyMHByb2R1Y3RzJTBBZW5nbGlzaF9kZiU1QiUyMnByb2R1Y3RfY2F0ZWdvcnklMjIlNUQudmFsdWVfY291bnRzKCklNUIlM0EyMCU1RA==",highlighted:`english_dataset.set_format(<span class="hljs-string">&quot;pandas&quot;</span>)
english_df = english_dataset[<span class="hljs-string">&quot;train&quot;</span>][:]
<span class="hljs-comment"># Show counts for top 20 products</span>
english_df[<span class="hljs-string">&quot;product_category&quot;</span>].value_counts()[:<span class="hljs-number">20</span>]`,wrap:!1}}),es=new h({props:{code:"aG9tZSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDE3Njc5JTBBYXBwYXJlbCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDE1OTUxJTBBd2lyZWxlc3MlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAxNTcxNyUwQW90aGVyJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwMTM0MTglMEFiZWF1dHklMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAxMjA5MSUwQWRydWdzdG9yZSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDExNzMwJTBBa2l0Y2hlbiUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDEwMzgyJTBBdG95JTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwODc0NSUwQXNwb3J0cyUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDgyNzclMEFhdXRvbW90aXZlJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNzUwNiUwQWxhd25fYW5kX2dhcmRlbiUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDczMjclMEFob21lX2ltcHJvdmVtZW50JTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNzEzNiUwQXBldF9wcm9kdWN0cyUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDcwODIlMEFkaWdpdGFsX2Vib29rX3B1cmNoYXNlJTIwJTIwJTIwJTIwJTIwNjc0OSUwQXBjJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNjQwMSUwQWVsZWN0cm9uaWNzJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNjE4NiUwQW9mZmljZV9wcm9kdWN0JTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNTUyMSUwQXNob2VzJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwNTE5NyUwQWdyb2NlcnklMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjA0NzMwJTBBYm9vayUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDM3NTYlMEFOYW1lJTNBJTIwcHJvZHVjdF9jYXRlZ29yeSUyQyUyMGR0eXBlJTNBJTIwaW50NjQ=",highlighted:`home                      <span class="hljs-number">17679</span>
apparel                   <span class="hljs-number">15951</span>
wireless                  <span class="hljs-number">15717</span>
other                     <span class="hljs-number">13418</span>
beauty                    <span class="hljs-number">12091</span>
drugstore                 <span class="hljs-number">11730</span>
kitchen                   <span class="hljs-number">10382</span>
toy                        <span class="hljs-number">8745</span>
sports                     <span class="hljs-number">8277</span>
automotive                 <span class="hljs-number">7506</span>
lawn_and_garden            <span class="hljs-number">7327</span>
home_improvement           <span class="hljs-number">7136</span>
pet_products               <span class="hljs-number">7082</span>
digital_ebook_purchase     <span class="hljs-number">6749</span>
pc                         <span class="hljs-number">6401</span>
electronics                <span class="hljs-number">6186</span>
office_product             <span class="hljs-number">5521</span>
shoes                      <span class="hljs-number">5197</span>
grocery                    <span class="hljs-number">4730</span>
book                       <span class="hljs-number">3756</span>
Name: product_category, dtype: int64`,wrap:!1}}),ts=new h({props:{code:"ZGVmJTIwZmlsdGVyX2Jvb2tzKGV4YW1wbGUpJTNBJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGV4YW1wbGUlNUIlMjJwcm9kdWN0X2NhdGVnb3J5JTIyJTVEJTIwJTNEJTNEJTIwJTIyYm9vayUyMiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG9yJTIwZXhhbXBsZSU1QiUyMnByb2R1Y3RfY2F0ZWdvcnklMjIlNUQlMjAlM0QlM0QlMjAlMjJkaWdpdGFsX2Vib29rX3B1cmNoYXNlJTIyJTBBJTIwJTIwJTIwJTIwKQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">filter_books</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> (
        example[<span class="hljs-string">&quot;product_category&quot;</span>] == <span class="hljs-string">&quot;book&quot;</span>
        <span class="hljs-keyword">or</span> example[<span class="hljs-string">&quot;product_category&quot;</span>] == <span class="hljs-string">&quot;digital_ebook_purchase&quot;</span>
    )`,wrap:!1}}),ns=new h({props:{code:"ZW5nbGlzaF9kYXRhc2V0LnJlc2V0X2Zvcm1hdCgp",highlighted:"english_dataset.reset_format()",wrap:!1}}),ps=new h({props:{code:"c3BhbmlzaF9ib29rcyUyMCUzRCUyMHNwYW5pc2hfZGF0YXNldC5maWx0ZXIoZmlsdGVyX2Jvb2tzKSUwQWVuZ2xpc2hfYm9va3MlMjAlM0QlMjBlbmdsaXNoX2RhdGFzZXQuZmlsdGVyKGZpbHRlcl9ib29rcyklMEFzaG93X3NhbXBsZXMoZW5nbGlzaF9ib29rcyk=",highlighted:`spanish_books = spanish_dataset.<span class="hljs-built_in">filter</span>(filter_books)
english_books = english_dataset.<span class="hljs-built_in">filter</span>(filter_books)
show_samples(english_books)`,wrap:!1}}),ms=new h({props:{code:"JyUzRSUzRSUyMFRpdGxlJTNBJTIwSSU1QydtJTIwZGlzc2Fwb2ludGVkLiclMEEnJTNFJTNFJTIwUmV2aWV3JTNBJTIwSSUyMGd1ZXNzJTIwSSUyMGhhZCUyMGhpZ2hlciUyMGV4cGVjdGF0aW9ucyUyMGZvciUyMHRoaXMlMjBib29rJTIwZnJvbSUyMHRoZSUyMHJldmlld3MuJTIwSSUyMHJlYWxseSUyMHRob3VnaHQlMjBJJTVDJ2QlMjBhdCUyMGxlYXN0JTIwbGlrZSUyMGl0LiUyMFRoZSUyMHBsb3QlMjBpZGVhJTIwd2FzJTIwZ3JlYXQuJTIwSSUyMGxvdmVkJTIwQXNoJTIwYnV0JTJDJTIwaXQlMjBqdXN0JTIwZGlkbnQlMjBnbyUyMGFueXdoZXJlLiUyME1vc3QlMjBvZiUyMHRoZSUyMGJvb2slMjB3YXMlMjBhYm91dCUyMHRoZWlyJTIwcmFkaW8lMjBzaG93JTIwYW5kJTIwdGFsa2luZyUyMHRvJTIwY2FsbGVycy4lMjBJJTIwd2FudGVkJTIwdGhlJTIwYXV0aG9yJTIwdG8lMjBkaWclMjBkZWVwZXIlMjBzbyUyMHdlJTIwY291bGQlMjByZWFsbHklMjBnZXQlMjB0byUyMGtub3clMjB0aGUlMjBjaGFyYWN0ZXJzLiUyMEFsbCUyMHdlJTIwa25vdyUyMGFib3V0JTIwR3JhY2UlMjBpcyUyMHRoYXQlMjBzaGUlMjBpcyUyMGF0dHJhY3RpdmUlMjBsb29raW5nJTJDJTIwTGF0aW5vJTIwYW5kJTIwaXMlMjBraW5kJTIwb2YlMjBhJTIwYnJhdC4lMjBJJTVDJ20lMjBkaXNzYXBvaW50ZWQuJyUwQSUwQSclM0UlM0UlMjBUaXRsZSUzQSUyMEdvb2QlMjBhcnQlMkMlMjBnb29kJTIwcHJpY2UlMkMlMjBwb29yJTIwZGVzaWduJyUwQSclM0UlM0UlMjBSZXZpZXclM0ElMjBJJTIwaGFkJTIwZ290dGVuJTIwdGhlJTIwREMlMjBWaW50YWdlJTIwY2FsZW5kYXIlMjB0aGUlMjBwYXN0JTIwdHdvJTIweWVhcnMlMkMlMjBidXQlMjBpdCUyMHdhcyUyMG9uJTIwYmFja29yZGVyJTIwZm9yZXZlciUyMHRoaXMlMjB5ZWFyJTIwYW5kJTIwSSUyMHNhdyUyMHRoZXklMjBoYWQlMjBzaHJ1bmslMjB0aGUlMjBkaW1lbnNpb25zJTIwZm9yJTIwbm8lMjBnb29kJTIwcmVhc29uLiUyMFRoaXMlMjBvbmUlMjBoYXMlMjBnb29kJTIwYXJ0JTIwY2hvaWNlcyUyMGJ1dCUyMHRoZSUyMGRlc2lnbiUyMGhhcyUyMHRoZSUyMGZvbGQlMjBnb2luZyUyMHRocm91Z2glMjB0aGUlMjBwaWN0dXJlJTJDJTIwc28lMjBpdCU1QydzJTIwbGVzcyUyMGFlc3RoZXRpY2FsbHklMjBwbGVhc2luZyUyQyUyMGVzcGVjaWFsbHklMjBpZiUyMHlvdSUyMHdhbnQlMjB0byUyMGtlZXAlMjBhJTIwcGljdHVyZSUyMHRvJTIwaGFuZy4lMjBGb3IlMjB0aGUlMjBwcmljZSUyQyUyMGElMjBnb29kJTIwY2FsZW5kYXInJTBBJTBBJyUzRSUzRSUyMFRpdGxlJTNBJTIwSGVscGZ1bCclMEEnJTNFJTNFJTIwUmV2aWV3JTNBJTIwTmVhcmx5JTIwYWxsJTIwdGhlJTIwdGlwcyUyMHVzZWZ1bCUyMGFuZC4lMjBJJTIwY29uc2lkZXIlMjBteXNlbGYlMjBhbiUyMGludGVybWVkaWF0ZSUyMHRvJTIwYWR2YW5jZWQlMjB1c2VyJTIwb2YlMjBPbmVOb3RlLiUyMEklMjB3b3VsZCUyMGhpZ2hseSUyMHJlY29tbWVuZC4n",highlighted:`<span class="hljs-string">&#x27;&gt;&gt; Title: I\\&#x27;m dissapointed.&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: I guess I had higher expectations for this book from the reviews. I really thought I\\&#x27;d at least like it. The plot idea was great. I loved Ash but, it just didnt go anywhere. Most of the book was about their radio show and talking to callers. I wanted the author to dig deeper so we could really get to know the characters. All we know about Grace is that she is attractive looking, Latino and is kind of a brat. I\\&#x27;m dissapointed.&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt; Title: Good art, good price, poor design&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: I had gotten the DC Vintage calendar the past two years, but it was on backorder forever this year and I saw they had shrunk the dimensions for no good reason. This one has good art choices but the design has the fold going through the picture, so it\\&#x27;s less aesthetically pleasing, especially if you want to keep a picture to hang. For the price, a good calendar&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt; Title: Helpful&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: Nearly all the tips useful and. I consider myself an intermediate to advanced user of OneNote. I would highly recommend.&#x27;</span>`,wrap:!1}}),rs=new h({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwY29uY2F0ZW5hdGVfZGF0YXNldHMlMkMlMjBEYXRhc2V0RGljdCUwQSUwQWJvb2tzX2RhdGFzZXQlMjAlM0QlMjBEYXRhc2V0RGljdCgpJTBBJTBBZm9yJTIwc3BsaXQlMjBpbiUyMGVuZ2xpc2hfYm9va3Mua2V5cygpJTNBJTBBJTIwJTIwJTIwJTIwYm9va3NfZGF0YXNldCU1QnNwbGl0JTVEJTIwJTNEJTIwY29uY2F0ZW5hdGVfZGF0YXNldHMoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTVCZW5nbGlzaF9ib29rcyU1QnNwbGl0JTVEJTJDJTIwc3BhbmlzaF9ib29rcyU1QnNwbGl0JTVEJTVEJTBBJTIwJTIwJTIwJTIwKSUwQSUyMCUyMCUyMCUyMGJvb2tzX2RhdGFzZXQlNUJzcGxpdCU1RCUyMCUzRCUyMGJvb2tzX2RhdGFzZXQlNUJzcGxpdCU1RC5zaHVmZmxlKHNlZWQlM0Q0MiklMEElMEElMjMlMjBQZWVrJTIwYXQlMjBhJTIwZmV3JTIwZXhhbXBsZXMlMEFzaG93X3NhbXBsZXMoYm9va3NfZGF0YXNldCk=",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> concatenate_datasets, DatasetDict

books_dataset = DatasetDict()

<span class="hljs-keyword">for</span> split <span class="hljs-keyword">in</span> english_books.keys():
    books_dataset[split] = concatenate_datasets(
        [english_books[split], spanish_books[split]]
    )
    books_dataset[split] = books_dataset[split].shuffle(seed=<span class="hljs-number">42</span>)

<span class="hljs-comment"># Peek at a few examples</span>
show_samples(books_dataset)`,wrap:!1}}),ws=new h({props:{code:"JyUzRSUzRSUyMFRpdGxlJTNBJTIwRWFzeSUyMHRvJTIwZm9sbG93ISEhISclMEEnJTNFJTNFJTIwUmV2aWV3JTNBJTIwSSUyMGxvdmVkJTIwVGhlJTIwZGFzaCUyMGRpZXQlMjB3ZWlnaHQlMjBsb3NzJTIwU29sdXRpb24uJTIwTmV2ZXIlMjBodW5ncnkuJTIwSSUyMHdvdWxkJTIwcmVjb21tZW5kJTIwdGhpcyUyMGRpZXQuJTIwQWxzbyUyMHRoZSUyMG1lbnVzJTIwYXJlJTIwd2VsbCUyMHJvdW5kZWQuJTIwVHJ5JTIwaXQuJTIwSGFzJTIwbG90cyUyMG9mJTIwdGhlJTIwaW5mb3JtYXRpb24lMjBuZWVkJTIwdGhhbmtzLiclMEElMEEnJTNFJTNFJTIwVGl0bGUlM0ElMjBQQVJDSUFMTUVOVEUlMjBEQSVDMyU5MUFETyclMEEnJTNFJTNFJTIwUmV2aWV3JTNBJTIwTWUlMjBsbGVnJUMzJUIzJTIwZWwlMjBkJUMzJUFEYSUyMHF1ZSUyMHRvY2FiYSUyQyUyMGp1bnRvJTIwYSUyMG90cm9zJTIwbGlicm9zJTIwcXVlJTIwcGVkJUMzJUFEJTJDJTIwcGVybyUyMGxhJTIwY2FqYSUyMGxsZWclQzMlQjMlMjBlbiUyMG1hbCUyMGVzdGFkbyUyMGxvJTIwY3VhbCUyMGRhJUMzJUIxJUMzJUIzJTIwbGFzJTIwZXNxdWluYXMlMjBkZSUyMGxvcyUyMGxpYnJvcyUyMHBvcnF1ZSUyMHZlbiVDMyVBRGFuJTIwc2luJTIwcHJvdGVjY2klQzMlQjNuJTIwKGZvcnJvKS4nJTBBJTBBJyUzRSUzRSUyMFRpdGxlJTNBJTIwbm8lMjBsbyUyMGhlJTIwcG9kaWRvJTIwZGVzY2FyZ2FyJyUwQSclM0UlM0UlMjBSZXZpZXclM0ElMjBpZ3VhbCUyMHF1ZSUyMGVsJTIwYW50ZXJpb3In",highlighted:`<span class="hljs-string">&#x27;&gt;&gt; Title: Easy to follow!!!!&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: I loved The dash diet weight loss Solution. Never hungry. I would recommend this diet. Also the menus are well rounded. Try it. Has lots of the information need thanks.&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt; Title: PARCIALMENTE DAÑADO&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: Me llegó el día que tocaba, junto a otros libros que pedí, pero la caja llegó en mal estado lo cual dañó las esquinas de los libros porque venían sin protección (forro).&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt; Title: no lo he podido descargar&#x27;</span>
<span class="hljs-string">&#x27;&gt;&gt; Review: igual que el anterior&#x27;</span>`,wrap:!1}}),is=new h({props:{code:"Ym9va3NfZGF0YXNldCUyMCUzRCUyMGJvb2tzX2RhdGFzZXQuZmlsdGVyKGxhbWJkYSUyMHglM0ElMjBsZW4oeCU1QiUyMnJldmlld190aXRsZSUyMiU1RC5zcGxpdCgpKSUyMCUzRSUyMDIp",highlighted:'books_dataset = books_dataset.<span class="hljs-built_in">filter</span>(<span class="hljs-keyword">lambda</span> x: <span class="hljs-built_in">len</span>(x[<span class="hljs-string">&quot;review_title&quot;</span>].split()) &gt; <span class="hljs-number">2</span>)',wrap:!1}}),Jl=new Is({props:{title:"文章要約用モデル",local:"文章要約用モデル",headingTag:"h2"}}),Ks=new al({props:{$$slots:{default:[kM]},$$scope:{ctx:k}}}),dl=new Is({props:{title:"データの前処理",local:"データの前処理",headingTag:"h2"}}),hl=new ln({props:{id:"1m7BerpSq8A"}}),bl=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFtb2RlbF9jaGVja3BvaW50JTIwJTNEJTIwJTIyZ29vZ2xlJTJGbXQ1LXNtYWxsJTIyJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQobW9kZWxfY2hlY2twb2ludCk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

model_checkpoint = <span class="hljs-string">&quot;google/mt5-small&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)`,wrap:!1}}),Ps=new al({props:{$$slots:{default:[GM]},$$scope:{ctx:k}}}),fl=new h({props:{code:"aW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUyMkklMjBsb3ZlZCUyMHJlYWRpbmclMjB0aGUlMjBIdW5nZXIlMjBHYW1lcyElMjIpJTBBaW5wdXRz",highlighted:`inputs = tokenizer(<span class="hljs-string">&quot;I loved reading the Hunger Games!&quot;</span>)
inputs`,wrap:!1}}),Cl=new h({props:{code:"JTdCJ2lucHV0X2lkcyclM0ElMjAlNUIzMzYlMkMlMjAyNTklMkMlMjAyODM4NyUyQyUyMDExODA3JTJDJTIwMjg3JTJDJTIwNjI4OTMlMkMlMjAyOTUlMkMlMjAxMjUwNyUyQyUyMDElNUQlMkMlMjAnYXR0ZW50aW9uX21hc2snJTNBJTIwJTVCMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVEJTdE",highlighted:'{<span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">336</span>, <span class="hljs-number">259</span>, <span class="hljs-number">28387</span>, <span class="hljs-number">11807</span>, <span class="hljs-number">287</span>, <span class="hljs-number">62893</span>, <span class="hljs-number">295</span>, <span class="hljs-number">12507</span>, <span class="hljs-number">1</span>], <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]}',wrap:!1}}),gl=new h({props:{code:"dG9rZW5pemVyLmNvbnZlcnRfaWRzX3RvX3Rva2VucyhpbnB1dHMuaW5wdXRfaWRzKQ==",highlighted:"tokenizer.convert_ids_to_tokens(inputs.input_ids)",wrap:!1}}),kl=new h({props:{code:"JTVCJyVFMiU5NiU4MUknJTJDJTIwJyVFMiU5NiU4MSclMkMlMjAnbG92ZWQnJTJDJTIwJyVFMiU5NiU4MXJlYWRpbmcnJTJDJTIwJyVFMiU5NiU4MXRoZSclMkMlMjAnJUUyJTk2JTgxSHVuZyclMkMlMjAnZXInJTJDJTIwJyVFMiU5NiU4MUdhbWVzJyUyQyUyMCclM0MlMkZzJTNFJyU1RA==",highlighted:'[<span class="hljs-string">&#x27;▁I&#x27;</span>, <span class="hljs-string">&#x27;▁&#x27;</span>, <span class="hljs-string">&#x27;loved&#x27;</span>, <span class="hljs-string">&#x27;▁reading&#x27;</span>, <span class="hljs-string">&#x27;▁the&#x27;</span>, <span class="hljs-string">&#x27;▁Hung&#x27;</span>, <span class="hljs-string">&#x27;er&#x27;</span>, <span class="hljs-string">&#x27;▁Games&#x27;</span>, <span class="hljs-string">&#x27;&lt;/s&gt;&#x27;</span>]',wrap:!1}}),xl=new h({props:{code:"bWF4X2lucHV0X2xlbmd0aCUyMCUzRCUyMDUxMiUwQW1heF90YXJnZXRfbGVuZ3RoJTIwJTNEJTIwMzAlMEElMEElMEFkZWYlMjBwcmVwcm9jZXNzX2Z1bmN0aW9uKGV4YW1wbGVzKSUzQSUwQSUyMCUyMCUyMCUyMG1vZGVsX2lucHV0cyUyMCUzRCUyMHRva2VuaXplciglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBleGFtcGxlcyU1QiUyMnJldmlld19ib2R5JTIyJTVEJTJDJTIwbWF4X2xlbmd0aCUzRG1heF9pbnB1dF9sZW5ndGglMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSUwQSUyMCUyMCUyMCUyMCklMEElMjAlMjAlMjAlMjAlMjMlMjBTZXQlMjB1cCUyMHRoZSUyMHRva2VuaXplciUyMGZvciUyMHRhcmdldHMlMEElMjAlMjAlMjAlMjB3aXRoJTIwdG9rZW5pemVyLmFzX3RhcmdldF90b2tlbml6ZXIoKSUzQSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxhYmVscyUyMCUzRCUyMHRva2VuaXplciglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBleGFtcGxlcyU1QiUyMnJldmlld190aXRsZSUyMiU1RCUyQyUyMG1heF9sZW5ndGglM0RtYXhfdGFyZ2V0X2xlbmd0aCUyQyUyMHRydW5jYXRpb24lM0RUcnVlJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwKSUwQSUwQSUyMCUyMCUyMCUyMG1vZGVsX2lucHV0cyU1QiUyMmxhYmVscyUyMiU1RCUyMCUzRCUyMGxhYmVscyU1QiUyMmlucHV0X2lkcyUyMiU1RCUwQSUyMCUyMCUyMCUyMHJldHVybiUyMG1vZGVsX2lucHV0cw==",highlighted:`max_input_length = <span class="hljs-number">512</span>
max_target_length = <span class="hljs-number">30</span>


<span class="hljs-keyword">def</span> <span class="hljs-title function_">preprocess_function</span>(<span class="hljs-params">examples</span>):
    model_inputs = tokenizer(
        examples[<span class="hljs-string">&quot;review_body&quot;</span>], max_length=max_input_length, truncation=<span class="hljs-literal">True</span>
    )
    <span class="hljs-comment"># Set up the tokenizer for targets</span>
    <span class="hljs-keyword">with</span> tokenizer.as_target_tokenizer():
        labels = tokenizer(
            examples[<span class="hljs-string">&quot;review_title&quot;</span>], max_length=max_target_length, truncation=<span class="hljs-literal">True</span>
        )

    model_inputs[<span class="hljs-string">&quot;labels&quot;</span>] = labels[<span class="hljs-string">&quot;input_ids&quot;</span>]
    <span class="hljs-keyword">return</span> model_inputs`,wrap:!1}}),Vl=new h({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwYm9va3NfZGF0YXNldC5tYXAocHJlcHJvY2Vzc19mdW5jdGlvbiUyQyUyMGJhdGNoZWQlM0RUcnVlKQ==",highlighted:'tokenized_datasets = books_dataset.<span class="hljs-built_in">map</span>(preprocess_function, batched=<span class="hljs-literal">True</span>)',wrap:!1}}),Os=new al({props:{$$slots:{default:[vM]},$$scope:{ctx:k}}}),Rl=new Is({props:{title:"文章要約のための指標",local:"文章要約のための指標",headingTag:"h2"}}),Nl=new ln({props:{id:"TMshhnrEXlg"}}),zl=new h({props:{code:"Z2VuZXJhdGVkX3N1bW1hcnklMjAlM0QlMjAlMjJJJTIwYWJzb2x1dGVseSUyMGxvdmVkJTIwcmVhZGluZyUyMHRoZSUyMEh1bmdlciUyMEdhbWVzJTIyJTBBcmVmZXJlbmNlX3N1bW1hcnklMjAlM0QlMjAlMjJJJTIwbG92ZWQlMjByZWFkaW5nJTIwdGhlJTIwSHVuZ2VyJTIwR2FtZXMlMjI=",highlighted:`generated_summary = <span class="hljs-string">&quot;I absolutely loved reading the Hunger Games&quot;</span>
reference_summary = <span class="hljs-string">&quot;I loved reading the Hunger Games&quot;</span>`,wrap:!1}}),sl=new al({props:{$$slots:{default:[BM]},$$scope:{ctx:k}}}),Fl=new h({props:{code:"IXBpcCUyMGluc3RhbGwlMjByb3VnZV9zY29yZQ==",highlighted:"!pip install rouge_score",wrap:!1}}),Dl=new h({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFyb3VnZV9zY29yZSUyMCUzRCUyMGV2YWx1YXRlLmxvYWQoJTIycm91Z2UlMjIp",highlighted:`<span class="hljs-keyword">import</span> evaluate

rouge_score = evaluate.load(<span class="hljs-string">&quot;rouge&quot;</span>)`,wrap:!1}}),ql=new h({props:{code:"c2NvcmVzJTIwJTNEJTIwcm91Z2Vfc2NvcmUuY29tcHV0ZSglMEElMjAlMjAlMjAlMjBwcmVkaWN0aW9ucyUzRCU1QmdlbmVyYXRlZF9zdW1tYXJ5JTVEJTJDJTIwcmVmZXJlbmNlcyUzRCU1QnJlZmVyZW5jZV9zdW1tYXJ5JTVEJTBBKSUwQXNjb3Jlcw==",highlighted:`scores = rouge_score.compute(
    predictions=[generated_summary], references=[reference_summary]
)
scores`,wrap:!1}}),Kl=new h({props:{code:"JTdCJ3JvdWdlMSclM0ElMjBBZ2dyZWdhdGVTY29yZShsb3clM0RTY29yZShwcmVjaXNpb24lM0QwLjg2JTJDJTIwcmVjYWxsJTNEMS4wJTJDJTIwZm1lYXN1cmUlM0QwLjkyKSUyQyUyMG1pZCUzRFNjb3JlKHByZWNpc2lvbiUzRDAuODYlMkMlMjByZWNhbGwlM0QxLjAlMkMlMjBmbWVhc3VyZSUzRDAuOTIpJTJDJTIwaGlnaCUzRFNjb3JlKHByZWNpc2lvbiUzRDAuODYlMkMlMjByZWNhbGwlM0QxLjAlMkMlMjBmbWVhc3VyZSUzRDAuOTIpKSUyQyUwQSUyMCdyb3VnZTInJTNBJTIwQWdncmVnYXRlU2NvcmUobG93JTNEU2NvcmUocHJlY2lzaW9uJTNEMC42NyUyQyUyMHJlY2FsbCUzRDAuOCUyQyUyMGZtZWFzdXJlJTNEMC43MyklMkMlMjBtaWQlM0RTY29yZShwcmVjaXNpb24lM0QwLjY3JTJDJTIwcmVjYWxsJTNEMC44JTJDJTIwZm1lYXN1cmUlM0QwLjczKSUyQyUyMGhpZ2glM0RTY29yZShwcmVjaXNpb24lM0QwLjY3JTJDJTIwcmVjYWxsJTNEMC44JTJDJTIwZm1lYXN1cmUlM0QwLjczKSklMkMlMEElMjAncm91Z2VMJyUzQSUyMEFnZ3JlZ2F0ZVNjb3JlKGxvdyUzRFNjb3JlKHByZWNpc2lvbiUzRDAuODYlMkMlMjByZWNhbGwlM0QxLjAlMkMlMjBmbWVhc3VyZSUzRDAuOTIpJTJDJTIwbWlkJTNEU2NvcmUocHJlY2lzaW9uJTNEMC44NiUyQyUyMHJlY2FsbCUzRDEuMCUyQyUyMGZtZWFzdXJlJTNEMC45MiklMkMlMjBoaWdoJTNEU2NvcmUocHJlY2lzaW9uJTNEMC44NiUyQyUyMHJlY2FsbCUzRDEuMCUyQyUyMGZtZWFzdXJlJTNEMC45MikpJTJDJTBBJTIwJ3JvdWdlTHN1bSclM0ElMjBBZ2dyZWdhdGVTY29yZShsb3clM0RTY29yZShwcmVjaXNpb24lM0QwLjg2JTJDJTIwcmVjYWxsJTNEMS4wJTJDJTIwZm1lYXN1cmUlM0QwLjkyKSUyQyUyMG1pZCUzRFNjb3JlKHByZWNpc2lvbiUzRDAuODYlMkMlMjByZWNhbGwlM0QxLjAlMkMlMjBmbWVhc3VyZSUzRDAuOTIpJTJDJTIwaGlnaCUzRFNjb3JlKHByZWNpc2lvbiUzRDAuODYlMkMlMjByZWNhbGwlM0QxLjAlMkMlMjBmbWVhc3VyZSUzRDAuOTIpKSU3RA==",highlighted:`{<span class="hljs-string">&#x27;rouge1&#x27;</span>: AggregateScore(low=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>), mid=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>), high=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>)),
 <span class="hljs-string">&#x27;rouge2&#x27;</span>: AggregateScore(low=Score(precision=<span class="hljs-number">0.67</span>, recall=<span class="hljs-number">0.8</span>, fmeasure=<span class="hljs-number">0.73</span>), mid=Score(precision=<span class="hljs-number">0.67</span>, recall=<span class="hljs-number">0.8</span>, fmeasure=<span class="hljs-number">0.73</span>), high=Score(precision=<span class="hljs-number">0.67</span>, recall=<span class="hljs-number">0.8</span>, fmeasure=<span class="hljs-number">0.73</span>)),
 <span class="hljs-string">&#x27;rougeL&#x27;</span>: AggregateScore(low=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>), mid=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>), high=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>)),
 <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: AggregateScore(low=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>), mid=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>), high=Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>))}`,wrap:!1}}),se=new h({props:{code:"c2NvcmVzJTVCJTIycm91Z2UxJTIyJTVELm1pZA==",highlighted:'scores[<span class="hljs-string">&quot;rouge1&quot;</span>].mid',wrap:!1}}),le=new h({props:{code:"U2NvcmUocHJlY2lzaW9uJTNEMC44NiUyQyUyMHJlY2FsbCUzRDEuMCUyQyUyMGZtZWFzdXJlJTNEMC45Mik=",highlighted:'Score(precision=<span class="hljs-number">0.86</span>, recall=<span class="hljs-number">1.0</span>, fmeasure=<span class="hljs-number">0.92</span>)',wrap:!1}}),ll=new al({props:{$$slots:{default:[xM]},$$scope:{ctx:k}}}),te=new Is({props:{title:"強力なベースラインの作成",local:"強力なベースラインの作成",headingTag:"h3"}}),Me=new h({props:{code:"IXBpcCUyMGluc3RhbGwlMjBubHRr",highlighted:"!pip install nltk",wrap:!1}}),me=new h({props:{code:"aW1wb3J0JTIwbmx0ayUwQSUwQW5sdGsuZG93bmxvYWQoJTIycHVua3QlMjIp",highlighted:`<span class="hljs-keyword">import</span> nltk

nltk.download(<span class="hljs-string">&quot;punkt&quot;</span>)`,wrap:!1}}),ie=new h({props:{code:"ZnJvbSUyMG5sdGsudG9rZW5pemUlMjBpbXBvcnQlMjBzZW50X3Rva2VuaXplJTBBJTBBJTBBZGVmJTIwdGhyZWVfc2VudGVuY2Vfc3VtbWFyeSh0ZXh0KSUzQSUwQSUyMCUyMCUyMCUyMHJldHVybiUyMCUyMiU1Q24lMjIuam9pbihzZW50X3Rva2VuaXplKHRleHQpJTVCJTNBMyU1RCklMEElMEElMEFwcmludCh0aHJlZV9zZW50ZW5jZV9zdW1tYXJ5KGJvb2tzX2RhdGFzZXQlNUIlMjJ0cmFpbiUyMiU1RCU1QjElNUQlNUIlMjJyZXZpZXdfYm9keSUyMiU1RCkp",highlighted:`<span class="hljs-keyword">from</span> nltk.tokenize <span class="hljs-keyword">import</span> sent_tokenize


<span class="hljs-keyword">def</span> <span class="hljs-title function_">three_sentence_summary</span>(<span class="hljs-params">text</span>):
    <span class="hljs-keyword">return</span> <span class="hljs-string">&quot;\\n&quot;</span>.join(sent_tokenize(text)[:<span class="hljs-number">3</span>])


<span class="hljs-built_in">print</span>(three_sentence_summary(books_dataset[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-number">1</span>][<span class="hljs-string">&quot;review_body&quot;</span>]))`,wrap:!1}}),ye=new h({props:{code:"J0klMjBncmV3JTIwdXAlMjByZWFkaW5nJTIwS29vbnR6JTJDJTIwYW5kJTIweWVhcnMlMjBhZ28lMkMlMjBJJTIwc3RvcHBlZCUyQ2NvbnZpbmNlZCUyMGklMjBoYWQlMjAlMjJvdXRncm93biUyMiUyMGhpbS4nJTBBJ1N0aWxsJTJDd2hlbiUyMGElMjBmcmllbmQlMjB3YXMlMjBsb29raW5nJTIwZm9yJTIwc29tZXRoaW5nJTIwc3VzcGVuc2VmdWwlMjB0b28lMjByZWFkJTJDJTIwSSUyMHN1Z2dlc3RlZCUyMEtvb250ei4nJTBBJ1NoZSUyMGZvdW5kJTIwU3RyYW5nZXJzLic=",highlighted:`<span class="hljs-string">&#x27;I grew up reading Koontz, and years ago, I stopped,convinced i had &quot;outgrown&quot; him.&#x27;</span>
<span class="hljs-string">&#x27;Still,when a friend was looking for something suspenseful too read, I suggested Koontz.&#x27;</span>
<span class="hljs-string">&#x27;She found Strangers.&#x27;</span>`,wrap:!1}}),Je=new h({props:{code:"ZGVmJTIwZXZhbHVhdGVfYmFzZWxpbmUoZGF0YXNldCUyQyUyMG1ldHJpYyklM0ElMEElMjAlMjAlMjAlMjBzdW1tYXJpZXMlMjAlM0QlMjAlNUJ0aHJlZV9zZW50ZW5jZV9zdW1tYXJ5KHRleHQpJTIwZm9yJTIwdGV4dCUyMGluJTIwZGF0YXNldCU1QiUyMnJldmlld19ib2R5JTIyJTVEJTVEJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwbWV0cmljLmNvbXB1dGUocHJlZGljdGlvbnMlM0RzdW1tYXJpZXMlMkMlMjByZWZlcmVuY2VzJTNEZGF0YXNldCU1QiUyMnJldmlld190aXRsZSUyMiU1RCk=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">evaluate_baseline</span>(<span class="hljs-params">dataset, metric</span>):
    summaries = [three_sentence_summary(text) <span class="hljs-keyword">for</span> text <span class="hljs-keyword">in</span> dataset[<span class="hljs-string">&quot;review_body&quot;</span>]]
    <span class="hljs-keyword">return</span> metric.compute(predictions=summaries, references=dataset[<span class="hljs-string">&quot;review_title&quot;</span>])`,wrap:!1}}),oe=new h({props:{code:"aW1wb3J0JTIwcGFuZGFzJTIwYXMlMjBwZCUwQSUwQXNjb3JlJTIwJTNEJTIwZXZhbHVhdGVfYmFzZWxpbmUoYm9va3NfZGF0YXNldCU1QiUyMnZhbGlkYXRpb24lMjIlNUQlMkMlMjByb3VnZV9zY29yZSklMEFyb3VnZV9uYW1lcyUyMCUzRCUyMCU1QiUyMnJvdWdlMSUyMiUyQyUyMCUyMnJvdWdlMiUyMiUyQyUyMCUyMnJvdWdlTCUyMiUyQyUyMCUyMnJvdWdlTHN1bSUyMiU1RCUwQXJvdWdlX2RpY3QlMjAlM0QlMjBkaWN0KChybiUyQyUyMHJvdW5kKHNjb3JlJTVCcm4lNUQubWlkLmZtZWFzdXJlJTIwKiUyMDEwMCUyQyUyMDIpKSUyMGZvciUyMHJuJTIwaW4lMjByb3VnZV9uYW1lcyklMEFyb3VnZV9kaWN0",highlighted:`<span class="hljs-keyword">import</span> pandas <span class="hljs-keyword">as</span> pd

score = evaluate_baseline(books_dataset[<span class="hljs-string">&quot;validation&quot;</span>], rouge_score)
rouge_names = [<span class="hljs-string">&quot;rouge1&quot;</span>, <span class="hljs-string">&quot;rouge2&quot;</span>, <span class="hljs-string">&quot;rougeL&quot;</span>, <span class="hljs-string">&quot;rougeLsum&quot;</span>]
rouge_dict = <span class="hljs-built_in">dict</span>((rn, <span class="hljs-built_in">round</span>(score[rn].mid.fmeasure * <span class="hljs-number">100</span>, <span class="hljs-number">2</span>)) <span class="hljs-keyword">for</span> rn <span class="hljs-keyword">in</span> rouge_names)
rouge_dict`,wrap:!1}}),Ue=new h({props:{code:"JTdCJ3JvdWdlMSclM0ElMjAxNi43NCUyQyUyMCdyb3VnZTInJTNBJTIwOC44MyUyQyUyMCdyb3VnZUwnJTNBJTIwMTUuNiUyQyUyMCdyb3VnZUxzdW0nJTNBJTIwMTUuOTYlN0Q=",highlighted:'{<span class="hljs-string">&#x27;rouge1&#x27;</span>: <span class="hljs-number">16.74</span>, <span class="hljs-string">&#x27;rouge2&#x27;</span>: <span class="hljs-number">8.83</span>, <span class="hljs-string">&#x27;rougeL&#x27;</span>: <span class="hljs-number">15.6</span>, <span class="hljs-string">&#x27;rougeLsum&#x27;</span>: <span class="hljs-number">15.96</span>}',wrap:!1}});const Ln=[WM,$M],Ee=[];function qn(s,a){return s[0]==="pt"?0:1}Zs=qn(k),gs=Ee[Zs]=Ln[Zs](k),el=new al({props:{$$slots:{default:[VM]},$$scope:{ctx:k}}}),de=new h({props:{code:"ZnJvbSUyMGh1Z2dpbmdmYWNlX2h1YiUyMGltcG9ydCUyMG5vdGVib29rX2xvZ2luJTBBJTBBbm90ZWJvb2tfbG9naW4oKQ==",highlighted:`<span class="hljs-keyword">from</span> huggingface_hub <span class="hljs-keyword">import</span> notebook_login

notebook_login()`,wrap:!1}}),ue=new h({props:{code:"aHVnZ2luZ2ZhY2UtY2xpJTIwbG9naW4=",highlighted:'huggingface-<span class="hljs-keyword">cli</span> login',wrap:!1}});let H=k[0]==="pt"&&cM();const Kn=[RM,_M],Fe=[];function Pn(s,a){return s[0]==="pt"?0:1}ks=Pn(k),Gs=Fe[ks]=Kn[ks](k),Ce=new h({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzLnJlbW92ZV9jb2x1bW5zKCUwQSUyMCUyMCUyMCUyMGJvb2tzX2RhdGFzZXQlNUIlMjJ0cmFpbiUyMiU1RC5jb2x1bW5fbmFtZXMlMEEp",highlighted:`tokenized_datasets = tokenized_datasets.remove_columns(
    books_dataset[<span class="hljs-string">&quot;train&quot;</span>].column_names
)`,wrap:!1}}),ge=new h({props:{code:"ZmVhdHVyZXMlMjAlM0QlMjAlNUJ0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QmklNUQlMjBmb3IlMjBpJTIwaW4lMjByYW5nZSgyKSU1RCUwQWRhdGFfY29sbGF0b3IoZmVhdHVyZXMp",highlighted:`features = [tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][i] <span class="hljs-keyword">for</span> i <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(<span class="hljs-number">2</span>)]
data_collator(features)`,wrap:!1}}),ke=new h({props:{code:"JTdCJ2F0dGVudGlvbl9tYXNrJyUzQSUyMHRlbnNvciglNUIlNUIxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU1QjElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVEJTVEKSUyQyUyMCdpbnB1dF9pZHMnJTNBJTIwdGVuc29yKCU1QiU1QiUyMCUyMDE0OTQlMkMlMjAlMjAlMjAlMjAyNTklMkMlMjAlMjAlMjA4NjIyJTJDJTIwJTIwJTIwJTIwMzkwJTJDJTIwJTIwJTIwJTIwMjU5JTJDJTIwJTIwJTIwJTIwMjYyJTJDJTIwJTIwJTIwMjMxNiUyQyUyMCUyMCUyMDM0MzUlMkMlMjAlMjAlMjAlMjA5NTUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjA3NzIlMkMlMjAlMjAlMjAlMjAyODElMkMlMjAlMjAlMjAlMjA3NzIlMkMlMjAlMjAlMjAxNjE3JTJDJTIwJTIwJTIwJTIwMjYzJTJDJTIwJTIwJTIwJTIwMzA1JTJDJTIwJTIwMTQ3MDElMkMlMjAlMjAlMjAlMjAyNjAlMkMlMjAlMjAlMjAxMzg1JTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwMzAzMSUyQyUyMCUyMCUyMCUyMDI1OSUyQyUyMCUyMDI0MTQ2JTJDJTIwJTIwJTIwJTIwMzMyJTJDJTIwJTIwJTIwMTAzNyUyQyUyMCUyMCUyMCUyMDI1OSUyQyUyMCUyMDQzOTA2JTJDJTIwJTIwJTIwJTIwMzA1JTJDJTIwJTIwJTIwJTIwMzM2JTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwMjYwJTJDJTIwJTIwJTIwJTIwJTIwJTIwMSUyQyUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwJTIwJTIwJTIwMCU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU1QiUyMCUyMCUyMDI1OSUyQyUyMCUyMDI3NTMxJTJDJTIwJTIwMTM0ODMlMkMlMjAlMjAlMjAlMjAyNTklMkMlMjAlMjAlMjA3NTA1JTJDJTIwJTIwJTIwJTIwMjYwJTJDJTIwMTEyMjQwJTJDJTIwJTIwMTUxOTIlMkMlMjAlMjAlMjAlMjAzMDUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjA1MzE5OCUyQyUyMCUyMCUyMCUyMDI3NiUyQyUyMCUyMCUyMCUyMDI1OSUyQyUyMCUyMDc0MDYwJTJDJTIwJTIwJTIwJTIwMjYzJTJDJTIwJTIwJTIwJTIwMjYwJTJDJTIwJTIwJTIwJTIwNDU5JTJDJTIwJTIwMjU2NDAlMkMlMjAlMjAlMjAlMjA3NzYlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAyMTE5JTJDJTIwJTIwJTIwJTIwMzM2JTJDJTIwJTIwJTIwJTIwMjU5JTJDJTIwJTIwJTIwMjIyMCUyQyUyMCUyMCUyMCUyMDI1OSUyQyUyMCUyMDE4ODk2JTJDJTIwJTIwJTIwJTIwMjg4JTJDJTIwJTIwJTIwNDkwNiUyQyUyMCUyMCUyMCUyMDI4OCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDEwMzclMkMlMjAlMjAlMjAzOTMxJTJDJTIwJTIwJTIwJTIwMjYwJTJDJTIwJTIwJTIwNzA4MyUyQyUyMDEwMTQ3NiUyQyUyMCUyMCUyMDExNDMlMkMlMjAlMjAlMjAlMjAyNjAlMkMlMjAlMjAlMjAlMjAlMjAlMjAxJTVEJTVEKSUyQyUyMCdsYWJlbHMnJTNBJTIwdGVuc29yKCU1QiU1QiUyMDc0ODMlMkMlMjAlMjAlMjAyNTklMkMlMjAlMjAyMzY0JTJDJTIwMTU2OTUlMkMlMjAlMjAlMjAlMjAlMjAxJTJDJTIwJTIwLTEwMCU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU1QiUyMCUyMDI1OSUyQyUyMDI3NTMxJTJDJTIwMTM0ODMlMkMlMjAlMjAlMjAyNTklMkMlMjAlMjA3NTA1JTJDJTIwJTIwJTIwJTIwJTIwMSU1RCU1RCklMkMlMjAnZGVjb2Rlcl9pbnB1dF9pZHMnJTNBJTIwdGVuc29yKCU1QiU1QiUyMCUyMCUyMCUyMDAlMkMlMjAlMjA3NDgzJTJDJTIwJTIwJTIwMjU5JTJDJTIwJTIwMjM2NCUyQyUyMDE1Njk1JTJDJTIwJTIwJTIwJTIwJTIwMSU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCU1QiUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAyNTklMkMlMjAyNzUzMSUyQyUyMDEzNDgzJTJDJTIwJTIwJTIwMjU5JTJDJTIwJTIwNzUwNSU1RCU1RCklN0Q=",highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: tensor([[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>,
         <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
        [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>,
         <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]]), <span class="hljs-string">&#x27;input_ids&#x27;</span>: tensor([[  <span class="hljs-number">1494</span>,    <span class="hljs-number">259</span>,   <span class="hljs-number">8622</span>,    <span class="hljs-number">390</span>,    <span class="hljs-number">259</span>,    <span class="hljs-number">262</span>,   <span class="hljs-number">2316</span>,   <span class="hljs-number">3435</span>,    <span class="hljs-number">955</span>,
            <span class="hljs-number">772</span>,    <span class="hljs-number">281</span>,    <span class="hljs-number">772</span>,   <span class="hljs-number">1617</span>,    <span class="hljs-number">263</span>,    <span class="hljs-number">305</span>,  <span class="hljs-number">14701</span>,    <span class="hljs-number">260</span>,   <span class="hljs-number">1385</span>,
           <span class="hljs-number">3031</span>,    <span class="hljs-number">259</span>,  <span class="hljs-number">24146</span>,    <span class="hljs-number">332</span>,   <span class="hljs-number">1037</span>,    <span class="hljs-number">259</span>,  <span class="hljs-number">43906</span>,    <span class="hljs-number">305</span>,    <span class="hljs-number">336</span>,
            <span class="hljs-number">260</span>,      <span class="hljs-number">1</span>,      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>],
        [   <span class="hljs-number">259</span>,  <span class="hljs-number">27531</span>,  <span class="hljs-number">13483</span>,    <span class="hljs-number">259</span>,   <span class="hljs-number">7505</span>,    <span class="hljs-number">260</span>, <span class="hljs-number">112240</span>,  <span class="hljs-number">15192</span>,    <span class="hljs-number">305</span>,
          <span class="hljs-number">53198</span>,    <span class="hljs-number">276</span>,    <span class="hljs-number">259</span>,  <span class="hljs-number">74060</span>,    <span class="hljs-number">263</span>,    <span class="hljs-number">260</span>,    <span class="hljs-number">459</span>,  <span class="hljs-number">25640</span>,    <span class="hljs-number">776</span>,
           <span class="hljs-number">2119</span>,    <span class="hljs-number">336</span>,    <span class="hljs-number">259</span>,   <span class="hljs-number">2220</span>,    <span class="hljs-number">259</span>,  <span class="hljs-number">18896</span>,    <span class="hljs-number">288</span>,   <span class="hljs-number">4906</span>,    <span class="hljs-number">288</span>,
           <span class="hljs-number">1037</span>,   <span class="hljs-number">3931</span>,    <span class="hljs-number">260</span>,   <span class="hljs-number">7083</span>, <span class="hljs-number">101476</span>,   <span class="hljs-number">1143</span>,    <span class="hljs-number">260</span>,      <span class="hljs-number">1</span>]]), <span class="hljs-string">&#x27;labels&#x27;</span>: tensor([[ <span class="hljs-number">7483</span>,   <span class="hljs-number">259</span>,  <span class="hljs-number">2364</span>, <span class="hljs-number">15695</span>,     <span class="hljs-number">1</span>,  -<span class="hljs-number">100</span>],
        [  <span class="hljs-number">259</span>, <span class="hljs-number">27531</span>, <span class="hljs-number">13483</span>,   <span class="hljs-number">259</span>,  <span class="hljs-number">7505</span>,     <span class="hljs-number">1</span>]]), <span class="hljs-string">&#x27;decoder_input_ids&#x27;</span>: tensor([[    <span class="hljs-number">0</span>,  <span class="hljs-number">7483</span>,   <span class="hljs-number">259</span>,  <span class="hljs-number">2364</span>, <span class="hljs-number">15695</span>,     <span class="hljs-number">1</span>],
        [    <span class="hljs-number">0</span>,   <span class="hljs-number">259</span>, <span class="hljs-number">27531</span>, <span class="hljs-number">13483</span>,   <span class="hljs-number">259</span>,  <span class="hljs-number">7505</span>]])}`,wrap:!1}});const On=[XM,NM],He=[];function sM(s,a){return s[0]==="pt"?0:1}vs=sM(k),Bs=He[vs]=On[vs](k);let D=k[0]==="pt"&&JM(k);return ve=new Is({props:{title:"あなたの微調整したモデルを使用する",local:"あなたの微調整したモデルを使用する",headingTag:"h2"}}),xe=new h({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBaHViX21vZGVsX2lkJTIwJTNEJTIwJTIyaHVnZ2luZ2ZhY2UtY291cnNlJTJGbXQ1LXNtYWxsLWZpbmV0dW5lZC1hbWF6b24tZW4tZXMlMjIlMEFzdW1tYXJpemVyJTIwJTNEJTIwcGlwZWxpbmUoJTIyc3VtbWFyaXphdGlvbiUyMiUyQyUyMG1vZGVsJTNEaHViX21vZGVsX2lkKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

hub_model_id = <span class="hljs-string">&quot;huggingface-course/mt5-small-finetuned-amazon-en-es&quot;</span>
summarizer = pipeline(<span class="hljs-string">&quot;summarization&quot;</span>, model=hub_model_id)`,wrap:!1}}),We=new h({props:{code:"ZGVmJTIwcHJpbnRfc3VtbWFyeShpZHgpJTNBJTBBJTIwJTIwJTIwJTIwcmV2aWV3JTIwJTNEJTIwYm9va3NfZGF0YXNldCU1QiUyMnRlc3QlMjIlNUQlNUJpZHglNUQlNUIlMjJyZXZpZXdfYm9keSUyMiU1RCUwQSUyMCUyMCUyMCUyMHRpdGxlJTIwJTNEJTIwYm9va3NfZGF0YXNldCU1QiUyMnRlc3QlMjIlNUQlNUJpZHglNUQlNUIlMjJyZXZpZXdfdGl0bGUlMjIlNUQlMEElMjAlMjAlMjAlMjBzdW1tYXJ5JTIwJTNEJTIwc3VtbWFyaXplcihib29rc19kYXRhc2V0JTVCJTIydGVzdCUyMiU1RCU1QmlkeCU1RCU1QiUyMnJldmlld19ib2R5JTIyJTVEKSU1QjAlNUQlNUIlMjJzdW1tYXJ5X3RleHQlMjIlNUQlMEElMjAlMjAlMjAlMjBwcmludChmJTIyJyUzRSUzRSUzRSUyMFJldmlldyUzQSUyMCU3QnJldmlldyU3RCclMjIpJTBBJTIwJTIwJTIwJTIwcHJpbnQoZiUyMiU1Q24nJTNFJTNFJTNFJTIwVGl0bGUlM0ElMjAlN0J0aXRsZSU3RCclMjIpJTBBJTIwJTIwJTIwJTIwcHJpbnQoZiUyMiU1Q24nJTNFJTNFJTNFJTIwU3VtbWFyeSUzQSUyMCU3QnN1bW1hcnklN0QnJTIyKQ==",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">print_summary</span>(<span class="hljs-params">idx</span>):
    review = books_dataset[<span class="hljs-string">&quot;test&quot;</span>][idx][<span class="hljs-string">&quot;review_body&quot;</span>]
    title = books_dataset[<span class="hljs-string">&quot;test&quot;</span>][idx][<span class="hljs-string">&quot;review_title&quot;</span>]
    summary = summarizer(books_dataset[<span class="hljs-string">&quot;test&quot;</span>][idx][<span class="hljs-string">&quot;review_body&quot;</span>])[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;summary_text&quot;</span>]
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;&#x27;&gt;&gt;&gt; Review: <span class="hljs-subst">{review}</span>&#x27;&quot;</span>)
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\\n&#x27;&gt;&gt;&gt; Title: <span class="hljs-subst">{title}</span>&#x27;&quot;</span>)
    <span class="hljs-built_in">print</span>(<span class="hljs-string">f&quot;\\n&#x27;&gt;&gt;&gt; Summary: <span class="hljs-subst">{summary}</span>&#x27;&quot;</span>)`,wrap:!1}}),_e=new h({props:{code:"cHJpbnRfc3VtbWFyeSgxMDAp",highlighted:'print_summary(<span class="hljs-number">100</span>)',wrap:!1}}),Re=new h({props:{code:"JyUzRSUzRSUzRSUyMFJldmlldyUzQSUyME5vdGhpbmclMjBzcGVjaWFsJTIwYXQlMjBhbGwlMjBhYm91dCUyMHRoaXMlMjBwcm9kdWN0Li4uJTIwdGhlJTIwYm9vayUyMGlzJTIwdG9vJTIwc21hbGwlMjBhbmQlMjBzdGlmZiUyMGFuZCUyMGhhcmQlMjB0byUyMHdyaXRlJTIwaW4uJTIwVGhlJTIwaHVnZSUyMHN0aWNrZXIlMjBvbiUyMHRoZSUyMGJhY2slMjBkb2VzbiVFMiU4MCU5OXQlMjBjb21lJTIwb2ZmJTIwYW5kJTIwbG9va3MlMjBzdXBlciUyMHRhY2t5LiUyMEklMjB3b3VsZCUyMG5vdCUyMHB1cmNoYXNlJTIwdGhpcyUyMGFnYWluLiUyMEklMjBjb3VsZCUyMGhhdmUlMjBqdXN0JTIwYm91Z2h0JTIwYSUyMGpvdXJuYWwlMjBmcm9tJTIwdGhlJTIwZG9sbGFyJTIwc3RvcmUlMjBhbmQlMjBpdCUyMHdvdWxkJTIwYmUlMjBiYXNpY2FsbHklMjB0aGUlMjBzYW1lJTIwdGhpbmcuJTIwSXQlRTIlODAlOTlzJTIwYWxzbyUyMHJlYWxseSUyMGV4cGVuc2l2ZSUyMGZvciUyMHdoYXQlMjBpdCUyMGlzLiclMEElMEEnJTNFJTNFJTNFJTIwVGl0bGUlM0ElMjBOb3QlMjBpbXByZXNzZWQlMjBhdCUyMGFsbC4uLiUyMGJ1eSUyMHNvbWV0aGluZyUyMGVsc2UnJTBBJTBBJyUzRSUzRSUzRSUyMFN1bW1hcnklM0ElMjBOb3RoaW5nJTIwc3BlY2lhbCUyMGF0JTIwYWxsJTIwYWJvdXQlMjB0aGlzJTIwcHJvZHVjdCc=",highlighted:`<span class="hljs-string">&#x27;&gt;&gt;&gt; Review: Nothing special at all about this product... the book is too small and stiff and hard to write in. The huge sticker on the back doesn’t come off and looks super tacky. I would not purchase this again. I could have just bought a journal from the dollar store and it would be basically the same thing. It’s also really expensive for what it is.&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt;&gt; Title: Not impressed at all... buy something else&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt;&gt; Summary: Nothing special at all about this product&#x27;</span>`,wrap:!1}}),Xe=new h({props:{code:"cHJpbnRfc3VtbWFyeSgwKQ==",highlighted:'print_summary(<span class="hljs-number">0</span>)',wrap:!1}}),Ae=new h({props:{code:"JyUzRSUzRSUzRSUyMFJldmlldyUzQSUyMEVzJTIwdW5hJTIwdHJpbG9naWElMjBxdWUlMjBzZSUyMGhhY2UlMjBtdXklMjBmYWNpbCUyMGRlJTIwbGVlci4lMjBNZSUyMGhhJTIwZ3VzdGFkbyUyQyUyMG5vJTIwbWUlMjBlc3BlcmFiYSUyMGVsJTIwZmluYWwlMjBwYXJhJTIwbmFkYSclMEElMEEnJTNFJTNFJTNFJTIwVGl0bGUlM0ElMjBCdWVuYSUyMGxpdGVyYXR1cmElMjBwYXJhJTIwYWRvbGVzY2VudGVzJyUwQSUwQSclM0UlM0UlM0UlMjBTdW1tYXJ5JTNBJTIwTXV5JTIwZmFjaWwlMjBkZSUyMGxlZXIn",highlighted:`<span class="hljs-string">&#x27;&gt;&gt;&gt; Review: Es una trilogia que se hace muy facil de leer. Me ha gustado, no me esperaba el final para nada&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt;&gt; Title: Buena literatura para adolescentes&#x27;</span>

<span class="hljs-string">&#x27;&gt;&gt;&gt; Summary: Muy facil de leer&#x27;</span>`,wrap:!1}}),Qe=new fM({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ja/chapter7/5.mdx"}}),{c(){p=y("meta"),u=t(),m=y("p"),f=t(),J(G.$$.fragment),Z=t(),J(W.$$.fragment),I=t(),R.c(),v=t(),z=y("p"),z.innerHTML=S,N=t(),J(V.$$.fragment),x=t(),C=y("p"),C.innerHTML=B,L=t(),X=y("iframe"),K=t(),A=y("p"),A.textContent=q,E=t(),J(Q.$$.fragment),F=t(),j=y("p"),j.innerHTML=_,ys=t(),J(d.$$.fragment),$=t(),J(P.$$.fragment),Ns=t(),O=y("p"),O.innerHTML=aa,Xs=t(),J(ss.$$.fragment),nl=t(),J(cs.$$.fragment),Js=t(),J(fs.$$.fragment),As=t(),ls=y("p"),ls.innerHTML=Ml,Ts=t(),J($s.$$.fragment),zs=t(),J(es.$$.fragment),Ys=t(),as=y("p"),as.innerHTML=ta,Qs=t(),J(ts.$$.fragment),pl=t(),os=y("p"),os.innerHTML=Ws,Ss=t(),J(ns.$$.fragment),Es=t(),Ms=y("p"),Ms.textContent=na,Fs=t(),J(ps.$$.fragment),Hs=t(),J(ms.$$.fragment),ml=t(),Us=y("p"),Us.innerHTML=Vs,Ds=t(),J(rs.$$.fragment),rl=t(),J(ws.$$.fragment),js=t(),_s=y("p"),_s.textContent=il,ds=t(),Cs=y("div"),Cs.innerHTML=yl,hs=t(),us=y("p"),us.innerHTML=Rs,Ls=t(),J(is.$$.fragment),cl=t(),bs=y("p"),bs.textContent=M,b=t(),J(Jl.$$.fragment),ma=t(),Tl=y("p"),Tl.innerHTML=en,ra=t(),ol=y("table"),ol.innerHTML=an,ia=t(),Ul=y("p"),Ul.textContent=tn,ya=t(),wl=y("p"),wl.textContent=nn,ca=t(),qs=y("div"),qs.innerHTML=Mn,Ja=t(),jl=y("p"),jl.textContent=pn,Ta=t(),J(Ks.$$.fragment),oa=t(),J(dl.$$.fragment),Ua=t(),J(hl.$$.fragment),wa=t(),ul=y("p"),ul.innerHTML=mn,ja=t(),J(bl.$$.fragment),da=t(),J(Ps.$$.fragment),ha=t(),Il=y("p"),Il.textContent=rn,ua=t(),J(fl.$$.fragment),ba=t(),J(Cl.$$.fragment),Ia=t(),Zl=y("p"),Zl.innerHTML=yn,fa=t(),J(gl.$$.fragment),Ca=t(),J(kl.$$.fragment),Za=t(),Gl=y("p"),Gl.innerHTML=cn,ga=t(),vl=y("p"),vl.innerHTML=Jn,ka=t(),Bl=y("p"),Bl.textContent=Tn,Ga=t(),J(xl.$$.fragment),va=t(),$l=y("p"),$l.innerHTML=on,Ba=t(),Wl=y("p"),Wl.innerHTML=Un,xa=t(),J(Vl.$$.fragment),$a=t(),_l=y("p"),_l.textContent=wn,Wa=t(),J(Os.$$.fragment),Va=t(),J(Rl.$$.fragment),_a=t(),J(Nl.$$.fragment),Ra=t(),Xl=y("p"),Xl.textContent=jn,Na=t(),Al=y("p"),Al.innerHTML=dn,Xa=t(),J(zl.$$.fragment),Aa=t(),Yl=y("p"),Yl.innerHTML=hn,za=t(),J(sl.$$.fragment),Ya=t(),Ql=y("p"),Lt=mM(`ROUGEでは、生成した要約に参照元の要約がどれだけ取り込まれたかを再現率で測定します。単語を比較するだけであれば、以下の式によって再現率を計算することができます。
`),Qa=new rM(!1),Sa=t(),Sl=y("p"),qt=mM(`上記の簡単な例では、この式は6/6 = 1の完全な再現率を与えます。つまり、参照要約のすべての単語がモデルによって生成されたことになります。これは素晴らしいことだと思うかもしれませんが、もし私達のモデルが生成した要約が「ハンガーゲームを一晩中読むのが本当に本当に好きだった」であったとしたらどうでしょう。この場合も完璧な再現率が得られますが、冗長であるため、間違いなくより悪い要約となります。このようなシナリオに対処するために、我々は私達は適合率も計算します。これはROUGEの文脈において、生成された要約がどれだけ関連していたかを測定するものです。
`),Ea=new rM(!1),Fa=t(),El=y("p"),El.innerHTML=un,Ha=t(),J(Fl.$$.fragment),Da=t(),Hl=y("p"),Hl.textContent=bn,La=t(),J(Dl.$$.fragment),qa=t(),Ll=y("p"),Ll.innerHTML=In,Ka=t(),J(ql.$$.fragment),Pa=t(),J(Kl.$$.fragment),Oa=t(),Pl=y("p"),Pl.textContent=fn,st=t(),Ol=y("p"),Ol.innerHTML=Cn,lt=t(),J(se.$$.fragment),et=t(),J(le.$$.fragment),at=t(),ee=y("p"),ee.innerHTML=Zn,tt=t(),J(ll.$$.fragment),nt=t(),ae=y("p"),ae.textContent=gn,Mt=t(),J(te.$$.fragment),pt=t(),ne=y("p"),ne.innerHTML=kn,mt=t(),J(Me.$$.fragment),rt=t(),pe=y("p"),pe.textContent=Gn,it=t(),J(me.$$.fragment),yt=t(),re=y("p"),re.innerHTML=vn,ct=t(),J(ie.$$.fragment),Jt=t(),J(ye.$$.fragment),Tt=t(),ce=y("p"),ce.textContent=Bn,ot=t(),J(Je.$$.fragment),Ut=t(),Te=y("p"),Te.textContent=xn,wt=t(),J(oe.$$.fragment),jt=t(),J(Ue.$$.fragment),dt=t(),we=y("p"),we.textContent=$n,ht=t(),gs.c(),Le=t(),J(el.$$.fragment),ut=t(),je=y("p"),je.textContent=Wn,bt=t(),J(de.$$.fragment),It=t(),he=y("p"),he.textContent=Vn,ft=t(),J(ue.$$.fragment),Ct=t(),H&&H.c(),qe=t(),be=y("p"),be.innerHTML=_n,Zt=t(),Ie=y("p"),Ie.innerHTML=Rn,gt=t(),Gs.c(),Ke=t(),fe=y("p"),fe.textContent=Nn,kt=t(),J(Ce.$$.fragment),Gt=t(),Ze=y("p"),Ze.innerHTML=Xn,vt=t(),J(ge.$$.fragment),Bt=t(),J(ke.$$.fragment),xt=t(),Ge=y("p"),Ge.innerHTML=An,$t=t(),Bs.c(),Pe=t(),D&&D.c(),Oe=t(),J(ve.$$.fragment),Wt=t(),Be=y("p"),Be.innerHTML=zn,Vt=t(),J(xe.$$.fragment),_t=t(),$e=y("p"),$e.textContent=Yn,Rt=t(),J(We.$$.fragment),Nt=t(),Ve=y("p"),Ve.textContent=Qn,Xt=t(),J(_e.$$.fragment),At=t(),J(Re.$$.fragment),zt=t(),Ne=y("p"),Ne.textContent=Sn,Yt=t(),J(Xe.$$.fragment),Qt=t(),J(Ae.$$.fragment),St=t(),ze=y("p"),ze.textContent=En,Et=t(),Ye=y("p"),Ye.textContent=Fn,Ft=t(),J(Qe.$$.fragment),Ht=t(),Ma=y("p"),this.h()},l(s){const a=bM("svelte-u9bgzb",document.head);p=c(a,"META",{name:!0,content:!0}),a.forEach(l),u=n(s),m=c(s,"P",{}),pa(m).forEach(l),f=n(s),T(G.$$.fragment,s),Z=n(s),T(W.$$.fragment,s),I=n(s),R.l(s),v=n(s),z=c(s,"P",{"data-svelte-h":!0}),w(z)!=="svelte-1i2hjpd"&&(z.innerHTML=S),N=n(s),T(V.$$.fragment,s),x=n(s),C=c(s,"P",{"data-svelte-h":!0}),w(C)!=="svelte-69wbpw"&&(C.innerHTML=B),L=n(s),X=c(s,"IFRAME",{src:!0,frameborder:!0,height:!0,title:!0,class:!0,allow:!0,sandbox:!0}),pa(X).forEach(l),K=n(s),A=c(s,"P",{"data-svelte-h":!0}),w(A)!=="svelte-1dbid4x"&&(A.textContent=q),E=n(s),T(Q.$$.fragment,s),F=n(s),j=c(s,"P",{"data-svelte-h":!0}),w(j)!=="svelte-1lfcs84"&&(j.innerHTML=_),ys=n(s),T(d.$$.fragment,s),$=n(s),T(P.$$.fragment,s),Ns=n(s),O=c(s,"P",{"data-svelte-h":!0}),w(O)!=="svelte-1rkp0la"&&(O.innerHTML=aa),Xs=n(s),T(ss.$$.fragment,s),nl=n(s),T(cs.$$.fragment,s),Js=n(s),T(fs.$$.fragment,s),As=n(s),ls=c(s,"P",{"data-svelte-h":!0}),w(ls)!=="svelte-ocozdg"&&(ls.innerHTML=Ml),Ts=n(s),T($s.$$.fragment,s),zs=n(s),T(es.$$.fragment,s),Ys=n(s),as=c(s,"P",{"data-svelte-h":!0}),w(as)!=="svelte-xqrer3"&&(as.innerHTML=ta),Qs=n(s),T(ts.$$.fragment,s),pl=n(s),os=c(s,"P",{"data-svelte-h":!0}),w(os)!=="svelte-1qptrsy"&&(os.innerHTML=Ws),Ss=n(s),T(ns.$$.fragment,s),Es=n(s),Ms=c(s,"P",{"data-svelte-h":!0}),w(Ms)!=="svelte-4pxau6"&&(Ms.textContent=na),Fs=n(s),T(ps.$$.fragment,s),Hs=n(s),T(ms.$$.fragment,s),ml=n(s),Us=c(s,"P",{"data-svelte-h":!0}),w(Us)!=="svelte-1axa9xf"&&(Us.innerHTML=Vs),Ds=n(s),T(rs.$$.fragment,s),rl=n(s),T(ws.$$.fragment,s),js=n(s),_s=c(s,"P",{"data-svelte-h":!0}),w(_s)!=="svelte-sa4rm6"&&(_s.textContent=il),ds=n(s),Cs=c(s,"DIV",{class:!0,"data-svelte-h":!0}),w(Cs)!=="svelte-1pwnbfd"&&(Cs.innerHTML=yl),hs=n(s),us=c(s,"P",{"data-svelte-h":!0}),w(us)!=="svelte-buc0xz"&&(us.innerHTML=Rs),Ls=n(s),T(is.$$.fragment,s),cl=n(s),bs=c(s,"P",{"data-svelte-h":!0}),w(bs)!=="svelte-1e5hqyz"&&(bs.textContent=M),b=n(s),T(Jl.$$.fragment,s),ma=n(s),Tl=c(s,"P",{"data-svelte-h":!0}),w(Tl)!=="svelte-6v0vm9"&&(Tl.innerHTML=en),ra=n(s),ol=c(s,"TABLE",{"data-svelte-h":!0}),w(ol)!=="svelte-1oone28"&&(ol.innerHTML=an),ia=n(s),Ul=c(s,"P",{"data-svelte-h":!0}),w(Ul)!=="svelte-1f9d46m"&&(Ul.textContent=tn),ya=n(s),wl=c(s,"P",{"data-svelte-h":!0}),w(wl)!=="svelte-1d6grua"&&(wl.textContent=nn),ca=n(s),qs=c(s,"DIV",{class:!0,"data-svelte-h":!0}),w(qs)!=="svelte-k7lnur"&&(qs.innerHTML=Mn),Ja=n(s),jl=c(s,"P",{"data-svelte-h":!0}),w(jl)!=="svelte-1rzgkca"&&(jl.textContent=pn),Ta=n(s),T(Ks.$$.fragment,s),oa=n(s),T(dl.$$.fragment,s),Ua=n(s),T(hl.$$.fragment,s),wa=n(s),ul=c(s,"P",{"data-svelte-h":!0}),w(ul)!=="svelte-1f71lrt"&&(ul.innerHTML=mn),ja=n(s),T(bl.$$.fragment,s),da=n(s),T(Ps.$$.fragment,s),ha=n(s),Il=c(s,"P",{"data-svelte-h":!0}),w(Il)!=="svelte-1xrxxbn"&&(Il.textContent=rn),ua=n(s),T(fl.$$.fragment,s),ba=n(s),T(Cl.$$.fragment,s),Ia=n(s),Zl=c(s,"P",{"data-svelte-h":!0}),w(Zl)!=="svelte-1v3sify"&&(Zl.innerHTML=yn),fa=n(s),T(gl.$$.fragment,s),Ca=n(s),T(kl.$$.fragment,s),Za=n(s),Gl=c(s,"P",{"data-svelte-h":!0}),w(Gl)!=="svelte-14jonz7"&&(Gl.innerHTML=cn),ga=n(s),vl=c(s,"P",{"data-svelte-h":!0}),w(vl)!=="svelte-10oayda"&&(vl.innerHTML=Jn),ka=n(s),Bl=c(s,"P",{"data-svelte-h":!0}),w(Bl)!=="svelte-pnjhyc"&&(Bl.textContent=Tn),Ga=n(s),T(xl.$$.fragment,s),va=n(s),$l=c(s,"P",{"data-svelte-h":!0}),w($l)!=="svelte-940boc"&&($l.innerHTML=on),Ba=n(s),Wl=c(s,"P",{"data-svelte-h":!0}),w(Wl)!=="svelte-1owvo6e"&&(Wl.innerHTML=Un),xa=n(s),T(Vl.$$.fragment,s),$a=n(s),_l=c(s,"P",{"data-svelte-h":!0}),w(_l)!=="svelte-9936gc"&&(_l.textContent=wn),Wa=n(s),T(Os.$$.fragment,s),Va=n(s),T(Rl.$$.fragment,s),_a=n(s),T(Nl.$$.fragment,s),Ra=n(s),Xl=c(s,"P",{"data-svelte-h":!0}),w(Xl)!=="svelte-1xmcc0c"&&(Xl.textContent=jn),Na=n(s),Al=c(s,"P",{"data-svelte-h":!0}),w(Al)!=="svelte-hkir7g"&&(Al.innerHTML=dn),Xa=n(s),T(zl.$$.fragment,s),Aa=n(s),Yl=c(s,"P",{"data-svelte-h":!0}),w(Yl)!=="svelte-oy7jfx"&&(Yl.innerHTML=hn),za=n(s),T(sl.$$.fragment,s),Ya=n(s),Ql=c(s,"P",{});var sa=pa(Ql);Lt=iM(sa,`ROUGEでは、生成した要約に参照元の要約がどれだけ取り込まれたかを再現率で測定します。単語を比較するだけであれば、以下の式によって再現率を計算することができます。
`),Qa=yM(sa,!1),sa.forEach(l),Sa=n(s),Sl=c(s,"P",{});var De=pa(Sl);qt=iM(De,`上記の簡単な例では、この式は6/6 = 1の完全な再現率を与えます。つまり、参照要約のすべての単語がモデルによって生成されたことになります。これは素晴らしいことだと思うかもしれませんが、もし私達のモデルが生成した要約が「ハンガーゲームを一晩中読むのが本当に本当に好きだった」であったとしたらどうでしょう。この場合も完璧な再現率が得られますが、冗長であるため、間違いなくより悪い要約となります。このようなシナリオに対処するために、我々は私達は適合率も計算します。これはROUGEの文脈において、生成された要約がどれだけ関連していたかを測定するものです。
`),Ea=yM(De,!1),De.forEach(l),Fa=n(s),El=c(s,"P",{"data-svelte-h":!0}),w(El)!=="svelte-grwz7e"&&(El.innerHTML=un),Ha=n(s),T(Fl.$$.fragment,s),Da=n(s),Hl=c(s,"P",{"data-svelte-h":!0}),w(Hl)!=="svelte-184bhe5"&&(Hl.textContent=bn),La=n(s),T(Dl.$$.fragment,s),qa=n(s),Ll=c(s,"P",{"data-svelte-h":!0}),w(Ll)!=="svelte-1aryl6q"&&(Ll.innerHTML=In),Ka=n(s),T(ql.$$.fragment,s),Pa=n(s),T(Kl.$$.fragment,s),Oa=n(s),Pl=c(s,"P",{"data-svelte-h":!0}),w(Pl)!=="svelte-1o8gzhy"&&(Pl.textContent=fn),st=n(s),Ol=c(s,"P",{"data-svelte-h":!0}),w(Ol)!=="svelte-1pt66j7"&&(Ol.innerHTML=Cn),lt=n(s),T(se.$$.fragment,s),et=n(s),T(le.$$.fragment,s),at=n(s),ee=c(s,"P",{"data-svelte-h":!0}),w(ee)!=="svelte-he51v6"&&(ee.innerHTML=Zn),tt=n(s),T(ll.$$.fragment,s),nt=n(s),ae=c(s,"P",{"data-svelte-h":!0}),w(ae)!=="svelte-1f1r1g8"&&(ae.textContent=gn),Mt=n(s),T(te.$$.fragment,s),pt=n(s),ne=c(s,"P",{"data-svelte-h":!0}),w(ne)!=="svelte-1owpy0q"&&(ne.innerHTML=kn),mt=n(s),T(Me.$$.fragment,s),rt=n(s),pe=c(s,"P",{"data-svelte-h":!0}),w(pe)!=="svelte-18h1szi"&&(pe.textContent=Gn),it=n(s),T(me.$$.fragment,s),yt=n(s),re=c(s,"P",{"data-svelte-h":!0}),w(re)!=="svelte-1dq33gu"&&(re.innerHTML=vn),ct=n(s),T(ie.$$.fragment,s),Jt=n(s),T(ye.$$.fragment,s),Tt=n(s),ce=c(s,"P",{"data-svelte-h":!0}),w(ce)!=="svelte-wnmvqs"&&(ce.textContent=Bn),ot=n(s),T(Je.$$.fragment,s),Ut=n(s),Te=c(s,"P",{"data-svelte-h":!0}),w(Te)!=="svelte-1252ppu"&&(Te.textContent=xn),wt=n(s),T(oe.$$.fragment,s),jt=n(s),T(Ue.$$.fragment,s),dt=n(s),we=c(s,"P",{"data-svelte-h":!0}),w(we)!=="svelte-14f8lff"&&(we.textContent=$n),ht=n(s),gs.l(s),Le=n(s),T(el.$$.fragment,s),ut=n(s),je=c(s,"P",{"data-svelte-h":!0}),w(je)!=="svelte-1xii4k"&&(je.textContent=Wn),bt=n(s),T(de.$$.fragment,s),It=n(s),he=c(s,"P",{"data-svelte-h":!0}),w(he)!=="svelte-9qe1fg"&&(he.textContent=Vn),ft=n(s),T(ue.$$.fragment,s),Ct=n(s),H&&H.l(s),qe=n(s),be=c(s,"P",{"data-svelte-h":!0}),w(be)!=="svelte-16ic40b"&&(be.innerHTML=_n),Zt=n(s),Ie=c(s,"P",{"data-svelte-h":!0}),w(Ie)!=="svelte-1001k8h"&&(Ie.innerHTML=Rn),gt=n(s),Gs.l(s),Ke=n(s),fe=c(s,"P",{"data-svelte-h":!0}),w(fe)!=="svelte-5tw7o6"&&(fe.textContent=Nn),kt=n(s),T(Ce.$$.fragment,s),Gt=n(s),Ze=c(s,"P",{"data-svelte-h":!0}),w(Ze)!=="svelte-1ypyn2c"&&(Ze.innerHTML=Xn),vt=n(s),T(ge.$$.fragment,s),Bt=n(s),T(ke.$$.fragment,s),xt=n(s),Ge=c(s,"P",{"data-svelte-h":!0}),w(Ge)!=="svelte-1o4z71f"&&(Ge.innerHTML=An),$t=n(s),Bs.l(s),Pe=n(s),D&&D.l(s),Oe=n(s),T(ve.$$.fragment,s),Wt=n(s),Be=c(s,"P",{"data-svelte-h":!0}),w(Be)!=="svelte-11fwu8z"&&(Be.innerHTML=zn),Vt=n(s),T(xe.$$.fragment,s),_t=n(s),$e=c(s,"P",{"data-svelte-h":!0}),w($e)!=="svelte-12p8wm6"&&($e.textContent=Yn),Rt=n(s),T(We.$$.fragment,s),Nt=n(s),Ve=c(s,"P",{"data-svelte-h":!0}),w(Ve)!=="svelte-1vzhzt4"&&(Ve.textContent=Qn),Xt=n(s),T(_e.$$.fragment,s),At=n(s),T(Re.$$.fragment,s),zt=n(s),Ne=c(s,"P",{"data-svelte-h":!0}),w(Ne)!=="svelte-17yppx6"&&(Ne.textContent=Sn),Yt=n(s),T(Xe.$$.fragment,s),Qt=n(s),T(Ae.$$.fragment,s),St=n(s),ze=c(s,"P",{"data-svelte-h":!0}),w(ze)!=="svelte-2tmqnj"&&(ze.textContent=En),Et=n(s),Ye=c(s,"P",{"data-svelte-h":!0}),w(Ye)!=="svelte-gxwd20"&&(Ye.textContent=Fn),Ft=n(s),T(Qe.$$.fragment,s),Ht=n(s),Ma=c(s,"P",{}),pa(Ma).forEach(l),this.h()},h(){xs(p,"name","hf:doc:metadata"),xs(p,"content",YM),jM(X.src,Y="https://course-demos-mt5-small-finetuned-amazon-en-es.hf.space")||xs(X,"src",Y),xs(X,"frameborder","0"),xs(X,"height","400"),xs(X,"title","Gradio app"),xs(X,"class","block dark:hidden container p-0 flex-grow space-iframe"),xs(X,"allow","accelerometer; ambient-light-sensor; autoplay; battery; camera; document-domain; encrypted-media; fullscreen; geolocation; gyroscope; layout-animations; legacy-image-formats; magnetometer; microphone; midi; oversized-images; payment; picture-in-picture; publickey-credentials-get; sync-xhr; usb; vr ; wake-lock; xr-spatial-tracking"),xs(X,"sandbox","allow-forms allow-modals allow-popups allow-popups-to-escape-sandbox allow-same-origin allow-scripts allow-downloads"),xs(Cs,"class","flex justify-center"),xs(qs,"class","flex justify-center"),Qa.a=null,Ea.a=null},m(s,a){sn(document.head,p),e(s,u,a),e(s,m,a),e(s,f,a),o(G,s,a),e(s,Z,a),o(W,s,a),e(s,I,a),Se[g].m(s,a),e(s,v,a),e(s,z,a),e(s,N,a),o(V,s,a),e(s,x,a),e(s,C,a),e(s,L,a),e(s,X,a),e(s,K,a),e(s,A,a),e(s,E,a),o(Q,s,a),e(s,F,a),e(s,j,a),e(s,ys,a),o(d,s,a),e(s,$,a),o(P,s,a),e(s,Ns,a),e(s,O,a),e(s,Xs,a),o(ss,s,a),e(s,nl,a),o(cs,s,a),e(s,Js,a),o(fs,s,a),e(s,As,a),e(s,ls,a),e(s,Ts,a),o($s,s,a),e(s,zs,a),o(es,s,a),e(s,Ys,a),e(s,as,a),e(s,Qs,a),o(ts,s,a),e(s,pl,a),e(s,os,a),e(s,Ss,a),o(ns,s,a),e(s,Es,a),e(s,Ms,a),e(s,Fs,a),o(ps,s,a),e(s,Hs,a),o(ms,s,a),e(s,ml,a),e(s,Us,a),e(s,Ds,a),o(rs,s,a),e(s,rl,a),o(ws,s,a),e(s,js,a),e(s,_s,a),e(s,ds,a),e(s,Cs,a),e(s,hs,a),e(s,us,a),e(s,Ls,a),o(is,s,a),e(s,cl,a),e(s,bs,a),e(s,b,a),o(Jl,s,a),e(s,ma,a),e(s,Tl,a),e(s,ra,a),e(s,ol,a),e(s,ia,a),e(s,Ul,a),e(s,ya,a),e(s,wl,a),e(s,ca,a),e(s,qs,a),e(s,Ja,a),e(s,jl,a),e(s,Ta,a),o(Ks,s,a),e(s,oa,a),o(dl,s,a),e(s,Ua,a),o(hl,s,a),e(s,wa,a),e(s,ul,a),e(s,ja,a),o(bl,s,a),e(s,da,a),o(Ps,s,a),e(s,ha,a),e(s,Il,a),e(s,ua,a),o(fl,s,a),e(s,ba,a),o(Cl,s,a),e(s,Ia,a),e(s,Zl,a),e(s,fa,a),o(gl,s,a),e(s,Ca,a),o(kl,s,a),e(s,Za,a),e(s,Gl,a),e(s,ga,a),e(s,vl,a),e(s,ka,a),e(s,Bl,a),e(s,Ga,a),o(xl,s,a),e(s,va,a),e(s,$l,a),e(s,Ba,a),e(s,Wl,a),e(s,xa,a),o(Vl,s,a),e(s,$a,a),e(s,_l,a),e(s,Wa,a),o(Os,s,a),e(s,Va,a),o(Rl,s,a),e(s,_a,a),o(Nl,s,a),e(s,Ra,a),e(s,Xl,a),e(s,Na,a),e(s,Al,a),e(s,Xa,a),o(zl,s,a),e(s,Aa,a),e(s,Yl,a),e(s,za,a),o(sl,s,a),e(s,Ya,a),e(s,Ql,a),sn(Ql,Lt),Qa.m(oM,Ql),e(s,Sa,a),e(s,Sl,a),sn(Sl,qt),Ea.m(UM,Sl),e(s,Fa,a),e(s,El,a),e(s,Ha,a),o(Fl,s,a),e(s,Da,a),e(s,Hl,a),e(s,La,a),o(Dl,s,a),e(s,qa,a),e(s,Ll,a),e(s,Ka,a),o(ql,s,a),e(s,Pa,a),o(Kl,s,a),e(s,Oa,a),e(s,Pl,a),e(s,st,a),e(s,Ol,a),e(s,lt,a),o(se,s,a),e(s,et,a),o(le,s,a),e(s,at,a),e(s,ee,a),e(s,tt,a),o(ll,s,a),e(s,nt,a),e(s,ae,a),e(s,Mt,a),o(te,s,a),e(s,pt,a),e(s,ne,a),e(s,mt,a),o(Me,s,a),e(s,rt,a),e(s,pe,a),e(s,it,a),o(me,s,a),e(s,yt,a),e(s,re,a),e(s,ct,a),o(ie,s,a),e(s,Jt,a),o(ye,s,a),e(s,Tt,a),e(s,ce,a),e(s,ot,a),o(Je,s,a),e(s,Ut,a),e(s,Te,a),e(s,wt,a),o(oe,s,a),e(s,jt,a),o(Ue,s,a),e(s,dt,a),e(s,we,a),e(s,ht,a),Ee[Zs].m(s,a),e(s,Le,a),o(el,s,a),e(s,ut,a),e(s,je,a),e(s,bt,a),o(de,s,a),e(s,It,a),e(s,he,a),e(s,ft,a),o(ue,s,a),e(s,Ct,a),H&&H.m(s,a),e(s,qe,a),e(s,be,a),e(s,Zt,a),e(s,Ie,a),e(s,gt,a),Fe[ks].m(s,a),e(s,Ke,a),e(s,fe,a),e(s,kt,a),o(Ce,s,a),e(s,Gt,a),e(s,Ze,a),e(s,vt,a),o(ge,s,a),e(s,Bt,a),o(ke,s,a),e(s,xt,a),e(s,Ge,a),e(s,$t,a),He[vs].m(s,a),e(s,Pe,a),D&&D.m(s,a),e(s,Oe,a),o(ve,s,a),e(s,Wt,a),e(s,Be,a),e(s,Vt,a),o(xe,s,a),e(s,_t,a),e(s,$e,a),e(s,Rt,a),o(We,s,a),e(s,Nt,a),e(s,Ve,a),e(s,Xt,a),o(_e,s,a),e(s,At,a),o(Re,s,a),e(s,zt,a),e(s,Ne,a),e(s,Yt,a),o(Xe,s,a),e(s,Qt,a),o(Ae,s,a),e(s,St,a),e(s,ze,a),e(s,Et,a),e(s,Ye,a),e(s,Ft,a),o(Qe,s,a),e(s,Ht,a),e(s,Ma,a),Dt=!0},p(s,[a]){const sa={};a&1&&(sa.fw=s[0]),G.$set(sa);let De=g;g=Dn(s),g!==De&&(ea(),i(Se[De],1,1,()=>{Se[De]=null}),la(),R=Se[g],R||(R=Se[g]=Hn[g](s),R.c()),r(R,1),R.m(v.parentNode,v));const lM={};a&2&&(lM.$$scope={dirty:a,ctx:s}),fs.$set(lM);const eM={};a&2&&(eM.$$scope={dirty:a,ctx:s}),Ks.$set(eM);const aM={};a&2&&(aM.$$scope={dirty:a,ctx:s}),Ps.$set(aM);const tM={};a&2&&(tM.$$scope={dirty:a,ctx:s}),Os.$set(tM);const nM={};a&2&&(nM.$$scope={dirty:a,ctx:s}),sl.$set(nM);const MM={};a&2&&(MM.$$scope={dirty:a,ctx:s}),ll.$set(MM);let Kt=Zs;Zs=qn(s),Zs!==Kt&&(ea(),i(Ee[Kt],1,1,()=>{Ee[Kt]=null}),la(),gs=Ee[Zs],gs||(gs=Ee[Zs]=Ln[Zs](s),gs.c()),r(gs,1),gs.m(Le.parentNode,Le));const pM={};a&2&&(pM.$$scope={dirty:a,ctx:s}),el.$set(pM),s[0]==="pt"?H?a&1&&r(H,1):(H=cM(),H.c(),r(H,1),H.m(qe.parentNode,qe)):H&&(ea(),i(H,1,1,()=>{H=null}),la());let Pt=ks;ks=Pn(s),ks!==Pt&&(ea(),i(Fe[Pt],1,1,()=>{Fe[Pt]=null}),la(),Gs=Fe[ks],Gs||(Gs=Fe[ks]=Kn[ks](s),Gs.c()),r(Gs,1),Gs.m(Ke.parentNode,Ke));let Ot=vs;vs=sM(s),vs!==Ot&&(ea(),i(He[Ot],1,1,()=>{He[Ot]=null}),la(),Bs=He[vs],Bs||(Bs=He[vs]=On[vs](s),Bs.c()),r(Bs,1),Bs.m(Pe.parentNode,Pe)),s[0]==="pt"?D?a&1&&r(D,1):(D=JM(s),D.c(),r(D,1),D.m(Oe.parentNode,Oe)):D&&(ea(),i(D,1,1,()=>{D=null}),la())},i(s){Dt||(r(G.$$.fragment,s),r(W.$$.fragment,s),r(R),r(V.$$.fragment,s),r(Q.$$.fragment,s),r(d.$$.fragment,s),r(P.$$.fragment,s),r(ss.$$.fragment,s),r(cs.$$.fragment,s),r(fs.$$.fragment,s),r($s.$$.fragment,s),r(es.$$.fragment,s),r(ts.$$.fragment,s),r(ns.$$.fragment,s),r(ps.$$.fragment,s),r(ms.$$.fragment,s),r(rs.$$.fragment,s),r(ws.$$.fragment,s),r(is.$$.fragment,s),r(Jl.$$.fragment,s),r(Ks.$$.fragment,s),r(dl.$$.fragment,s),r(hl.$$.fragment,s),r(bl.$$.fragment,s),r(Ps.$$.fragment,s),r(fl.$$.fragment,s),r(Cl.$$.fragment,s),r(gl.$$.fragment,s),r(kl.$$.fragment,s),r(xl.$$.fragment,s),r(Vl.$$.fragment,s),r(Os.$$.fragment,s),r(Rl.$$.fragment,s),r(Nl.$$.fragment,s),r(zl.$$.fragment,s),r(sl.$$.fragment,s),r(Fl.$$.fragment,s),r(Dl.$$.fragment,s),r(ql.$$.fragment,s),r(Kl.$$.fragment,s),r(se.$$.fragment,s),r(le.$$.fragment,s),r(ll.$$.fragment,s),r(te.$$.fragment,s),r(Me.$$.fragment,s),r(me.$$.fragment,s),r(ie.$$.fragment,s),r(ye.$$.fragment,s),r(Je.$$.fragment,s),r(oe.$$.fragment,s),r(Ue.$$.fragment,s),r(gs),r(el.$$.fragment,s),r(de.$$.fragment,s),r(ue.$$.fragment,s),r(H),r(Gs),r(Ce.$$.fragment,s),r(ge.$$.fragment,s),r(ke.$$.fragment,s),r(Bs),r(D),r(ve.$$.fragment,s),r(xe.$$.fragment,s),r(We.$$.fragment,s),r(_e.$$.fragment,s),r(Re.$$.fragment,s),r(Xe.$$.fragment,s),r(Ae.$$.fragment,s),r(Qe.$$.fragment,s),Dt=!0)},o(s){i(G.$$.fragment,s),i(W.$$.fragment,s),i(R),i(V.$$.fragment,s),i(Q.$$.fragment,s),i(d.$$.fragment,s),i(P.$$.fragment,s),i(ss.$$.fragment,s),i(cs.$$.fragment,s),i(fs.$$.fragment,s),i($s.$$.fragment,s),i(es.$$.fragment,s),i(ts.$$.fragment,s),i(ns.$$.fragment,s),i(ps.$$.fragment,s),i(ms.$$.fragment,s),i(rs.$$.fragment,s),i(ws.$$.fragment,s),i(is.$$.fragment,s),i(Jl.$$.fragment,s),i(Ks.$$.fragment,s),i(dl.$$.fragment,s),i(hl.$$.fragment,s),i(bl.$$.fragment,s),i(Ps.$$.fragment,s),i(fl.$$.fragment,s),i(Cl.$$.fragment,s),i(gl.$$.fragment,s),i(kl.$$.fragment,s),i(xl.$$.fragment,s),i(Vl.$$.fragment,s),i(Os.$$.fragment,s),i(Rl.$$.fragment,s),i(Nl.$$.fragment,s),i(zl.$$.fragment,s),i(sl.$$.fragment,s),i(Fl.$$.fragment,s),i(Dl.$$.fragment,s),i(ql.$$.fragment,s),i(Kl.$$.fragment,s),i(se.$$.fragment,s),i(le.$$.fragment,s),i(ll.$$.fragment,s),i(te.$$.fragment,s),i(Me.$$.fragment,s),i(me.$$.fragment,s),i(ie.$$.fragment,s),i(ye.$$.fragment,s),i(Je.$$.fragment,s),i(oe.$$.fragment,s),i(Ue.$$.fragment,s),i(gs),i(el.$$.fragment,s),i(de.$$.fragment,s),i(ue.$$.fragment,s),i(H),i(Gs),i(Ce.$$.fragment,s),i(ge.$$.fragment,s),i(ke.$$.fragment,s),i(Bs),i(D),i(ve.$$.fragment,s),i(xe.$$.fragment,s),i(We.$$.fragment,s),i(_e.$$.fragment,s),i(Re.$$.fragment,s),i(Xe.$$.fragment,s),i(Ae.$$.fragment,s),i(Qe.$$.fragment,s),Dt=!1},d(s){s&&(l(u),l(m),l(f),l(Z),l(I),l(v),l(z),l(N),l(x),l(C),l(L),l(X),l(K),l(A),l(E),l(F),l(j),l(ys),l($),l(Ns),l(O),l(Xs),l(nl),l(Js),l(As),l(ls),l(Ts),l(zs),l(Ys),l(as),l(Qs),l(pl),l(os),l(Ss),l(Es),l(Ms),l(Fs),l(Hs),l(ml),l(Us),l(Ds),l(rl),l(js),l(_s),l(ds),l(Cs),l(hs),l(us),l(Ls),l(cl),l(bs),l(b),l(ma),l(Tl),l(ra),l(ol),l(ia),l(Ul),l(ya),l(wl),l(ca),l(qs),l(Ja),l(jl),l(Ta),l(oa),l(Ua),l(wa),l(ul),l(ja),l(da),l(ha),l(Il),l(ua),l(ba),l(Ia),l(Zl),l(fa),l(Ca),l(Za),l(Gl),l(ga),l(vl),l(ka),l(Bl),l(Ga),l(va),l($l),l(Ba),l(Wl),l(xa),l($a),l(_l),l(Wa),l(Va),l(_a),l(Ra),l(Xl),l(Na),l(Al),l(Xa),l(Aa),l(Yl),l(za),l(Ya),l(Ql),l(Sa),l(Sl),l(Fa),l(El),l(Ha),l(Da),l(Hl),l(La),l(qa),l(Ll),l(Ka),l(Pa),l(Oa),l(Pl),l(st),l(Ol),l(lt),l(et),l(at),l(ee),l(tt),l(nt),l(ae),l(Mt),l(pt),l(ne),l(mt),l(rt),l(pe),l(it),l(yt),l(re),l(ct),l(Jt),l(Tt),l(ce),l(ot),l(Ut),l(Te),l(wt),l(jt),l(dt),l(we),l(ht),l(Le),l(ut),l(je),l(bt),l(It),l(he),l(ft),l(Ct),l(qe),l(be),l(Zt),l(Ie),l(gt),l(Ke),l(fe),l(kt),l(Gt),l(Ze),l(vt),l(Bt),l(xt),l(Ge),l($t),l(Pe),l(Oe),l(Wt),l(Be),l(Vt),l(_t),l($e),l(Rt),l(Nt),l(Ve),l(Xt),l(At),l(zt),l(Ne),l(Yt),l(Qt),l(St),l(ze),l(Et),l(Ye),l(Ft),l(Ht),l(Ma)),l(p),U(G,s),U(W,s),Se[g].d(s),U(V,s),U(Q,s),U(d,s),U(P,s),U(ss,s),U(cs,s),U(fs,s),U($s,s),U(es,s),U(ts,s),U(ns,s),U(ps,s),U(ms,s),U(rs,s),U(ws,s),U(is,s),U(Jl,s),U(Ks,s),U(dl,s),U(hl,s),U(bl,s),U(Ps,s),U(fl,s),U(Cl,s),U(gl,s),U(kl,s),U(xl,s),U(Vl,s),U(Os,s),U(Rl,s),U(Nl,s),U(zl,s),U(sl,s),U(Fl,s),U(Dl,s),U(ql,s),U(Kl,s),U(se,s),U(le,s),U(ll,s),U(te,s),U(Me,s),U(me,s),U(ie,s),U(ye,s),U(Je,s),U(oe,s),U(Ue,s),Ee[Zs].d(s),U(el,s),U(de,s),U(ue,s),H&&H.d(s),Fe[ks].d(s),U(Ce,s),U(ge,s),U(ke,s),He[vs].d(s),D&&D.d(s),U(ve,s),U(xe,s),U(We,s),U(_e,s),U(Re,s),U(Xe,s),U(Ae,s),U(Qe,s)}}}const YM='{"title":"要約","local":"要約","sections":[{"title":"多言語コーパスの準備","local":"多言語コーパスの準備","sections":[],"depth":2},{"title":"文章要約用モデル","local":"文章要約用モデル","sections":[],"depth":2},{"title":"データの前処理","local":"データの前処理","sections":[],"depth":2},{"title":"文章要約のための指標","local":"文章要約のための指標","sections":[{"title":"強力なベースラインの作成","local":"強力なベースラインの作成","sections":[],"depth":3}],"depth":2},{"title":"Trainer API を使って mT5 を微調整する","local":"trainer-api-を使って-mt5-を微調整する","sections":[],"depth":2},{"title":"KerasでmT5を微調整する","local":"kerasでmt5を微調整する","sections":[],"depth":2},{"title":"mT5モデルを 🤗 Accelerate を使って微調整する","local":"mt5モデルを--accelerate-を使って微調整する","sections":[{"title":"トレーニングのための準備","local":"トレーニングのための準備","sections":[],"depth":3},{"title":"学習ループ","local":"学習ループ","sections":[],"depth":3}],"depth":2},{"title":"あなたの微調整したモデルを使用する","local":"あなたの微調整したモデルを使用する","sections":[],"depth":2}],"depth":1}';function QM(k,p,u){let m="pt";return dM(()=>{const f=new URLSearchParams(window.location.search);u(0,m=f.get("fw")||"pt")}),[m]}class PM extends hM{constructor(p){super(),uM(this,p,QM,zM,wM,{})}}export{PM as component};
