import{s as Ee,o as Ae,n as _}from"../chunks/scheduler.c38028ba.js";import{S as Pe,i as Se,g as c,s as e,r as h,A as De,h as m,f as n,c as p,j as Le,u as j,x as u,k as U,y as Ke,a as l,v as b,d as i,t as o,w as f}from"../chunks/index.6df1961f.js";import{T as L}from"../chunks/Tip.4d66f917.js";import{Y as Oe}from"../chunks/Youtube.a0249259.js";import{C as M}from"../chunks/CodeBlock.85c468cd.js";import{D as sp}from"../chunks/DocNotebookDropdown.8ec3d944.js";import{F as ap,M as Qe}from"../chunks/Markdown.5e7b4bfd.js";import{H as I,E as np}from"../chunks/EditOnGithub.fa45e999.js";function lp($){let t,d="<code>AutoProcessor</code> <strong>يعمل دائمًا</strong> ويختار تلقائيًا الفئة الصحيحة للنموذج الذي تستخدمه، سواء كنت تستخدم مُجزّئ رموز أو معالج صور أو مستخرج ميزات أو معالجًا.";return{c(){t=c("p"),t.innerHTML=d},l(r){t=m(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-iogdmt"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:_,d(r){r&&n(t)}}}function ep($){let t,d="إذا كنت تخطط لاستخدام نموذج مُدرب مسبقًا، فمن المهم استخدامالمجزئ اللغوي المقترن بنفس ذلك النموذج. يضمن ذلك تقسيم النص بنفس الطريقة التي تم بها تقسيم النصوص ما قبل التدريب، واستخدام نفس  القاموس الذي يربط بين الأجزاء اللغوية وأرقامها ( يُشار إليها عادةً باسم المفردات <em>vocab</em>) أثناء التدريب المسبق.";return{c(){t=c("p"),t.innerHTML=d},l(r){t=m(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-1knvoau"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:_,d(r){r&&n(t)}}}function pp($){let t,d='تحقق من دليل المفاهيم <a href="./pad_truncation">Padding and truncation</a> لمعرفة المزيد حول معامﻻت الحشو و البتر المختلفة.';return{c(){t=c("p"),t.innerHTML=d},l(r){t=m(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-18kgv4p"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:_,d(r){r&&n(t)}}}function tp($){let t,d;return t=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSUyQyUyMHRydW5jYXRpb24lM0RUcnVlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklMEFwcmludChlbmNvZGVkX2lucHV0KQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>batch_sentences = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;But what about second breakfast?&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Don&#x27;t think he knows about second breakfast, Pip.&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;What about elevensies?&quot;</span>,
<span class="hljs-meta">... </span>]
<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(encoded_input)
{<span class="hljs-string">&#x27;input_ids&#x27;</span>: tensor([[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                      [<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
                      [<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: tensor([[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                           [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                           [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]]),
 <span class="hljs-string">&#x27;attention_mask&#x27;</span>: tensor([[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                           [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
                           [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]])}`,wrap:!1}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p:_,i(r){d||(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function rp($){let t,d;return t=new Qe({props:{$$slots:{default:[tp]},$$scope:{ctx:$}}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p(r,g){const T={};g&2&&(T.$$scope={dirty:g,ctx:r}),t.$set(T)},i(r){d||(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function cp($){let t,d;return t=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSUyQyUyMHRydW5jYXRpb24lM0RUcnVlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJ0ZiUyMiklMEFwcmludChlbmNvZGVkX2lucHV0KQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>batch_sentences = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;But what about second breakfast?&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Don&#x27;t think he knows about second breakfast, Pip.&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;What about elevensies?&quot;</span>,
<span class="hljs-meta">... </span>]
<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(encoded_input)
{<span class="hljs-string">&#x27;input_ids&#x27;</span>: &lt;tf.Tensor: shape=(<span class="hljs-number">2</span>, <span class="hljs-number">9</span>), dtype=int32, numpy=
array([[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
       [<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
       [<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
      dtype=int32)&gt;,
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: &lt;tf.Tensor: shape=(<span class="hljs-number">2</span>, <span class="hljs-number">9</span>), dtype=int32, numpy=
array([[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
       [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
       [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]], dtype=int32)&gt;,
 <span class="hljs-string">&#x27;attention_mask&#x27;</span>: &lt;tf.Tensor: shape=(<span class="hljs-number">2</span>, <span class="hljs-number">9</span>), dtype=int32, numpy=
array([[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
       [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
       [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]], dtype=int32)&gt;}`,wrap:!1}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p:_,i(r){d||(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function mp($){let t,d;return t=new Qe({props:{$$slots:{default:[cp]},$$scope:{ctx:$}}}),{c(){h(t.$$.fragment)},l(r){j(t.$$.fragment,r)},m(r,g){b(t,r,g),d=!0},p(r,g){const T={};g&2&&(T.$$scope={dirty:g,ctx:r}),t.$set(T)},i(r){d||(i(t.$$.fragment,r),d=!0)},o(r){o(t.$$.fragment,r),d=!1},d(r){f(t,r)}}}function up($){let t,d=`تدعم خطوط الأنابيب المختلفة معامل مُجزِّئ الرموز(tokenizer) بشكل مختلف في طريقة <code>()__call__</code> الخاصة بها.
و خطوط الأنابيب <code>text-2-text-generation</code> تدعم فقط <code>truncation</code>.
و خطوط الأنابيب <code>text-generation</code> تدعم <code>max_length</code> و<code>truncation</code> و<code>padding</code> و<code>add_special_tokens</code>.
أما في خطوط الأنابيب <code>fill-mask</code>، يمكن تمرير معامل مُجزِّئ الرموز (tokenizer) في المتغير <code>tokenizer_kwargs</code> (قاموس).`;return{c(){t=c("p"),t.innerHTML=d},l(r){t=m(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-1s9yhha"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:_,d(r){r&&n(t)}}}function hp($){let t,d="عادة ما تتبع معالجة الصور المسبقة شكلاً من أشكال زيادة البيانات (التضخيم). كلا العمليتين،  معالجة الصور المسبقة وزيادة الصور تغيران بيانات الصورة، ولكنها تخدم أغراضًا مختلفة:",r,g,T=`<em>زيادة البيانات: تغيير الصور عن طريق زيادة الصور بطريقة يمكن أن تساعد في منع الإفراط في التعميم وزيادة متانة النموذج. يمكنك أن تكون مبدعًا في كيفية زيادة بياناتك - ضبط السطوع والألوان، واالقص، والدوران، تغيير الحجم، التكبير، إلخ. ومع ذلك، كن حذرًا من عدم تغيير معنى الصور بزياداتك.
</em>معالجة الصور المسبقة: تضمن معالجة الصور اتتطابق الصور مع تنسيق الإدخال المتوقع للنموذج. عند ضبط نموذج رؤية حاسوبية بدقة، يجب معالجة الصور بالضبط كما كانت عند تدريب النموذج في البداية.`,y,w,Q="يمكنك استخدام أي مكتبة تريدها لزيادة بيانات الصور. لمعالجة الصور المسبقة، استخدم <code>ImageProcessor</code> المرتبط بالنموذج.";return{c(){t=c("p"),t.textContent=d,r=e(),g=c("p"),g.innerHTML=T,y=e(),w=c("p"),w.innerHTML=Q},l(J){t=m(J,"P",{"data-svelte-h":!0}),u(t)!=="svelte-z8u0rp"&&(t.textContent=d),r=p(J),g=m(J,"P",{"data-svelte-h":!0}),u(g)!=="svelte-fvdt34"&&(g.innerHTML=T),y=p(J),w=m(J,"P",{"data-svelte-h":!0}),u(w)!=="svelte-1bibnvb"&&(w.innerHTML=Q)},m(J,v){l(J,t,v),l(J,r,v),l(J,g,v),l(J,y,v),l(J,w,v)},p:_,d(J){J&&(n(t),n(r),n(g),n(y),n(w))}}}function jp($){let t,d="استخدم معامل <code>split</code> من 🤗 Datasets لتحميل عينة صغيرة فقط من مجموعة التدريب نظرًا لحجم البيانات كبيرة جدًا!";return{c(){t=c("p"),t.innerHTML=d},l(r){t=m(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-tvf0kk"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:_,d(r){r&&n(t)}}}function bp($){let t,d=`في المثال أعلاه، قمنا بتعيين <code>do_resize=False</code> لأننا قمنا بالفعل بتغيير حجم الصور في تحويل زيادة الصور،
واستفدنا من خاصية <code>size</code> من <code>image_processor</code> المناسب. إذا لم تقم بتغيير حجم الصور أثناء زيادة الصور،
فاترك هذا المعلمة. بشكل افتراضي، ستتعامل <code>ImageProcessor</code> مع تغيير الحجم.`,r,g,T=`إذا كنت ترغب في تطبيع الصور كجزء من تحويل زيادة الصور، فاستخدم قيم <code>image_processor.image_mean</code>،
و <code>image_processor.image_std</code>.`;return{c(){t=c("p"),t.innerHTML=d,r=e(),g=c("p"),g.innerHTML=T},l(y){t=m(y,"P",{"data-svelte-h":!0}),u(t)!=="svelte-qc7gll"&&(t.innerHTML=d),r=p(y),g=m(y,"P",{"data-svelte-h":!0}),u(g)!=="svelte-1qp8n8c"&&(g.innerHTML=T)},m(y,w){l(y,t,w),l(y,r,w),l(y,g,w)},p:_,d(y){y&&(n(t),n(r),n(g))}}}function ip($){let t,d=`بالنسبة للمهام مثل الكشف عن الأشياء، والتجزئة الدلالية، والتجزئة المثالية، والتجزئة الشاملة، يوفر <code>ImageProcessor</code>
تقوم هذه الطرق بتحويل النواتج الأولية للنموذج إلى تنبؤات ذات معنى مثل مربعات الحدود،
أو خرائط التجزئة.`;return{c(){t=c("p"),t.innerHTML=d},l(r){t=m(r,"P",{"data-svelte-h":!0}),u(t)!=="svelte-z7ll8g"&&(t.innerHTML=d)},m(r,g){l(r,t,g)},p:_,d(r){r&&n(t)}}}function op($){let t,d,r,g,T,y,w,Q,J,v="قبل تدريب نموذج على مجموعة بيانات، يجب معالجتها مسبقًا وفقًا تنسيق  المتوقع لمدخلات النموذج. سواء كانت بياناتك نصية أو صورًا أو صوتًا، فيجب تحويلها وتجميعها في دفعات من الموترات. يوفر 🤗 Transformers مجموعة من فئات المعالجة المسبقة للمساعدة في إعداد بياناتك للنموذج. في هذا البرنامج التعليمي، ستتعلم أنه بالنسبة لـ:",Za,E,Bl='<li>للنص، استخدم <a href="./main_classes/tokenizer">مُجزّئ الرموز</a> لتحويل النص إلى تسلسل من الرموز، وإنشاء تمثيل رقمي للرموز، وتجميعها في موترات(tensors).</li> <li>للكلام والصوت، استخدم <a href="./main_classes/feature_extractor">مستخرج الميزات</a> لاستخراج ميزات متسلسلة من أشكال موجات الصوت وتحويلها إلى موترات.</li> <li>تستخدم مدخلات الصورة <a href="./main_classes/image_processor">ImageProcessor</a> لتحويل الصور إلى موترات.</li> <li>تستخدم مدخلات متعددة الوسائط <a href="./main_classes/processors">معالجًا</a> لدمج مُجزّئ الرموز ومستخرج الميزات أو معالج الصور.</li>',Ga,C,Va,A,Wl="قبل البدء، قم بتثبيت 🤗 Datasets حتى تتمكن من تحميل بعض مجموعات البيانات لتجربتها:",Ba,P,Wa,S,Ha,D,Ra,K,Hl='أداة المعالجة المسبقة الرئيسية للبيانات النصية هي <a href="main_classes/tokenizer">مُجزّئ اللغوي</a>. يقوم مُجزّئ اللغوي بتقسيم النص إلى  “أجزاء لغوية” (tokens) وفقًا لمجموعة من القواعد. يتم تحويل الأجزاء اللغوية إلى أرقام ثم إلى منسوجات، والتي تصبح مدخلات للنموذج. يقوم المجزئ اللغوي بإضافة أي مدخلات إضافية يحتاجها النموذج.',Xa,x,Na,O,Rl="ابدأ بتحميل  المُجزّئ اللغوي مُدرب مسبقًا باستخدام طريقة <code>AutoTokenizer.from_pretrained()</code>. يقوم هذا بتنزيل المفردات <em>vocab</em> الذي تم تدريب النموذج عليه:",Ya,ss,qa,as,Xl="ثم مرر نصك إلى المُجزّئ اللغوي:",za,ns,Fa,ls,Nl="يعيد المُجزّئ اللغوي قاموسًا يحتوي على ثلاثة عناصر مهمة:",La,es,Yl='<li><a href="glossary#input-ids">input_ids</a> هي الفهارس المقابلة لكل رمز في الجملة.</li> <li><a href="glossary#attention-mask">attention_mask</a> يشير إلى ما إذا كان يجب الانتباه بالرمز أم لا.</li> <li><a href="glossary#token-type-ids">token_type_ids</a> يحدد التسلسل الذي ينتمي إليه الرمز عندما يكون هناك أكثر من تسلسل واحد.</li>',Qa,ps,ql="أعد إدخالك الأصلي عن طريق فك ترميز <code>input_ids</code>:",Ea,ts,Aa,rs,zl=`كما ترى، أضاف المُجزّئ اللغوي رمزين خاصين - <code>CLS</code> و<code>SEP</code> (مصنف وفاصل) - إلى الجملة. لا تحتاج جميع النماذج إلى
رموز خاصة، ولكن إذا فعلوا ذلك، فإن المُجزّئ اللغوي يضيفها تلقائيًا لك.`,Pa,cs,Fl="إذا كان هناك عدة جمل تريد معالجتها مسبقًا، فقم بتمريرها كقائمة إلى مُجزّئ اللغوي:",Sa,ms,Da,us,Ka,hs,Ll="لا تكون الجمل دائمًا بنفس الطول،  وهذا يمكن أن يمثل مشكلة لأن الموترات،وهي مدخلات النموذج، تحتاج إلى شكل موحد. الحشو هو استراتيجية لضمان أن تكون الموترات مستطيلة عن طريق إضافة رمز حشو <em>padding</em> خاص إلى الجمل الأقصر.",Oa,js,Ql="قم بتعيين معلمة الحشو <code>padding</code> إلى <code>True</code> لحشو التسلسلات الأقصر في الدفعة لتطابق أطول تسلسل:",sn,bs,an,is,El="تم الآن حشو الجملتين الأولى والثالثة بـ <code>0</code> لأنهما أقصر.",nn,os,ln,fs,Al="وعلى صعيد أخر، قد يكون التسلسل طويلًا جدًا بالنسبة للنموذج للتعامل معه. في هذه الحالة، ستحتاج إلى بتر التسلسل إلى طول أقصر.",en,ds,Pl="قم بتعيين معلمة <code>truncation</code> إلى <code>True</code> لتقليم تسلسل إلى الطول الأقصى الذي يقبله النموذج:",pn,gs,tn,k,rn,Ms,cn,$s,Sl="أخيرًا، تريد أن يقوم  المجزئ اللغوي بإرجاع موترات (tensors) الفعلية التي ستُغذي النموذج.",mn,Js,Dl="قم بتعيين معلمة <code>return_tensors</code> إلى إما <code>pt</code> لـ PyTorch، أو <code>tf</code> لـ TensorFlow:",un,Z,hn,G,jn,Ts,bn,ys,Kl='بالنسبة للمهام الصوتية، ستحتاج إلى <a href="main_classes/feature_extractor">مستخرج الميزات</a> لإعداد مجموعة البيانات الخاصة بك للنماذج. تم تصميم مستخرج الميزات لاستخراج الميزات من بيانات الصوت الخام، وتحويلها إلى موتورات.',on,ws,Ol='قم بتحميل مجموعة بيانات <a href="https://huggingface.co/datasets/PolyAI/minds14" rel="nofollow">MInDS-14</a> (راجع البرنامج التعليمي لـ 🤗 <a href="https://huggingface.co/docs/datasets/load_hub" rel="nofollow">Datasets</a> لمزيد من التفاصيل حول كيفية تحميل مجموعة بيانات) لمعرفة كيفية استخدام مستخرج الميزات مع مجموعات البيانات الصوتية:',fn,_s,dn,Us,se="الوصول إلى العنصر الأول من عمود <code>audio</code> لمعرفة المدخلات. يؤدي استدعاء عمود <code>audio</code> إلى تحميل ملف الصوت وإعادة أخذ العينات تلقائيًا:",gn,Is,Mn,vs,ae="يعيد هذا ثلاثة عناصر:",$n,Cs,ne="<li><code>array</code> هو إشارة الكلام المحملة - وإعادة أخذ العينات المحتملة - كصفيف 1D.</li> <li><code>path</code> يشير إلى موقع ملف الصوت.</li> <li><code>sampling_rate</code> يشير إلى عدد نقاط البيانات في إشارة الكلام المقاسة في الثانية.</li>",Jn,xs,le='بالنسبة لهذا البرنامج التعليمي، ستستخدم نموذج <a href="https://huggingface.co/facebook/wav2vec2-base" rel="nofollow">Wav2Vec2</a>. الق نظرة على بطاقة النموذج، وستتعلم أن Wav2Vec2 مُدرب مسبقًا على صوت الكلام الذي تم أخذ عينات منه بمعدل 16 كيلو هرتز. من المهم أن يتطابق معدل أخذ العينات لبيانات الصوت مع معدل أخذ العينات لمجموعة البيانات المستخدمة لتدريب النموذج مسبقًا. إذا لم يكن معدل أخذ العينات لبياناتك هو نفسه، فيجب إعادة أخذ العينات من بياناتك.',Tn,ks,ee="<li>استخدم طريقة <code>cast_column</code> في 🤗 Datasets لإعادة أخذ العينات بمعدل أخذ العينات 16 كيلو هرتز:</li>",yn,Zs,wn,V,pe="<li>استدعاء عمود <code>audio</code> مرة أخرى لأخذ عينات من ملف الصوت:</li>",_n,Gs,Un,Vs,te="بعد ذلك، قم بتحميل مستخرج الميزات لتطبيع وحشو المدخلات. عند إضافة حشو للبيانات النصية، تتم إضافة “0” للتسلسلات الأقصر. تنطبق نفس الفكرة على بيانات الصوت. يضيف مستخرج الميزات “0” - الذي يتم تفسيره على أنه صمت - إلى “array”.",In,Bs,re="قم بتحميل مستخرج الميزات باستخدام <code>AutoFeatureExtractor.from_pretrained()</code>:",vn,Ws,Cn,Hs,ce="مرر صفيف الصوت إلى مستخرج الميزات. كما نوصي بإضافة معامل <code>sampling_rate</code> في مستخرج الميزات من أجل تصحيح الأخطاء الصامتة التي قد تحدث بشكل أفضل.",xn,Rs,kn,Xs,me="تمامًا مثل مُجزِّئ الرموز، يمكنك تطبيق الحشو أو البتر للتعامل مع التسلسلات المتغيرة في دفعة. الق نظرة على طول التسلسل لهاتين العينتين الصوتيتين:",Zn,Ns,Gn,Ys,ue="قم بإنشاء دالة لمعالجة مجموعة البيانات بحيث يكون للنماذج الصوتية نفس الأطوال. حدد أقصى طول للعينة ، وسيقوم مستخرج الميزات إما بإضافة حشو أو بتر التسلسلات لمطابقتها:",Vn,qs,Bn,zs,he="قم بتطبيق <code>preprocess_function</code> على أول بضع أمثلة في مجموعة البيانات:",Wn,Fs,Hn,Ls,je="أطوال العينات الآن متساوية وتطابق الطول الأقصى المحدد. يمكنك الآن تمرير مجموعة البيانات المعالجة إلى النموذج!",Rn,Qs,Xn,Es,Nn,As,be='بالنسبة لمهام رؤية الحاسوبية، ستحتاج إلى معالج صور <a href="main_classes/image_processor">image processor</a> لإعداد مجموعة البيانات الخاصة بك لتناسب النموذج. تتكون معالجة الصور المسبقة من عدة خطوات لتحويل الصور إلى الشكل الذي يتوقعه النموذج. وتشمل هذه الخطوات، على سبيل المثال لا الحصر، تغيير الحجم والتطبيع وتصحيح قناة الألوان وتحويل الصور إلى موترات(tensors).',Yn,B,qn,Ps,ie='قم بتحميل مجموعة بيانات <a href="https://huggingface.co/datasets/food101" rel="nofollow">food101</a> (راجع دليل 🤗 <a href="https://huggingface.co/docs/datasets/load_hub" rel="nofollow">Datasets tutorial</a> لمزيد من التفاصيل حول كيفية تحميل مجموعة بيانات) لمعرفة كيف يمكنك استخدام معالج الصور مع مجموعات بيانات رؤية الحاسب:',zn,W,Fn,Ss,Ln,Ds,oe='بعد ذلك، الق نظرة على الصورة مع ميزة 🤗 Datasets <a href="https://huggingface.co/docs/datasets/package_reference/main_classes?highlight=image#datasets.Image" rel="nofollow"><code>Image</code></a>:',Qn,Ks,En,H,fe='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/vision-preprocess-tutorial.png"/>',An,Os,de="قم بتحميل معالج الصور باستخدام <code>AutoImageProcessor.from_pretrained()</code>:",Pn,sa,Sn,aa,ge='أولاً، دعنا نضيف بعض الزيادات إلى الصور. يمكنك استخدام أي مكتبة تفضلها، ولكن في هذا الدليل، سنستخدم وحدة <a href="https://pytorch.org/vision/stable/transforms.html" rel="nofollow"><code>transforms</code></a> من torchvision. إذا كنت مهتمًا باستخدام مكتبة زيادة بيانات أخرى، فتعرف على كيفية القيام بذلك في <a href="https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/image_classification_albumentations.ipynb" rel="nofollow">دفاتر Albumentations</a> أو <a href="https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/image_classification_kornia.ipynb" rel="nofollow">دفاتر Kornia</a>.',Dn,na,Me=`<li>هنا نستخدم <a href="https://pytorch.org/vision/master/generated/torchvision.transforms.Compose.html" rel="nofollow"><code>Compose</code></a> لربط بعض التحولات معًا - <a href="https://pytorch.org/vision/main/generated/torchvision.transforms.RandomResizedCrop.html" rel="nofollow"><code>RandomResizedCrop</code></a> و <a href="https://pytorch.org/vision/main/generated/torchvision.transforms.ColorJitter.html" rel="nofollow"><code>ColorJitter</code></a>.
لاحظ بالنسبة لتغيير الحجم، يمكننا الحصول على متطلبات حجم الصورة من <code>image_processor</code>. بالنسبة لبعض النماذج، يُتوقع ارتفاع وعرض دقيقين، بينما بالنسبة للنماذج الأخرى، يتم تحديد  الحافة الأقصر<code>shortest_edge</code> فقط.</li>`,Kn,la,On,R,$e=`<li>يقبل النموذج <a href="model_doc/vision-encoder-decoder#transformers.VisionEncoderDecoderModel.forward.pixel_values"><code>pixel_values</code></a>
كإدخال له. يمكن لـ <code>ImageProcessor</code> التعامل مع تطبيع الصور، وتوليد موترات(tensors) مناسبة.
قم بإنشاء دالة تجمع بين تضخيم بيانات الصور ومعالجة الصور المسبقة لمجموعة من الصور وتوليد <code>pixel_values</code>:</li>`,sl,ea,al,X,nl,N,Je="<li>ثم استخدم 🤗 Datasets<code>set_transform</code> لتطبيق التحولات أثناء التنقل:</li>",ll,pa,el,Y,Te="<li>الآن عند الوصول إلى الصورة، ستلاحظ أن معالج الصور قد أضاف <code>pixel_values</code>. يمكنك تمرير مجموعة البيانات المعالجة إلى النموذج الآن!</li>",pl,ta,tl,ra,ye="هكذا تبدو الصورة بعد تطبيق التحولات. تم اقتصاص الصورة بشكل عشوائي وتختلف خصائص الألوان بها.",rl,ca,cl,q,we='<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/preprocessed_image.png"/>',ml,z,ul,ma,hl,ua,_e=`في بعض الحالات، على سبيل المثال، عند ضبط نموذج <a href="./model_doc/detr">DETR</a> بدقة، يقوم النموذج بتطبيق زيادة المقياس أثناء التدريب. قد يتسبب ذلك في اختلاف أحجام الصور في دفعة واحدة. يمكنك استخدام <code>DetrImageProcessor.pad()</code>
من <code>DetrImageProcessor</code> وتحديد دالة <code>collate_fn</code> مخصصة لتجميع الصور معًا.`,jl,ha,bl,ja,il,ba,Ue='بالنسبة للمهام التي تتطلب مدخلات متعددة الوسائط، ستحتاج إلى معالج <a href="main_classes/processors">processor</a> لإعداد مجموعة البيانات الخاصة بك لتناسب النموذج. يقترن المعالج بين  بمعالجين آخرين مثل محول النص إلى رمز ومستخرج الميزات.',ol,ia,Ie='قم بتحميل مجموعة بيانات <a href="https://huggingface.co/datasets/lj_speech" rel="nofollow">LJ Speech</a> (راجع دليل 🤗 <a href="https://huggingface.co/docs/datasets/load_hub" rel="nofollow">Datasets tutorial</a> لمزيد من التفاصيل حول كيفية تحميل مجموعة بيانات) لمعرفة كيف يمكنك استخدام معالج للتعرف التلقائي على الكلام (ASR):',fl,oa,dl,fa,ve="بالنسبة لـ ASR، فأنت تركز بشكل أساسي على <code>audio</code> و <code>text</code> لذا يمكنك إزالة الأعمدة الأخرى:",gl,da,Ml,ga,Ce="الآن الق نظرة على أعمدة <code>audio</code> و <code>text</code>:",$l,Ma,Jl,$a,xe="الآن الق نظرة على أعمدة <code>audio</code> و <code>text</code>:",Tl,Ja,yl,Ta,ke='تذكر أنه يجب عليك دائمًا <a href="preprocessing#audio">إعادة أخذ العينات</a> لمعدل أخذ العينات في مجموعة البيانات الصوتية الخاصة بك لمطابقة معدل أخذ العينات في مجموعة البيانات المستخدمة لتدريب النموذج مسبقًا!',wl,ya,_l,wa,Ze="قم بتحميل معالج باستخدام <code>AutoProcessor.from_pretrained()</code>:",Ul,_a,Il,Ua,Ge="<li>قم بإنشاء دالة لمعالجة بيانات الصوت الموجودة في <code>array</code> إلى <code>input_values</code>، ورموز <code>text</code> إلى <code>labels</code>. هذه هي المدخلات للنموذج:</li>",vl,Ia,Cl,F,Ve="<li>قم بتطبيق دالة <code>prepare_dataset</code> على عينة:</li>",xl,va,kl,Ca,Be="لقد أضاف المعالج الآن <code>input_values</code> و <code>labels</code>، وتم أيضًا إعادة أخذ العينات لمعدل أخذ العينات بشكل صحيح إلى 16 كيلو هرتز. يمكنك تمرير مجموعة البيانات المعالجة إلى النموذج الآن!",Zl,xa,Gl,ka,Vl;return T=new I({props:{title:"المعالجة المسبقة Preprocessing",local:"المعالجة-المسبقة-preprocessing",headingTag:"h1"}}),w=new sp({props:{classNames:"absolute z-10 right-0 top-0",options:[{label:"Mixed",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ar/preprocessing.ipynb"},{label:"PyTorch",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ar/pytorch/preprocessing.ipynb"},{label:"TensorFlow",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/ar/tensorflow/preprocessing.ipynb"},{label:"Mixed",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ar/preprocessing.ipynb"},{label:"PyTorch",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ar/pytorch/preprocessing.ipynb"},{label:"TensorFlow",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/main/transformers_doc/ar/tensorflow/preprocessing.ipynb"}]}}),C=new L({props:{$$slots:{default:[lp]},$$scope:{ctx:$}}}),P=new M({props:{code:"cGlwJTIwaW5zdGFsbCUyMGRhdGFzZXRz",highlighted:"pip install datasets",wrap:!1}}),S=new I({props:{title:"معالجة اللغة الطبيعية (Natural Language Processing (NLP",local:"معالجة-اللغة-الطبيعية-natural-language-processing-nlp",headingTag:"h2"}}),D=new Oe({props:{id:"Yffk5aydLzg"}}),x=new L({props:{$$slots:{default:[ep]},$$scope:{ctx:$}}}),ss=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJnb29nbGUtYmVydCUyRmJlcnQtYmFzZS1jYXNlZCUyMik=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">&quot;google-bert/bert-base-cased&quot;</span>)`,wrap:!1}}),ns=new M({props:{code:"ZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplciglMjJEbyUyMG5vdCUyMG1lZGRsZSUyMGluJTIwdGhlJTIwYWZmYWlycyUyMG9mJTIwd2l6YXJkcyUyQyUyMGZvciUyMHRoZXklMjBhcmUlMjBzdWJ0bGUlMjBhbmQlMjBxdWljayUyMHRvJTIwYW5nZXIuJTIyKSUwQXByaW50KGVuY29kZWRfaW5wdXQp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_input = tokenizer(<span class="hljs-string">&quot;Do not meddle in the affairs of wizards, for they are subtle and quick to anger.&quot;</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(encoded_input)
{<span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">2079</span>, <span class="hljs-number">2025</span>, <span class="hljs-number">19960</span>, <span class="hljs-number">10362</span>, <span class="hljs-number">1999</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">3821</span>, <span class="hljs-number">1997</span>, <span class="hljs-number">16657</span>, <span class="hljs-number">1010</span>, <span class="hljs-number">2005</span>, <span class="hljs-number">2027</span>, <span class="hljs-number">2024</span>, <span class="hljs-number">11259</span>, <span class="hljs-number">1998</span>, <span class="hljs-number">4248</span>, <span class="hljs-number">2000</span>, <span class="hljs-number">4963</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>],
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
 <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]}`,wrap:!1}}),ts=new M({props:{code:"dG9rZW5pemVyLmRlY29kZShlbmNvZGVkX2lucHV0JTVCJTIyaW5wdXRfaWRzJTIyJTVEKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>tokenizer.decode(encoded_input[<span class="hljs-string">&quot;input_ids&quot;</span>])
<span class="hljs-string">&#x27;[CLS] Do not meddle in the affairs of wizards, for they are subtle and quick to anger. [SEP]&#x27;</span>`,wrap:!1}}),ms=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dHMlMjAlM0QlMjB0b2tlbml6ZXIoYmF0Y2hfc2VudGVuY2VzKSUwQXByaW50KGVuY29kZWRfaW5wdXRzKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>batch_sentences = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;But what about second breakfast?&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Don&#x27;t think he knows about second breakfast, Pip.&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;What about elevensies?&quot;</span>,
<span class="hljs-meta">... </span>]
<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_inputs = tokenizer(batch_sentences)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(encoded_inputs)
{<span class="hljs-string">&#x27;input_ids&#x27;</span>: [[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>],
               [<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
               [<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>]],
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                    [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                    [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
 <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
                    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
                    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]]}`,wrap:!1}}),us=new I({props:{title:"الحشو Padding",local:"الحشو-padding",headingTag:"h3"}}),bs=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSklMEFwcmludChlbmNvZGVkX2lucHV0KQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>batch_sentences = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;But what about second breakfast?&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Don&#x27;t think he knows about second breakfast, Pip.&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;What about elevensies?&quot;</span>,
<span class="hljs-meta">... </span>]
<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(encoded_input)
{<span class="hljs-string">&#x27;input_ids&#x27;</span>: [[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
               [<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
               [<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                    [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                    [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
 <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
                    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>]]}`,wrap:!1}}),os=new I({props:{title:"البتر Truncation",local:"البتر-truncation",headingTag:"h3"}}),gs=new M({props:{code:"YmF0Y2hfc2VudGVuY2VzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTIyQnV0JTIwd2hhdCUyMGFib3V0JTIwc2Vjb25kJTIwYnJlYWtmYXN0JTNGJTIyJTJDJTBBJTIwJTIwJTIwJTIwJTIyRG9uJ3QlMjB0aGluayUyMGhlJTIwa25vd3MlMjBhYm91dCUyMHNlY29uZCUyMGJyZWFrZmFzdCUyQyUyMFBpcC4lMjIlMkMlMEElMjAlMjAlMjAlMjAlMjJXaGF0JTIwYWJvdXQlMjBlbGV2ZW5zaWVzJTNGJTIyJTJDJTBBJTVEJTBBZW5jb2RlZF9pbnB1dCUyMCUzRCUyMHRva2VuaXplcihiYXRjaF9zZW50ZW5jZXMlMkMlMjBwYWRkaW5nJTNEVHJ1ZSUyQyUyMHRydW5jYXRpb24lM0RUcnVlKSUwQXByaW50KGVuY29kZWRfaW5wdXQp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>batch_sentences = [
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;But what about second breakfast?&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;Don&#x27;t think he knows about second breakfast, Pip.&quot;</span>,
<span class="hljs-meta">... </span>    <span class="hljs-string">&quot;What about elevensies?&quot;</span>,
<span class="hljs-meta">... </span>]
<span class="hljs-meta">&gt;&gt;&gt; </span>encoded_input = tokenizer(batch_sentences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>)
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-built_in">print</span>(encoded_input)
{<span class="hljs-string">&#x27;input_ids&#x27;</span>: [[<span class="hljs-number">101</span>, <span class="hljs-number">1252</span>, <span class="hljs-number">1184</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
               [<span class="hljs-number">101</span>, <span class="hljs-number">1790</span>, <span class="hljs-number">112</span>, <span class="hljs-number">189</span>, <span class="hljs-number">1341</span>, <span class="hljs-number">1119</span>, <span class="hljs-number">3520</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">1248</span>, <span class="hljs-number">6462</span>, <span class="hljs-number">117</span>, <span class="hljs-number">21902</span>, <span class="hljs-number">1643</span>, <span class="hljs-number">119</span>, <span class="hljs-number">102</span>],
               [<span class="hljs-number">101</span>, <span class="hljs-number">1327</span>, <span class="hljs-number">1164</span>, <span class="hljs-number">5450</span>, <span class="hljs-number">23434</span>, <span class="hljs-number">136</span>, <span class="hljs-number">102</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>]],
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [[<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                    [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>],
                    [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>]]،
 <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [[<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>],
                    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>],
                    [<span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">1</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>، <span class="hljs-number">0</span>]]}`,wrap:!1}}),k=new L({props:{$$slots:{default:[pp]},$$scope:{ctx:$}}}),Ms=new I({props:{title:"بناء الموترات Build tensors",local:"بناء-الموترات-build-tensors",headingTag:"h3"}}),Z=new ap({props:{pytorch:!0,tensorflow:!0,jax:!1,$$slots:{tensorflow:[mp],pytorch:[rp]},$$scope:{ctx:$}}}),G=new L({props:{$$slots:{default:[up]},$$scope:{ctx:$}}}),Ts=new I({props:{title:"الصوت Audio",local:"الصوت-audio",headingTag:"h2"}}),_s=new M({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTJDJTIwQXVkaW8lMEElMEFkYXRhc2V0JTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMlBvbHlBSSUyRm1pbmRzMTQlMjIlMkMlMjBuYW1lJTNEJTIyZW4tVVMlMjIlMkMlMjBzcGxpdCUzRCUyMnRyYWluJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset, Audio

<span class="hljs-meta">&gt;&gt;&gt; </span>dataset = load_dataset(<span class="hljs-string">&quot;PolyAI/minds14&quot;</span>, name=<span class="hljs-string">&quot;en-US&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)`,wrap:!1}}),Is=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJhdWRpbyUyMiU1RA==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;audio&quot;</span>]
{<span class="hljs-string">&#x27;array&#x27;</span>: array([ <span class="hljs-number">0.</span>        ,  <span class="hljs-number">0.00024414</span>, -<span class="hljs-number">0.00024414</span>, ..., -<span class="hljs-number">0.00024414</span>,
         <span class="hljs-number">0.</span>        ,  <span class="hljs-number">0.</span>        ], dtype=float32),
 <span class="hljs-string">&#x27;path&#x27;</span>: <span class="hljs-string">&#x27;/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav&#x27;</span>,
 <span class="hljs-string">&#x27;sampling_rate&#x27;</span>: <span class="hljs-number">8000</span>}`,wrap:!1}}),Zs=new M({props:{code:"ZGF0YXNldCUyMCUzRCUyMGRhdGFzZXQuY2FzdF9jb2x1bW4oJTIyYXVkaW8lMjIlMkMlMjBBdWRpbyhzYW1wbGluZ19yYXRlJTNEMTZfMDAwKSk=",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>dataset = dataset.cast_column(<span class="hljs-string">&quot;audio&quot;</span>, Audio(sampling_rate=<span class="hljs-number">16_000</span>))',wrap:!1}}),Gs=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJhdWRpbyUyMiU1RA==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;audio&quot;</span>]
{<span class="hljs-string">&#x27;array&#x27;</span>: array([ <span class="hljs-number">2.3443763e-05</span>,  <span class="hljs-number">2.1729663e-04</span>,  <span class="hljs-number">2.2145823e-04</span>, ...,
         <span class="hljs-number">3.8356509e-05</span>, -<span class="hljs-number">7.3497440e-06</span>, -<span class="hljs-number">2.1754686e-05</span>], dtype=float32),
 <span class="hljs-string">&#x27;path&#x27;</span>: <span class="hljs-string">&#x27;/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav&#x27;</span>,
 <span class="hljs-string">&#x27;sampling_rate&#x27;</span>: <span class="hljs-number">16000</span>}`,wrap:!1}}),Ws=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9GZWF0dXJlRXh0cmFjdG9yJTBBJTBBZmVhdHVyZV9leHRyYWN0b3IlMjAlM0QlMjBBdXRvRmVhdHVyZUV4dHJhY3Rvci5mcm9tX3ByZXRyYWluZWQoJTIyZmFjZWJvb2slMkZ3YXYydmVjMi1iYXNlJTIyKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoFeatureExtractor

<span class="hljs-meta">&gt;&gt;&gt; </span>feature_extractor = AutoFeatureExtractor.from_pretrained(<span class="hljs-string">&quot;facebook/wav2vec2-base&quot;</span>)`,wrap:!1}}),Rs=new M({props:{code:"YXVkaW9faW5wdXQlMjAlM0QlMjAlNUJkYXRhc2V0JTVCMCU1RCU1QiUyMmF1ZGlvJTIyJTVEJTVCJTIyYXJyYXklMjIlNUQlNUQlMEFmZWF0dXJlX2V4dHJhY3RvcihhdWRpb19pbnB1dCUyQyUyMHNhbXBsaW5nX3JhdGUlM0QxNjAwMCk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>audio_input = [dataset[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;audio&quot;</span>][<span class="hljs-string">&quot;array&quot;</span>]]
<span class="hljs-meta">&gt;&gt;&gt; </span>feature_extractor(audio_input, sampling_rate=<span class="hljs-number">16000</span>)
{<span class="hljs-string">&#x27;input_values&#x27;</span>: [array([ <span class="hljs-number">3.8106556e-04</span>,  <span class="hljs-number">2.7506407e-03</span>,  <span class="hljs-number">2.8015103e-03</span>, ...,
        <span class="hljs-number">5.6335266e-04</span>,  <span class="hljs-number">4.6588284e-06</span>, -<span class="hljs-number">1.7142107e-04</span>], dtype=float32)]}`,wrap:!1}}),Ns=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJhdWRpbyUyMiU1RCU1QiUyMmFycmF5JTIyJTVELnNoYXBlJTBBJTBBZGF0YXNldCU1QjElNUQlNUIlMjJhdWRpbyUyMiU1RCU1QiUyMmFycmF5JTIyJTVELnNoYXBl",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;audio&quot;</span>][<span class="hljs-string">&quot;array&quot;</span>].shape
(<span class="hljs-number">173398</span>,)

<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-number">1</span>][<span class="hljs-string">&quot;audio&quot;</span>][<span class="hljs-string">&quot;array&quot;</span>].shape
(<span class="hljs-number">106496</span>,)`,wrap:!1}}),qs=new M({props:{code:"ZGVmJTIwcHJlcHJvY2Vzc19mdW5jdGlvbihleGFtcGxlcyklM0ElMEElMjAlMjAlMjAlMjBhdWRpb19hcnJheXMlMjAlM0QlMjAlNUJ4JTVCJTIyYXJyYXklMjIlNUQlMjBmb3IlMjB4JTIwaW4lMjBleGFtcGxlcyU1QiUyMmF1ZGlvJTIyJTVEJTVEJTBBJTIwJTIwJTIwJTIwaW5wdXRzJTIwJTNEJTIwZmVhdHVyZV9leHRyYWN0b3IoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYXVkaW9fYXJyYXlzJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwc2FtcGxpbmdfcmF0ZSUzRDE2MDAwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwcGFkZGluZyUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBtYXhfbGVuZ3RoJTNEMTAwMDAwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEElMjAlMjAlMjAlMjApJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwaW5wdXRz",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">preprocess_function</span>(<span class="hljs-params">examples</span>):
<span class="hljs-meta">... </span>    audio_arrays = [x[<span class="hljs-string">&quot;array&quot;</span>] <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> examples[<span class="hljs-string">&quot;audio&quot;</span>]]
<span class="hljs-meta">... </span>    inputs = feature_extractor(
<span class="hljs-meta">... </span>        audio_arrays,
<span class="hljs-meta">... </span>        sampling_rate=<span class="hljs-number">16000</span>,
<span class="hljs-meta">... </span>        padding=<span class="hljs-literal">True</span>,
<span class="hljs-meta">... </span>        max_length=<span class="hljs-number">100000</span>,
<span class="hljs-meta">... </span>        truncation=<span class="hljs-literal">True</span>,
<span class="hljs-meta">... </span>    )
<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> inputs`,wrap:!1}}),Fs=new M({props:{code:"cHJvY2Vzc2VkX2RhdGFzZXQlMjAlM0QlMjBwcmVwcm9jZXNzX2Z1bmN0aW9uKGRhdGFzZXQlNUIlM0E1JTVEKQ==",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>processed_dataset = preprocess_function(dataset[:<span class="hljs-number">5</span>])',wrap:!1}}),Qs=new M({props:{code:"cHJvY2Vzc2VkX2RhdGFzZXQlNUIlMjJpbnB1dF92YWx1ZXMlMjIlNUQlNUIwJTVELnNoYXBlJTBBJTBBcHJvY2Vzc2VkX2RhdGFzZXQlNUIlMjJpbnB1dF92YWx1ZXMlMjIlNUQlNUIxJTVELnNoYXBl",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>processed_dataset[<span class="hljs-string">&quot;input_values&quot;</span>][<span class="hljs-number">0</span>].shape
(<span class="hljs-number">100000</span>,)

<span class="hljs-meta">&gt;&gt;&gt; </span>processed_dataset[<span class="hljs-string">&quot;input_values&quot;</span>][<span class="hljs-number">1</span>].shape
(<span class="hljs-number">100000</span>,)`,wrap:!1}}),Es=new I({props:{title:"رؤية الكمبيوتر Computer vision",local:"رؤية-الكمبيوتر-computer-vision",headingTag:"h2"}}),B=new L({props:{$$slots:{default:[hp]},$$scope:{ctx:$}}}),W=new L({props:{$$slots:{default:[jp]},$$scope:{ctx:$}}}),Ss=new M({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBZGF0YXNldCUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJmb29kMTAxJTIyJTJDJTIwc3BsaXQlM0QlMjJ0cmFpbiU1QiUzQTEwMCU1RCUyMik=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

<span class="hljs-meta">&gt;&gt;&gt; </span>dataset = load_dataset(<span class="hljs-string">&quot;food101&quot;</span>, split=<span class="hljs-string">&quot;train[:100]&quot;</span>)`,wrap:!1}}),Ks=new M({props:{code:"ZGF0YXNldCU1QjAlNUQlNUIlMjJpbWFnZSUyMiU1RA==",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;image&quot;</span>]',wrap:!1}}),sa=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9JbWFnZVByb2Nlc3NvciUwQSUwQWltYWdlX3Byb2Nlc3NvciUyMCUzRCUyMEF1dG9JbWFnZVByb2Nlc3Nvci5mcm9tX3ByZXRyYWluZWQoJTIyZ29vZ2xlJTJGdml0LWJhc2UtcGF0Y2gxNi0yMjQlMjIp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoImageProcessor

<span class="hljs-meta">&gt;&gt;&gt; </span>image_processor = AutoImageProcessor.from_pretrained(<span class="hljs-string">&quot;google/vit-base-patch16-224&quot;</span>)`,wrap:!1}}),la=new M({props:{code:"ZnJvbSUyMHRvcmNodmlzaW9uLnRyYW5zZm9ybXMlMjBpbXBvcnQlMjBSYW5kb21SZXNpemVkQ3JvcCUyQyUyMENvbG9ySml0dGVyJTJDJTIwQ29tcG9zZSUwQSUwQXNpemUlMjAlM0QlMjAoJTBBJTIwJTIwJTIwJTIwaW1hZ2VfcHJvY2Vzc29yLnNpemUlNUIlMjJzaG9ydGVzdF9lZGdlJTIyJTVEJTBBJTIwJTIwJTIwJTIwaWYlMjAlMjJzaG9ydGVzdF9lZGdlJTIyJTIwaW4lMjBpbWFnZV9wcm9jZXNzb3Iuc2l6ZSUwQSUyMCUyMCUyMCUyMGVsc2UlMjAoaW1hZ2VfcHJvY2Vzc29yLnNpemUlNUIlMjJoZWlnaHQlMjIlNUQlMkMlMjBpbWFnZV9wcm9jZXNzb3Iuc2l6ZSU1QiUyMndpZHRoJTIyJTVEKSUwQSklMEElMEFfdHJhbnNmb3JtcyUyMCUzRCUyMENvbXBvc2UoJTVCUmFuZG9tUmVzaXplZENyb3Aoc2l6ZSklMkMlMjBDb2xvckppdHRlcihicmlnaHRuZXNzJTNEMC41JTJDJTIwaHVlJTNEMC41KSU1RCk=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> torchvision.transforms <span class="hljs-keyword">import</span> RandomResizedCrop, ColorJitter, Compose

<span class="hljs-meta">&gt;&gt;&gt; </span>size = (
<span class="hljs-meta">... </span>    image_processor.size[<span class="hljs-string">&quot;shortest_edge&quot;</span>]
<span class="hljs-meta">... </span>    <span class="hljs-keyword">if</span> <span class="hljs-string">&quot;shortest_edge&quot;</span> <span class="hljs-keyword">in</span> image_processor.size
<span class="hljs-meta">... </span>    <span class="hljs-keyword">else</span> (image_processor.size[<span class="hljs-string">&quot;height&quot;</span>], image_processor.size[<span class="hljs-string">&quot;width&quot;</span>])
<span class="hljs-meta">... </span>)

<span class="hljs-meta">&gt;&gt;&gt; </span>_transforms = Compose([RandomResizedCrop(size), ColorJitter(brightness=<span class="hljs-number">0.5</span>, hue=<span class="hljs-number">0.5</span>)])`,wrap:!1}}),ea=new M({props:{code:"ZGVmJTIwdHJhbnNmb3JtcyhleGFtcGxlcyklM0ElMEElMjAlMjAlMjAlMjBpbWFnZXMlMjAlM0QlMjAlNUJfdHJhbnNmb3JtcyhpbWcuY29udmVydCglMjJSR0IlMjIpKSUyMGZvciUyMGltZyUyMGluJTIwZXhhbXBsZXMlNUIlMjJpbWFnZSUyMiU1RCU1RCUwQSUyMCUyMCUyMCUyMGV4YW1wbGVzJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTIwJTNEJTIwaW1hZ2VfcHJvY2Vzc29yKGltYWdlcyUyQyUyMGRvX3Jlc2l6ZSUzREZhbHNlJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklNUIlMjJwaXhlbF92YWx1ZXMlMjIlNUQlMEElMjAlMjAlMjAlMjByZXR1cm4lMjBleGFtcGxlcw==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">transforms</span>(<span class="hljs-params">examples</span>):
<span class="hljs-meta">... </span>    images = [_transforms(img.convert(<span class="hljs-string">&quot;RGB&quot;</span>)) <span class="hljs-keyword">for</span> img <span class="hljs-keyword">in</span> examples[<span class="hljs-string">&quot;image&quot;</span>]]
<span class="hljs-meta">... </span>    examples[<span class="hljs-string">&quot;pixel_values&quot;</span>] = image_processor(images, do_resize=<span class="hljs-literal">False</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)[<span class="hljs-string">&quot;pixel_values&quot;</span>]
<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> examples`,wrap:!1}}),X=new L({props:{$$slots:{default:[bp]},$$scope:{ctx:$}}}),pa=new M({props:{code:"ZGF0YXNldC5zZXRfdHJhbnNmb3JtKHRyYW5zZm9ybXMp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>dataset.set_transform(transforms)',wrap:!1}}),ta=new M({props:{code:"ZGF0YXNldCU1QjAlNUQua2V5cygp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>dataset[<span class="hljs-number">0</span>].keys()',wrap:!1}}),ca=new M({props:{code:"aW1wb3J0JTIwbnVtcHklMjBhcyUyMG5wJTBBaW1wb3J0JTIwbWF0cGxvdGxpYi5weXBsb3QlMjBhcyUyMHBsdCUwQSUwQWltZyUyMCUzRCUyMGRhdGFzZXQlNUIwJTVEJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTBBcGx0Lmltc2hvdyhpbWcucGVybXV0ZSgxJTJDJTIwMiUyQyUyMDApKQ==",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np
<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">import</span> matplotlib.pyplot <span class="hljs-keyword">as</span> plt

<span class="hljs-meta">&gt;&gt;&gt; </span>img = dataset[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;pixel_values&quot;</span>]
<span class="hljs-meta">&gt;&gt;&gt; </span>plt.imshow(img.permute(<span class="hljs-number">1</span>, <span class="hljs-number">2</span>, <span class="hljs-number">0</span>))`,wrap:!1}}),z=new L({props:{$$slots:{default:[ip]},$$scope:{ctx:$}}}),ma=new I({props:{title:"الحشو Pad",local:"الحشو-pad",headingTag:"h3"}}),ha=new M({props:{code:"ZGVmJTIwY29sbGF0ZV9mbihiYXRjaCklM0ElMEElMjAlMjAlMjAlMjBwaXhlbF92YWx1ZXMlMjAlM0QlMjAlNUJpdGVtJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTIwZm9yJTIwaXRlbSUyMGluJTIwYmF0Y2glNUQlMEElMjAlMjAlMjAlMjBlbmNvZGluZyUyMCUzRCUyMGltYWdlX3Byb2Nlc3Nvci5wYWQocGl4ZWxfdmFsdWVzJTJDJTIwcmV0dXJuX3RlbnNvcnMlM0QlMjJwdCUyMiklMEElMjAlMjAlMjAlMjBsYWJlbHMlMjAlM0QlMjAlNUJpdGVtJTVCJTIybGFiZWxzJTIyJTVEJTIwZm9yJTIwaXRlbSUyMGluJTIwYmF0Y2glNUQlMEElMjAlMjAlMjAlMjBiYXRjaCUyMCUzRCUyMCU3QiU3RCUwQSUyMCUyMCUyMCUyMGJhdGNoJTVCJTIycGl4ZWxfdmFsdWVzJTIyJTVEJTIwJTNEJTIwZW5jb2RpbmclNUIlMjJwaXhlbF92YWx1ZXMlMjIlNUQlMEElMjAlMjAlMjAlMjBiYXRjaCU1QiUyMnBpeGVsX21hc2slMjIlNUQlMjAlM0QlMjBlbmNvZGluZyU1QiUyMnBpeGVsX21hc2slMjIlNUQlMEElMjAlMjAlMjAlMjBiYXRjaCU1QiUyMmxhYmVscyUyMiU1RCUyMCUzRCUyMGxhYmVscyUwQSUyMCUyMCUyMCUyMHJldHVybiUyMGJhdGNo",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">collate_fn</span>(<span class="hljs-params">batch</span>):
<span class="hljs-meta">... </span>    pixel_values = [item[<span class="hljs-string">&quot;pixel_values&quot;</span>] <span class="hljs-keyword">for</span> item <span class="hljs-keyword">in</span> batch]
<span class="hljs-meta">... </span>    encoding = image_processor.pad(pixel_values, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
<span class="hljs-meta">... </span>    labels = [item[<span class="hljs-string">&quot;labels&quot;</span>] <span class="hljs-keyword">for</span> item <span class="hljs-keyword">in</span> batch]
<span class="hljs-meta">... </span>    batch = {}
<span class="hljs-meta">... </span>    batch[<span class="hljs-string">&quot;pixel_values&quot;</span>] = encoding[<span class="hljs-string">&quot;pixel_values&quot;</span>]
<span class="hljs-meta">... </span>    batch[<span class="hljs-string">&quot;pixel_mask&quot;</span>] = encoding[<span class="hljs-string">&quot;pixel_mask&quot;</span>]
<span class="hljs-meta">... </span>    batch[<span class="hljs-string">&quot;labels&quot;</span>] = labels
<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> batch`,wrap:!1}}),ja=new I({props:{title:"متعدد الوسائط Mulimodal",local:"متعدد-الوسائط-mulimodal",headingTag:"h2"}}),oa=new M({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBbGpfc3BlZWNoJTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmxqX3NwZWVjaCUyMiUyQyUyMHNwbGl0JTNEJTIydHJhaW4lMjIp",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

<span class="hljs-meta">&gt;&gt;&gt; </span>lj_speech = load_dataset(<span class="hljs-string">&quot;lj_speech&quot;</span>, split=<span class="hljs-string">&quot;train&quot;</span>)`,wrap:!1}}),da=new M({props:{code:"bGpfc3BlZWNoJTIwJTNEJTIwbGpfc3BlZWNoLm1hcChyZW1vdmVfY29sdW1ucyUzRCU1QiUyMmZpbGUlMjIlMkMlMjAlMjJpZCUyMiUyQyUyMCUyMm5vcm1hbGl6ZWRfdGV4dCUyMiU1RCk=",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>lj_speech = lj_speech.<span class="hljs-built_in">map</span>(remove_columns=[<span class="hljs-string">&quot;file&quot;</span>, <span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;normalized_text&quot;</span>])',wrap:!1}}),Ma=new M({props:{code:"bGpfc3BlZWNoJTIwJTNEJTIwbGpfc3BlZWNoLm1hcChyZW1vdmVfY29sdW1ucyUzRCU1QiUyMmZpbGUlMjIlMkMlMjAlMjJpZCUyMiUyQyUyMCUyMm5vcm1hbGl6ZWRfdGV4dCUyMiU1RCk=",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>lj_speech = lj_speech.<span class="hljs-built_in">map</span>(remove_columns=[<span class="hljs-string">&quot;file&quot;</span>, <span class="hljs-string">&quot;id&quot;</span>, <span class="hljs-string">&quot;normalized_text&quot;</span>])',wrap:!1}}),Ja=new M({props:{code:"bGpfc3BlZWNoJTVCMCU1RCU1QiUyMmF1ZGlvJTIyJTVEJTBBJTBBbGpfc3BlZWNoJTVCMCU1RCU1QiUyMnRleHQlMjIlNUQ=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span>lj_speech[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;audio&quot;</span>]
{<span class="hljs-string">&#x27;array&#x27;</span>: array([-<span class="hljs-number">7.3242188e-04</span>, -<span class="hljs-number">7.6293945e-04</span>, -<span class="hljs-number">6.4086914e-04</span>, ...,
         <span class="hljs-number">7.3242188e-04</span>,  <span class="hljs-number">2.1362305e-04</span>,  <span class="hljs-number">6.1035156e-05</span>], dtype=float32),
 <span class="hljs-string">&#x27;path&#x27;</span>: <span class="hljs-string">&#x27;/root/.cache/huggingface/datasets/downloads/extracted/917ece08c95cf0c4115e45294e3cd0dee724a1165b7fc11798369308a465bd26/LJSpeech-1.1/wavs/LJ001-0001.wav&#x27;</span>,
 <span class="hljs-string">&#x27;sampling_rate&#x27;</span>: <span class="hljs-number">22050</span>}

<span class="hljs-meta">&gt;&gt;&gt; </span>lj_speech[<span class="hljs-number">0</span>][<span class="hljs-string">&quot;text&quot;</span>]
<span class="hljs-string">&#x27;Printing, in the only sense with which we are at present concerned, differs from most if not from all the arts and crafts represented in the Exhibition&#x27;</span>`,wrap:!1}}),ya=new M({props:{code:"bGpfc3BlZWNoJTIwJTNEJTIwbGpfc3BlZWNoLmNhc3RfY29sdW1uKCUyMmF1ZGlvJTIyJTJDJTIwQXVkaW8oc2FtcGxpbmdfcmF0ZSUzRDE2XzAwMCkp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>lj_speech = lj_speech.cast_column(<span class="hljs-string">&quot;audio&quot;</span>, Audio(sampling_rate=<span class="hljs-number">16_000</span>))',wrap:!1}}),_a=new M({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Qcm9jZXNzb3IlMEElMEFwcm9jZXNzb3IlMjAlM0QlMjBBdXRvUHJvY2Vzc29yLmZyb21fcHJldHJhaW5lZCglMjJmYWNlYm9vayUyRndhdjJ2ZWMyLWJhc2UtOTYwaCUyMik=",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoProcessor

<span class="hljs-meta">&gt;&gt;&gt; </span>processor = AutoProcessor.from_pretrained(<span class="hljs-string">&quot;facebook/wav2vec2-base-960h&quot;</span>)`,wrap:!1}}),Ia=new M({props:{code:"ZGVmJTIwcHJlcGFyZV9kYXRhc2V0KGV4YW1wbGUpJTNBJTBBJTIwJTIwJTIwJTIwYXVkaW8lMjAlM0QlMjBleGFtcGxlJTVCJTIyYXVkaW8lMjIlNUQlMEElMEElMjAlMjAlMjAlMjBleGFtcGxlLnVwZGF0ZShwcm9jZXNzb3IoYXVkaW8lM0RhdWRpbyU1QiUyMmFycmF5JTIyJTVEJTJDJTIwdGV4dCUzRGV4YW1wbGUlNUIlMjJ0ZXh0JTIyJTVEJTJDJTIwc2FtcGxpbmdfcmF0ZSUzRDE2MDAwKSklMEElMEElMjAlMjAlMjAlMjByZXR1cm4lMjBleGFtcGxl",highlighted:`<span class="hljs-meta">&gt;&gt;&gt; </span><span class="hljs-keyword">def</span> <span class="hljs-title function_">prepare_dataset</span>(<span class="hljs-params">example</span>):
<span class="hljs-meta">... </span>    audio = example[<span class="hljs-string">&quot;audio&quot;</span>]

<span class="hljs-meta">... </span>    example.update(processor(audio=audio[<span class="hljs-string">&quot;array&quot;</span>], text=example[<span class="hljs-string">&quot;text&quot;</span>], sampling_rate=<span class="hljs-number">16000</span>))

<span class="hljs-meta">... </span>    <span class="hljs-keyword">return</span> example`,wrap:!1}}),va=new M({props:{code:"cHJlcGFyZV9kYXRhc2V0KGxqX3NwZWVjaCU1QjAlNUQp",highlighted:'<span class="hljs-meta">&gt;&gt;&gt; </span>prepare_dataset(lj_speech[<span class="hljs-number">0</span>])',wrap:!1}}),xa=new np({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ar/preprocessing.md"}}),{c(){t=c("meta"),d=e(),r=c("p"),g=e(),h(T.$$.fragment),y=e(),h(w.$$.fragment),Q=e(),J=c("p"),J.textContent=v,Za=e(),E=c("ul"),E.innerHTML=Bl,Ga=e(),h(C.$$.fragment),Va=e(),A=c("p"),A.textContent=Wl,Ba=e(),h(P.$$.fragment),Wa=e(),h(S.$$.fragment),Ha=e(),h(D.$$.fragment),Ra=e(),K=c("p"),K.innerHTML=Hl,Xa=e(),h(x.$$.fragment),Na=e(),O=c("p"),O.innerHTML=Rl,Ya=e(),h(ss.$$.fragment),qa=e(),as=c("p"),as.textContent=Xl,za=e(),h(ns.$$.fragment),Fa=e(),ls=c("p"),ls.textContent=Nl,La=e(),es=c("ul"),es.innerHTML=Yl,Qa=e(),ps=c("p"),ps.innerHTML=ql,Ea=e(),h(ts.$$.fragment),Aa=e(),rs=c("p"),rs.innerHTML=zl,Pa=e(),cs=c("p"),cs.textContent=Fl,Sa=e(),h(ms.$$.fragment),Da=e(),h(us.$$.fragment),Ka=e(),hs=c("p"),hs.innerHTML=Ll,Oa=e(),js=c("p"),js.innerHTML=Ql,sn=e(),h(bs.$$.fragment),an=e(),is=c("p"),is.innerHTML=El,nn=e(),h(os.$$.fragment),ln=e(),fs=c("p"),fs.textContent=Al,en=e(),ds=c("p"),ds.innerHTML=Pl,pn=e(),h(gs.$$.fragment),tn=e(),h(k.$$.fragment),rn=e(),h(Ms.$$.fragment),cn=e(),$s=c("p"),$s.textContent=Sl,mn=e(),Js=c("p"),Js.innerHTML=Dl,un=e(),h(Z.$$.fragment),hn=e(),h(G.$$.fragment),jn=e(),h(Ts.$$.fragment),bn=e(),ys=c("p"),ys.innerHTML=Kl,on=e(),ws=c("p"),ws.innerHTML=Ol,fn=e(),h(_s.$$.fragment),dn=e(),Us=c("p"),Us.innerHTML=se,gn=e(),h(Is.$$.fragment),Mn=e(),vs=c("p"),vs.textContent=ae,$n=e(),Cs=c("ul"),Cs.innerHTML=ne,Jn=e(),xs=c("p"),xs.innerHTML=le,Tn=e(),ks=c("ol"),ks.innerHTML=ee,yn=e(),h(Zs.$$.fragment),wn=e(),V=c("ol"),V.innerHTML=pe,_n=e(),h(Gs.$$.fragment),Un=e(),Vs=c("p"),Vs.textContent=te,In=e(),Bs=c("p"),Bs.innerHTML=re,vn=e(),h(Ws.$$.fragment),Cn=e(),Hs=c("p"),Hs.innerHTML=ce,xn=e(),h(Rs.$$.fragment),kn=e(),Xs=c("p"),Xs.textContent=me,Zn=e(),h(Ns.$$.fragment),Gn=e(),Ys=c("p"),Ys.textContent=ue,Vn=e(),h(qs.$$.fragment),Bn=e(),zs=c("p"),zs.innerHTML=he,Wn=e(),h(Fs.$$.fragment),Hn=e(),Ls=c("p"),Ls.textContent=je,Rn=e(),h(Qs.$$.fragment),Xn=e(),h(Es.$$.fragment),Nn=e(),As=c("p"),As.innerHTML=be,Yn=e(),h(B.$$.fragment),qn=e(),Ps=c("p"),Ps.innerHTML=ie,zn=e(),h(W.$$.fragment),Fn=e(),h(Ss.$$.fragment),Ln=e(),Ds=c("p"),Ds.innerHTML=oe,Qn=e(),h(Ks.$$.fragment),En=e(),H=c("div"),H.innerHTML=fe,An=e(),Os=c("p"),Os.innerHTML=de,Pn=e(),h(sa.$$.fragment),Sn=e(),aa=c("p"),aa.innerHTML=ge,Dn=e(),na=c("ol"),na.innerHTML=Me,Kn=e(),h(la.$$.fragment),On=e(),R=c("ol"),R.innerHTML=$e,sl=e(),h(ea.$$.fragment),al=e(),h(X.$$.fragment),nl=e(),N=c("ol"),N.innerHTML=Je,ll=e(),h(pa.$$.fragment),el=e(),Y=c("ol"),Y.innerHTML=Te,pl=e(),h(ta.$$.fragment),tl=e(),ra=c("p"),ra.textContent=ye,rl=e(),h(ca.$$.fragment),cl=e(),q=c("div"),q.innerHTML=we,ml=e(),h(z.$$.fragment),ul=e(),h(ma.$$.fragment),hl=e(),ua=c("p"),ua.innerHTML=_e,jl=e(),h(ha.$$.fragment),bl=e(),h(ja.$$.fragment),il=e(),ba=c("p"),ba.innerHTML=Ue,ol=e(),ia=c("p"),ia.innerHTML=Ie,fl=e(),h(oa.$$.fragment),dl=e(),fa=c("p"),fa.innerHTML=ve,gl=e(),h(da.$$.fragment),Ml=e(),ga=c("p"),ga.innerHTML=Ce,$l=e(),h(Ma.$$.fragment),Jl=e(),$a=c("p"),$a.innerHTML=xe,Tl=e(),h(Ja.$$.fragment),yl=e(),Ta=c("p"),Ta.innerHTML=ke,wl=e(),h(ya.$$.fragment),_l=e(),wa=c("p"),wa.innerHTML=Ze,Ul=e(),h(_a.$$.fragment),Il=e(),Ua=c("ol"),Ua.innerHTML=Ge,vl=e(),h(Ia.$$.fragment),Cl=e(),F=c("ol"),F.innerHTML=Ve,xl=e(),h(va.$$.fragment),kl=e(),Ca=c("p"),Ca.innerHTML=Be,Zl=e(),h(xa.$$.fragment),Gl=e(),ka=c("p"),this.h()},l(s){const a=De("svelte-u9bgzb",document.head);t=m(a,"META",{name:!0,content:!0}),a.forEach(n),d=p(s),r=m(s,"P",{}),Le(r).forEach(n),g=p(s),j(T.$$.fragment,s),y=p(s),j(w.$$.fragment,s),Q=p(s),J=m(s,"P",{"data-svelte-h":!0}),u(J)!=="svelte-cm6py0"&&(J.textContent=v),Za=p(s),E=m(s,"UL",{"data-svelte-h":!0}),u(E)!=="svelte-1wohnh5"&&(E.innerHTML=Bl),Ga=p(s),j(C.$$.fragment,s),Va=p(s),A=m(s,"P",{"data-svelte-h":!0}),u(A)!=="svelte-208h2t"&&(A.textContent=Wl),Ba=p(s),j(P.$$.fragment,s),Wa=p(s),j(S.$$.fragment,s),Ha=p(s),j(D.$$.fragment,s),Ra=p(s),K=m(s,"P",{"data-svelte-h":!0}),u(K)!=="svelte-t6mqbd"&&(K.innerHTML=Hl),Xa=p(s),j(x.$$.fragment,s),Na=p(s),O=m(s,"P",{"data-svelte-h":!0}),u(O)!=="svelte-12k8x6q"&&(O.innerHTML=Rl),Ya=p(s),j(ss.$$.fragment,s),qa=p(s),as=m(s,"P",{"data-svelte-h":!0}),u(as)!=="svelte-zwcwpo"&&(as.textContent=Xl),za=p(s),j(ns.$$.fragment,s),Fa=p(s),ls=m(s,"P",{"data-svelte-h":!0}),u(ls)!=="svelte-16v00vx"&&(ls.textContent=Nl),La=p(s),es=m(s,"UL",{"data-svelte-h":!0}),u(es)!=="svelte-tm00vf"&&(es.innerHTML=Yl),Qa=p(s),ps=m(s,"P",{"data-svelte-h":!0}),u(ps)!=="svelte-1knreil"&&(ps.innerHTML=ql),Ea=p(s),j(ts.$$.fragment,s),Aa=p(s),rs=m(s,"P",{"data-svelte-h":!0}),u(rs)!=="svelte-1ge53fd"&&(rs.innerHTML=zl),Pa=p(s),cs=m(s,"P",{"data-svelte-h":!0}),u(cs)!=="svelte-14d2lgd"&&(cs.textContent=Fl),Sa=p(s),j(ms.$$.fragment,s),Da=p(s),j(us.$$.fragment,s),Ka=p(s),hs=m(s,"P",{"data-svelte-h":!0}),u(hs)!=="svelte-vukcok"&&(hs.innerHTML=Ll),Oa=p(s),js=m(s,"P",{"data-svelte-h":!0}),u(js)!=="svelte-1pfjjmu"&&(js.innerHTML=Ql),sn=p(s),j(bs.$$.fragment,s),an=p(s),is=m(s,"P",{"data-svelte-h":!0}),u(is)!=="svelte-fc0h8r"&&(is.innerHTML=El),nn=p(s),j(os.$$.fragment,s),ln=p(s),fs=m(s,"P",{"data-svelte-h":!0}),u(fs)!=="svelte-1xe6pt8"&&(fs.textContent=Al),en=p(s),ds=m(s,"P",{"data-svelte-h":!0}),u(ds)!=="svelte-snc3m2"&&(ds.innerHTML=Pl),pn=p(s),j(gs.$$.fragment,s),tn=p(s),j(k.$$.fragment,s),rn=p(s),j(Ms.$$.fragment,s),cn=p(s),$s=m(s,"P",{"data-svelte-h":!0}),u($s)!=="svelte-1yjgh7i"&&($s.textContent=Sl),mn=p(s),Js=m(s,"P",{"data-svelte-h":!0}),u(Js)!=="svelte-10t79zc"&&(Js.innerHTML=Dl),un=p(s),j(Z.$$.fragment,s),hn=p(s),j(G.$$.fragment,s),jn=p(s),j(Ts.$$.fragment,s),bn=p(s),ys=m(s,"P",{"data-svelte-h":!0}),u(ys)!=="svelte-ktiohi"&&(ys.innerHTML=Kl),on=p(s),ws=m(s,"P",{"data-svelte-h":!0}),u(ws)!=="svelte-kn8fd2"&&(ws.innerHTML=Ol),fn=p(s),j(_s.$$.fragment,s),dn=p(s),Us=m(s,"P",{"data-svelte-h":!0}),u(Us)!=="svelte-102iikl"&&(Us.innerHTML=se),gn=p(s),j(Is.$$.fragment,s),Mn=p(s),vs=m(s,"P",{"data-svelte-h":!0}),u(vs)!=="svelte-712qtm"&&(vs.textContent=ae),$n=p(s),Cs=m(s,"UL",{"data-svelte-h":!0}),u(Cs)!=="svelte-1re2r4s"&&(Cs.innerHTML=ne),Jn=p(s),xs=m(s,"P",{"data-svelte-h":!0}),u(xs)!=="svelte-ujx8ux"&&(xs.innerHTML=le),Tn=p(s),ks=m(s,"OL",{"data-svelte-h":!0}),u(ks)!=="svelte-jdzdx2"&&(ks.innerHTML=ee),yn=p(s),j(Zs.$$.fragment,s),wn=p(s),V=m(s,"OL",{start:!0,"data-svelte-h":!0}),u(V)!=="svelte-1mayzoa"&&(V.innerHTML=pe),_n=p(s),j(Gs.$$.fragment,s),Un=p(s),Vs=m(s,"P",{"data-svelte-h":!0}),u(Vs)!=="svelte-19pjari"&&(Vs.textContent=te),In=p(s),Bs=m(s,"P",{"data-svelte-h":!0}),u(Bs)!=="svelte-1tcdtzw"&&(Bs.innerHTML=re),vn=p(s),j(Ws.$$.fragment,s),Cn=p(s),Hs=m(s,"P",{"data-svelte-h":!0}),u(Hs)!=="svelte-1bglo9v"&&(Hs.innerHTML=ce),xn=p(s),j(Rs.$$.fragment,s),kn=p(s),Xs=m(s,"P",{"data-svelte-h":!0}),u(Xs)!=="svelte-1lbesb5"&&(Xs.textContent=me),Zn=p(s),j(Ns.$$.fragment,s),Gn=p(s),Ys=m(s,"P",{"data-svelte-h":!0}),u(Ys)!=="svelte-vke93u"&&(Ys.textContent=ue),Vn=p(s),j(qs.$$.fragment,s),Bn=p(s),zs=m(s,"P",{"data-svelte-h":!0}),u(zs)!=="svelte-1wtyulo"&&(zs.innerHTML=he),Wn=p(s),j(Fs.$$.fragment,s),Hn=p(s),Ls=m(s,"P",{"data-svelte-h":!0}),u(Ls)!=="svelte-1ub1uhm"&&(Ls.textContent=je),Rn=p(s),j(Qs.$$.fragment,s),Xn=p(s),j(Es.$$.fragment,s),Nn=p(s),As=m(s,"P",{"data-svelte-h":!0}),u(As)!=="svelte-1wq89x0"&&(As.innerHTML=be),Yn=p(s),j(B.$$.fragment,s),qn=p(s),Ps=m(s,"P",{"data-svelte-h":!0}),u(Ps)!=="svelte-1f2bqfw"&&(Ps.innerHTML=ie),zn=p(s),j(W.$$.fragment,s),Fn=p(s),j(Ss.$$.fragment,s),Ln=p(s),Ds=m(s,"P",{"data-svelte-h":!0}),u(Ds)!=="svelte-191iv64"&&(Ds.innerHTML=oe),Qn=p(s),j(Ks.$$.fragment,s),En=p(s),H=m(s,"DIV",{class:!0,"data-svelte-h":!0}),u(H)!=="svelte-1jzdron"&&(H.innerHTML=fe),An=p(s),Os=m(s,"P",{"data-svelte-h":!0}),u(Os)!=="svelte-1aeahpr"&&(Os.innerHTML=de),Pn=p(s),j(sa.$$.fragment,s),Sn=p(s),aa=m(s,"P",{"data-svelte-h":!0}),u(aa)!=="svelte-1khcvg2"&&(aa.innerHTML=ge),Dn=p(s),na=m(s,"OL",{"data-svelte-h":!0}),u(na)!=="svelte-1q45v50"&&(na.innerHTML=Me),Kn=p(s),j(la.$$.fragment,s),On=p(s),R=m(s,"OL",{start:!0,"data-svelte-h":!0}),u(R)!=="svelte-ka1zf2"&&(R.innerHTML=$e),sl=p(s),j(ea.$$.fragment,s),al=p(s),j(X.$$.fragment,s),nl=p(s),N=m(s,"OL",{start:!0,"data-svelte-h":!0}),u(N)!=="svelte-btq04e"&&(N.innerHTML=Je),ll=p(s),j(pa.$$.fragment,s),el=p(s),Y=m(s,"OL",{start:!0,"data-svelte-h":!0}),u(Y)!=="svelte-7m4ysp"&&(Y.innerHTML=Te),pl=p(s),j(ta.$$.fragment,s),tl=p(s),ra=m(s,"P",{"data-svelte-h":!0}),u(ra)!=="svelte-k98fbz"&&(ra.textContent=ye),rl=p(s),j(ca.$$.fragment,s),cl=p(s),q=m(s,"DIV",{class:!0,"data-svelte-h":!0}),u(q)!=="svelte-mp8qzc"&&(q.innerHTML=we),ml=p(s),j(z.$$.fragment,s),ul=p(s),j(ma.$$.fragment,s),hl=p(s),ua=m(s,"P",{"data-svelte-h":!0}),u(ua)!=="svelte-1kdja5v"&&(ua.innerHTML=_e),jl=p(s),j(ha.$$.fragment,s),bl=p(s),j(ja.$$.fragment,s),il=p(s),ba=m(s,"P",{"data-svelte-h":!0}),u(ba)!=="svelte-1dklzx6"&&(ba.innerHTML=Ue),ol=p(s),ia=m(s,"P",{"data-svelte-h":!0}),u(ia)!=="svelte-1yi5ktw"&&(ia.innerHTML=Ie),fl=p(s),j(oa.$$.fragment,s),dl=p(s),fa=m(s,"P",{"data-svelte-h":!0}),u(fa)!=="svelte-193w0g0"&&(fa.innerHTML=ve),gl=p(s),j(da.$$.fragment,s),Ml=p(s),ga=m(s,"P",{"data-svelte-h":!0}),u(ga)!=="svelte-1b3np62"&&(ga.innerHTML=Ce),$l=p(s),j(Ma.$$.fragment,s),Jl=p(s),$a=m(s,"P",{"data-svelte-h":!0}),u($a)!=="svelte-1b3np62"&&($a.innerHTML=xe),Tl=p(s),j(Ja.$$.fragment,s),yl=p(s),Ta=m(s,"P",{"data-svelte-h":!0}),u(Ta)!=="svelte-1a1qvrz"&&(Ta.innerHTML=ke),wl=p(s),j(ya.$$.fragment,s),_l=p(s),wa=m(s,"P",{"data-svelte-h":!0}),u(wa)!=="svelte-6hhy7t"&&(wa.innerHTML=Ze),Ul=p(s),j(_a.$$.fragment,s),Il=p(s),Ua=m(s,"OL",{"data-svelte-h":!0}),u(Ua)!=="svelte-16slmy5"&&(Ua.innerHTML=Ge),vl=p(s),j(Ia.$$.fragment,s),Cl=p(s),F=m(s,"OL",{start:!0,"data-svelte-h":!0}),u(F)!=="svelte-pwkf22"&&(F.innerHTML=Ve),xl=p(s),j(va.$$.fragment,s),kl=p(s),Ca=m(s,"P",{"data-svelte-h":!0}),u(Ca)!=="svelte-8dm4x"&&(Ca.innerHTML=Be),Zl=p(s),j(xa.$$.fragment,s),Gl=p(s),ka=m(s,"P",{}),Le(ka).forEach(n),this.h()},h(){U(t,"name","hf:doc:metadata"),U(t,"content",fp),U(V,"start","2"),U(H,"class","flex justify-center"),U(R,"start","2"),U(N,"start","3"),U(Y,"start","4"),U(q,"class","flex justify-center"),U(F,"start","2")},m(s,a){Ke(document.head,t),l(s,d,a),l(s,r,a),l(s,g,a),b(T,s,a),l(s,y,a),b(w,s,a),l(s,Q,a),l(s,J,a),l(s,Za,a),l(s,E,a),l(s,Ga,a),b(C,s,a),l(s,Va,a),l(s,A,a),l(s,Ba,a),b(P,s,a),l(s,Wa,a),b(S,s,a),l(s,Ha,a),b(D,s,a),l(s,Ra,a),l(s,K,a),l(s,Xa,a),b(x,s,a),l(s,Na,a),l(s,O,a),l(s,Ya,a),b(ss,s,a),l(s,qa,a),l(s,as,a),l(s,za,a),b(ns,s,a),l(s,Fa,a),l(s,ls,a),l(s,La,a),l(s,es,a),l(s,Qa,a),l(s,ps,a),l(s,Ea,a),b(ts,s,a),l(s,Aa,a),l(s,rs,a),l(s,Pa,a),l(s,cs,a),l(s,Sa,a),b(ms,s,a),l(s,Da,a),b(us,s,a),l(s,Ka,a),l(s,hs,a),l(s,Oa,a),l(s,js,a),l(s,sn,a),b(bs,s,a),l(s,an,a),l(s,is,a),l(s,nn,a),b(os,s,a),l(s,ln,a),l(s,fs,a),l(s,en,a),l(s,ds,a),l(s,pn,a),b(gs,s,a),l(s,tn,a),b(k,s,a),l(s,rn,a),b(Ms,s,a),l(s,cn,a),l(s,$s,a),l(s,mn,a),l(s,Js,a),l(s,un,a),b(Z,s,a),l(s,hn,a),b(G,s,a),l(s,jn,a),b(Ts,s,a),l(s,bn,a),l(s,ys,a),l(s,on,a),l(s,ws,a),l(s,fn,a),b(_s,s,a),l(s,dn,a),l(s,Us,a),l(s,gn,a),b(Is,s,a),l(s,Mn,a),l(s,vs,a),l(s,$n,a),l(s,Cs,a),l(s,Jn,a),l(s,xs,a),l(s,Tn,a),l(s,ks,a),l(s,yn,a),b(Zs,s,a),l(s,wn,a),l(s,V,a),l(s,_n,a),b(Gs,s,a),l(s,Un,a),l(s,Vs,a),l(s,In,a),l(s,Bs,a),l(s,vn,a),b(Ws,s,a),l(s,Cn,a),l(s,Hs,a),l(s,xn,a),b(Rs,s,a),l(s,kn,a),l(s,Xs,a),l(s,Zn,a),b(Ns,s,a),l(s,Gn,a),l(s,Ys,a),l(s,Vn,a),b(qs,s,a),l(s,Bn,a),l(s,zs,a),l(s,Wn,a),b(Fs,s,a),l(s,Hn,a),l(s,Ls,a),l(s,Rn,a),b(Qs,s,a),l(s,Xn,a),b(Es,s,a),l(s,Nn,a),l(s,As,a),l(s,Yn,a),b(B,s,a),l(s,qn,a),l(s,Ps,a),l(s,zn,a),b(W,s,a),l(s,Fn,a),b(Ss,s,a),l(s,Ln,a),l(s,Ds,a),l(s,Qn,a),b(Ks,s,a),l(s,En,a),l(s,H,a),l(s,An,a),l(s,Os,a),l(s,Pn,a),b(sa,s,a),l(s,Sn,a),l(s,aa,a),l(s,Dn,a),l(s,na,a),l(s,Kn,a),b(la,s,a),l(s,On,a),l(s,R,a),l(s,sl,a),b(ea,s,a),l(s,al,a),b(X,s,a),l(s,nl,a),l(s,N,a),l(s,ll,a),b(pa,s,a),l(s,el,a),l(s,Y,a),l(s,pl,a),b(ta,s,a),l(s,tl,a),l(s,ra,a),l(s,rl,a),b(ca,s,a),l(s,cl,a),l(s,q,a),l(s,ml,a),b(z,s,a),l(s,ul,a),b(ma,s,a),l(s,hl,a),l(s,ua,a),l(s,jl,a),b(ha,s,a),l(s,bl,a),b(ja,s,a),l(s,il,a),l(s,ba,a),l(s,ol,a),l(s,ia,a),l(s,fl,a),b(oa,s,a),l(s,dl,a),l(s,fa,a),l(s,gl,a),b(da,s,a),l(s,Ml,a),l(s,ga,a),l(s,$l,a),b(Ma,s,a),l(s,Jl,a),l(s,$a,a),l(s,Tl,a),b(Ja,s,a),l(s,yl,a),l(s,Ta,a),l(s,wl,a),b(ya,s,a),l(s,_l,a),l(s,wa,a),l(s,Ul,a),b(_a,s,a),l(s,Il,a),l(s,Ua,a),l(s,vl,a),b(Ia,s,a),l(s,Cl,a),l(s,F,a),l(s,xl,a),b(va,s,a),l(s,kl,a),l(s,Ca,a),l(s,Zl,a),b(xa,s,a),l(s,Gl,a),l(s,ka,a),Vl=!0},p(s,[a]){const We={};a&2&&(We.$$scope={dirty:a,ctx:s}),C.$set(We);const He={};a&2&&(He.$$scope={dirty:a,ctx:s}),x.$set(He);const Re={};a&2&&(Re.$$scope={dirty:a,ctx:s}),k.$set(Re);const Xe={};a&2&&(Xe.$$scope={dirty:a,ctx:s}),Z.$set(Xe);const Ne={};a&2&&(Ne.$$scope={dirty:a,ctx:s}),G.$set(Ne);const Ye={};a&2&&(Ye.$$scope={dirty:a,ctx:s}),B.$set(Ye);const qe={};a&2&&(qe.$$scope={dirty:a,ctx:s}),W.$set(qe);const ze={};a&2&&(ze.$$scope={dirty:a,ctx:s}),X.$set(ze);const Fe={};a&2&&(Fe.$$scope={dirty:a,ctx:s}),z.$set(Fe)},i(s){Vl||(i(T.$$.fragment,s),i(w.$$.fragment,s),i(C.$$.fragment,s),i(P.$$.fragment,s),i(S.$$.fragment,s),i(D.$$.fragment,s),i(x.$$.fragment,s),i(ss.$$.fragment,s),i(ns.$$.fragment,s),i(ts.$$.fragment,s),i(ms.$$.fragment,s),i(us.$$.fragment,s),i(bs.$$.fragment,s),i(os.$$.fragment,s),i(gs.$$.fragment,s),i(k.$$.fragment,s),i(Ms.$$.fragment,s),i(Z.$$.fragment,s),i(G.$$.fragment,s),i(Ts.$$.fragment,s),i(_s.$$.fragment,s),i(Is.$$.fragment,s),i(Zs.$$.fragment,s),i(Gs.$$.fragment,s),i(Ws.$$.fragment,s),i(Rs.$$.fragment,s),i(Ns.$$.fragment,s),i(qs.$$.fragment,s),i(Fs.$$.fragment,s),i(Qs.$$.fragment,s),i(Es.$$.fragment,s),i(B.$$.fragment,s),i(W.$$.fragment,s),i(Ss.$$.fragment,s),i(Ks.$$.fragment,s),i(sa.$$.fragment,s),i(la.$$.fragment,s),i(ea.$$.fragment,s),i(X.$$.fragment,s),i(pa.$$.fragment,s),i(ta.$$.fragment,s),i(ca.$$.fragment,s),i(z.$$.fragment,s),i(ma.$$.fragment,s),i(ha.$$.fragment,s),i(ja.$$.fragment,s),i(oa.$$.fragment,s),i(da.$$.fragment,s),i(Ma.$$.fragment,s),i(Ja.$$.fragment,s),i(ya.$$.fragment,s),i(_a.$$.fragment,s),i(Ia.$$.fragment,s),i(va.$$.fragment,s),i(xa.$$.fragment,s),Vl=!0)},o(s){o(T.$$.fragment,s),o(w.$$.fragment,s),o(C.$$.fragment,s),o(P.$$.fragment,s),o(S.$$.fragment,s),o(D.$$.fragment,s),o(x.$$.fragment,s),o(ss.$$.fragment,s),o(ns.$$.fragment,s),o(ts.$$.fragment,s),o(ms.$$.fragment,s),o(us.$$.fragment,s),o(bs.$$.fragment,s),o(os.$$.fragment,s),o(gs.$$.fragment,s),o(k.$$.fragment,s),o(Ms.$$.fragment,s),o(Z.$$.fragment,s),o(G.$$.fragment,s),o(Ts.$$.fragment,s),o(_s.$$.fragment,s),o(Is.$$.fragment,s),o(Zs.$$.fragment,s),o(Gs.$$.fragment,s),o(Ws.$$.fragment,s),o(Rs.$$.fragment,s),o(Ns.$$.fragment,s),o(qs.$$.fragment,s),o(Fs.$$.fragment,s),o(Qs.$$.fragment,s),o(Es.$$.fragment,s),o(B.$$.fragment,s),o(W.$$.fragment,s),o(Ss.$$.fragment,s),o(Ks.$$.fragment,s),o(sa.$$.fragment,s),o(la.$$.fragment,s),o(ea.$$.fragment,s),o(X.$$.fragment,s),o(pa.$$.fragment,s),o(ta.$$.fragment,s),o(ca.$$.fragment,s),o(z.$$.fragment,s),o(ma.$$.fragment,s),o(ha.$$.fragment,s),o(ja.$$.fragment,s),o(oa.$$.fragment,s),o(da.$$.fragment,s),o(Ma.$$.fragment,s),o(Ja.$$.fragment,s),o(ya.$$.fragment,s),o(_a.$$.fragment,s),o(Ia.$$.fragment,s),o(va.$$.fragment,s),o(xa.$$.fragment,s),Vl=!1},d(s){s&&(n(d),n(r),n(g),n(y),n(Q),n(J),n(Za),n(E),n(Ga),n(Va),n(A),n(Ba),n(Wa),n(Ha),n(Ra),n(K),n(Xa),n(Na),n(O),n(Ya),n(qa),n(as),n(za),n(Fa),n(ls),n(La),n(es),n(Qa),n(ps),n(Ea),n(Aa),n(rs),n(Pa),n(cs),n(Sa),n(Da),n(Ka),n(hs),n(Oa),n(js),n(sn),n(an),n(is),n(nn),n(ln),n(fs),n(en),n(ds),n(pn),n(tn),n(rn),n(cn),n($s),n(mn),n(Js),n(un),n(hn),n(jn),n(bn),n(ys),n(on),n(ws),n(fn),n(dn),n(Us),n(gn),n(Mn),n(vs),n($n),n(Cs),n(Jn),n(xs),n(Tn),n(ks),n(yn),n(wn),n(V),n(_n),n(Un),n(Vs),n(In),n(Bs),n(vn),n(Cn),n(Hs),n(xn),n(kn),n(Xs),n(Zn),n(Gn),n(Ys),n(Vn),n(Bn),n(zs),n(Wn),n(Hn),n(Ls),n(Rn),n(Xn),n(Nn),n(As),n(Yn),n(qn),n(Ps),n(zn),n(Fn),n(Ln),n(Ds),n(Qn),n(En),n(H),n(An),n(Os),n(Pn),n(Sn),n(aa),n(Dn),n(na),n(Kn),n(On),n(R),n(sl),n(al),n(nl),n(N),n(ll),n(el),n(Y),n(pl),n(tl),n(ra),n(rl),n(cl),n(q),n(ml),n(ul),n(hl),n(ua),n(jl),n(bl),n(il),n(ba),n(ol),n(ia),n(fl),n(dl),n(fa),n(gl),n(Ml),n(ga),n($l),n(Jl),n($a),n(Tl),n(yl),n(Ta),n(wl),n(_l),n(wa),n(Ul),n(Il),n(Ua),n(vl),n(Cl),n(F),n(xl),n(kl),n(Ca),n(Zl),n(Gl),n(ka)),n(t),f(T,s),f(w,s),f(C,s),f(P,s),f(S,s),f(D,s),f(x,s),f(ss,s),f(ns,s),f(ts,s),f(ms,s),f(us,s),f(bs,s),f(os,s),f(gs,s),f(k,s),f(Ms,s),f(Z,s),f(G,s),f(Ts,s),f(_s,s),f(Is,s),f(Zs,s),f(Gs,s),f(Ws,s),f(Rs,s),f(Ns,s),f(qs,s),f(Fs,s),f(Qs,s),f(Es,s),f(B,s),f(W,s),f(Ss,s),f(Ks,s),f(sa,s),f(la,s),f(ea,s),f(X,s),f(pa,s),f(ta,s),f(ca,s),f(z,s),f(ma,s),f(ha,s),f(ja,s),f(oa,s),f(da,s),f(Ma,s),f(Ja,s),f(ya,s),f(_a,s),f(Ia,s),f(va,s),f(xa,s)}}}const fp='{"title":"المعالجة المسبقة Preprocessing","local":"المعالجة-المسبقة-preprocessing","sections":[{"title":"معالجة اللغة الطبيعية (Natural Language Processing (NLP","local":"معالجة-اللغة-الطبيعية-natural-language-processing-nlp","sections":[{"title":"الحشو Padding","local":"الحشو-padding","sections":[],"depth":3},{"title":"البتر Truncation","local":"البتر-truncation","sections":[],"depth":3},{"title":"بناء الموترات Build tensors","local":"بناء-الموترات-build-tensors","sections":[],"depth":3}],"depth":2},{"title":"الصوت Audio","local":"الصوت-audio","sections":[],"depth":2},{"title":"رؤية الكمبيوتر Computer vision","local":"رؤية-الكمبيوتر-computer-vision","sections":[{"title":"الحشو Pad","local":"الحشو-pad","sections":[],"depth":3}],"depth":2},{"title":"متعدد الوسائط Mulimodal","local":"متعدد-الوسائط-mulimodal","sections":[],"depth":2}],"depth":1}';function dp($){return Ae(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Up extends Pe{constructor(t){super(),Se(this,t,dp,op,Ee,{})}}export{Up as component};
