import{s as I,n as J,o as Q}from"../chunks/scheduler.37c15a92.js";import{S as V,i as W,g as m,s,r as k,A as X,h as o,f as n,c as l,j as O,u as B,x as b,k as D,y as Z,a,v as R,d as S,t as z,w as U}from"../chunks/index.2bf4358c.js";import{Y as ee}from"../chunks/Youtube.1e50a667.js";import{C as te}from"../chunks/CourseFloatingBanner.06521e8b.js";import{H as ne,E as ae}from"../chunks/EditOnGithub.8916dc7c.js";function se(Y){let r,v,d,x,i,w,f,C,p,T,u,j="Модели типа кодировщик-декодировщик (также называемые <em>sequence-to-sequence models</em>) используют обе части трансформера. На каждом этапе слой внимания кодировщика получает доступ ко всем словам в исходной последовательности, тогда как слой внимания декодировщика получает доступ только к тем словам, которые расположены до текущего слова.",P,c,F='Предобучение таких моделей может быть выполнено на задачах, используемых для предобучения моделей кодировщиков или декодировщиков, но обычно все немного сложнее. Например, модель <a href="https://huggingface.co/t5-base" rel="nofollow">T5</a> была предобучена путем замены случайных фрагментов текста (фрагменты могут содержать несколько слов) на специальную маску, цель модели - предсказать текст, который заменила маска.',M,$,G="Модели seq2seq лучше всего подходят для задач генерации новых предложений, зависящих от входного массива данных, например: автоматическое реферирование текста, перевод или в генеративных вопросно-ответных системах.",E,h,K="Представителями этого семейства являются:",H,_,N='<li><a href="https://huggingface.co/transformers/model_doc/bart.html" rel="nofollow">BART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/mbart.html" rel="nofollow">mBART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/marian.html" rel="nofollow">Marian</a></li> <li><a href="https://huggingface.co/transformers/model_doc/t5.html" rel="nofollow">T5</a></li>',L,g,y,q,A;return i=new ne({props:{title:"Модели вида “seq2seq”",local:"модели-вида-seq2seq",headingTag:"h1"}}),f=new te({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),p=new ee({props:{id:"0_4KEb08xrE"}}),g=new ae({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter1/7.mdx"}}),{c(){r=m("meta"),v=s(),d=m("p"),x=s(),k(i.$$.fragment),w=s(),k(f.$$.fragment),C=s(),k(p.$$.fragment),T=s(),u=m("p"),u.innerHTML=j,P=s(),c=m("p"),c.innerHTML=F,M=s(),$=m("p"),$.textContent=G,E=s(),h=m("p"),h.textContent=K,H=s(),_=m("ul"),_.innerHTML=N,L=s(),k(g.$$.fragment),y=s(),q=m("p"),this.h()},l(e){const t=X("svelte-u9bgzb",document.head);r=o(t,"META",{name:!0,content:!0}),t.forEach(n),v=l(e),d=o(e,"P",{}),O(d).forEach(n),x=l(e),B(i.$$.fragment,e),w=l(e),B(f.$$.fragment,e),C=l(e),B(p.$$.fragment,e),T=l(e),u=o(e,"P",{"data-svelte-h":!0}),b(u)!=="svelte-1q8498o"&&(u.innerHTML=j),P=l(e),c=o(e,"P",{"data-svelte-h":!0}),b(c)!=="svelte-vm66o4"&&(c.innerHTML=F),M=l(e),$=o(e,"P",{"data-svelte-h":!0}),b($)!=="svelte-1nkkq8d"&&($.textContent=G),E=l(e),h=o(e,"P",{"data-svelte-h":!0}),b(h)!=="svelte-n5ysqq"&&(h.textContent=K),H=l(e),_=o(e,"UL",{"data-svelte-h":!0}),b(_)!=="svelte-1lyffe"&&(_.innerHTML=N),L=l(e),B(g.$$.fragment,e),y=l(e),q=o(e,"P",{}),O(q).forEach(n),this.h()},h(){D(r,"name","hf:doc:metadata"),D(r,"content",le)},m(e,t){Z(document.head,r),a(e,v,t),a(e,d,t),a(e,x,t),R(i,e,t),a(e,w,t),R(f,e,t),a(e,C,t),R(p,e,t),a(e,T,t),a(e,u,t),a(e,P,t),a(e,c,t),a(e,M,t),a(e,$,t),a(e,E,t),a(e,h,t),a(e,H,t),a(e,_,t),a(e,L,t),R(g,e,t),a(e,y,t),a(e,q,t),A=!0},p:J,i(e){A||(S(i.$$.fragment,e),S(f.$$.fragment,e),S(p.$$.fragment,e),S(g.$$.fragment,e),A=!0)},o(e){z(i.$$.fragment,e),z(f.$$.fragment,e),z(p.$$.fragment,e),z(g.$$.fragment,e),A=!1},d(e){e&&(n(v),n(d),n(x),n(w),n(C),n(T),n(u),n(P),n(c),n(M),n($),n(E),n(h),n(H),n(_),n(L),n(y),n(q)),n(r),U(i,e),U(f,e),U(p,e),U(g,e)}}}const le='{"title":"Модели вида “seq2seq”","local":"модели-вида-seq2seq","sections":[],"depth":1}';function re(Y){return Q(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ue extends V{constructor(r){super(),W(this,r,re,se,I,{})}}export{ue as component};
