import{s as I,n as K,o as N}from"../chunks/scheduler.9bc65507.js";import{S as W,i as F,g as i,s as r,r as S,A as J,h as s,f as a,c as o,j as U,u as j,x as T,k,y as Q,a as l,v as D,d as O,t as q,w as z}from"../chunks/index.707bf1b6.js";import{H as V,E as X}from"../chunks/EditOnGithub.922df6ba.js";function Y(C){let n,d,b,y,m,_,p,R="大規模なトランスフォーマー、例えばBERTの内部動作を調査する研究領域が急成長しています（これを「BERTology」とも呼びます）。この分野の良い例は以下です：",P,f,H=`<li>BERT Rediscovers the Classical NLP Pipeline by Ian Tenney, Dipanjan Das, Ellie Pavlick:
<a href="https://arxiv.org/abs/1905.05950" rel="nofollow">論文リンク</a></li> <li>Are Sixteen Heads Really Better than One? by Paul Michel, Omer Levy, Graham Neubig: <a href="https://arxiv.org/abs/1905.10650" rel="nofollow">論文リンク</a></li> <li>What Does BERT Look At? An Analysis of BERT’s Attention by Kevin Clark, Urvashi Khandelwal, Omer Levy, Christopher D. Manning: <a href="https://arxiv.org/abs/1906.04341" rel="nofollow">論文リンク</a></li> <li>CAT-probing: A Metric-based Approach to Interpret How Pre-trained Models for Programming Language Attend Code Structure: <a href="https://arxiv.org/abs/2210.04633" rel="nofollow">論文リンク</a></li>`,x,u,A='この新しい分野の発展を支援するために、BERT/GPT/GPT-2モデルにいくつかの追加機能を組み込み、人々が内部表現にアクセスできるようにしました。これらの機能は、主にPaul Michel氏の優れた研究（<a href="https://arxiv.org/abs/1905.10650" rel="nofollow">論文リンク</a>）に基づいています。具体的には、以下の機能が含まれています：',w,h,B='<li>BERT/GPT/GPT-2のすべての隠れ状態にアクセスすることができます。</li> <li>BERT/GPT/GPT-2の各ヘッドの注意重みにアクセスできます。</li> <li>ヘッドの出力値と勾配を取得し、ヘッドの重要性スコアを計算し、<a href="https://arxiv.org/abs/1905.10650" rel="nofollow">論文リンク</a>で説明されているようにヘッドを削減できます。</li>',E,c,G='これらの機能を理解し、使用するのを支援するために、特定のサンプルスクリプト「<a href="https://github.com/huggingface/transformers/tree/main/examples/research_projects/bertology/run_bertology.py" rel="nofollow">bertology.py</a>」を追加しました。このスクリプトは、GLUEで事前トレーニングされたモデルから情報を抽出し、ヘッドを削減する役割を果たします。',$,g,L,v,M;return m=new V({props:{title:"BERTology",local:"bertology",headingTag:"h1"}}),g=new X({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ja/bertology.md"}}),{c(){n=i("meta"),d=r(),b=i("p"),y=r(),S(m.$$.fragment),_=r(),p=i("p"),p.textContent=R,P=r(),f=i("ul"),f.innerHTML=H,x=r(),u=i("p"),u.innerHTML=A,w=r(),h=i("ul"),h.innerHTML=B,E=r(),c=i("p"),c.innerHTML=G,$=r(),S(g.$$.fragment),L=r(),v=i("p"),this.h()},l(e){const t=J("svelte-u9bgzb",document.head);n=s(t,"META",{name:!0,content:!0}),t.forEach(a),d=o(e),b=s(e,"P",{}),U(b).forEach(a),y=o(e),j(m.$$.fragment,e),_=o(e),p=s(e,"P",{"data-svelte-h":!0}),T(p)!=="svelte-w8tzfa"&&(p.textContent=R),P=o(e),f=s(e,"UL",{"data-svelte-h":!0}),T(f)!=="svelte-h5g06e"&&(f.innerHTML=H),x=o(e),u=s(e,"P",{"data-svelte-h":!0}),T(u)!=="svelte-lye0ud"&&(u.innerHTML=A),w=o(e),h=s(e,"UL",{"data-svelte-h":!0}),T(h)!=="svelte-eq1b1v"&&(h.innerHTML=B),E=o(e),c=s(e,"P",{"data-svelte-h":!0}),T(c)!=="svelte-1w3bvc9"&&(c.innerHTML=G),$=o(e),j(g.$$.fragment,e),L=o(e),v=s(e,"P",{}),U(v).forEach(a),this.h()},h(){k(n,"name","hf:doc:metadata"),k(n,"content",Z)},m(e,t){Q(document.head,n),l(e,d,t),l(e,b,t),l(e,y,t),D(m,e,t),l(e,_,t),l(e,p,t),l(e,P,t),l(e,f,t),l(e,x,t),l(e,u,t),l(e,w,t),l(e,h,t),l(e,E,t),l(e,c,t),l(e,$,t),D(g,e,t),l(e,L,t),l(e,v,t),M=!0},p:K,i(e){M||(O(m.$$.fragment,e),O(g.$$.fragment,e),M=!0)},o(e){q(m.$$.fragment,e),q(g.$$.fragment,e),M=!1},d(e){e&&(a(d),a(b),a(y),a(_),a(p),a(P),a(f),a(x),a(u),a(w),a(h),a(E),a(c),a($),a(L),a(v)),a(n),z(m,e),z(g,e)}}}const Z='{"title":"BERTology","local":"bertology","sections":[],"depth":1}';function ee(C){return N(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ne extends W{constructor(n){super(),F(this,n,ee,Y,I,{})}}export{ne as component};
