إعادة الكتابة: تتمثل أهدافنا في هذا المشروع في توصيف وفهم الهندسة المثالية لخسارة التباين الخاضعة للإشراف (SCL) التي اقترحها لأول مرة خوسلا وآخرون. آل (2020) لتدريب تصنيف الشبكات العصبية. في المقام الأول، تكمن اهتماماتنا في ظاهرة الانهيار العصبي (NC) (Papyan et. al 2020) حيث تتم محاذاة تمثيلات الطبقة الأخيرة (التضمينات) وأوزان رأس التصنيف وتشكل بنية إطار محكم متساوي الزوايا (ETF). تم توصيف ظواهر NC وتحليلها لأول مرة للشبكات العصبية المُحسّنة من خلال فقدان الانتروبيا المتقاطعة (CE). ومع ذلك، فقد أظهر العمل الأخير أن هيكل مؤسسة التدريب الأوروبية هو الشكل الهندسي الأمثل لـ SCL (Graf et al. 2021). أملنا هو سد الثغرات من خلال التعامل مع المشكلة من منظور التحسين. مع هذا، نرى إمكانية توصيف الشكل الهندسي مرة أخرى باعتباره صندوق استثمار متداول، ولكن بالإضافة إلى ذلك سنقوم بتحليل الإعداد غير المتوازن للبيانات المشابه لما تم إنجازه مؤخرًا لـ CE (Thrampoulidis et al. 2022). يتمتع هذا النهج ببعض المزايا: (أ) سنكون قادرين على تطبيق إطار التحسين الراسخ من أجل زيادة فهم SCL؛ (ب) أنه يوفر إمكانية استكشاف الأشكال الهندسية المعدلة بسبب القيود الإضافية، مثل تلك التي تفرضها بعض الشبكات العصبية الحديثة. لقد كان التعلم العميق الحديث يتجه نحو نماذج أكبر مثل المحولات التي تم تدريبها عبر وسائل غير خاضعة للرقابة، علاوة على ذلك، أشارت الأعمال الحديثة إلى زيادة قوة الاختلالات التوزيعية في هذا الإعداد. يوفر هذا العمل نقطة انطلاق لفهم الهندسة الضمنية للإعدادات غير الخاضعة للإشراف من خلال فهم مقاييس التشابه الذاتي مثل SCL والتي تعد جوهر التعلم غير الخاضع للإشراف.
{"source": "ewof/sharegpt-instruct-unfiltered-deduped", "kind": "human", "evolved_from": null}