لدي الآن ملف Train.csv به تسميات وملف test.csv بدون تسميات. الآن، بعد التعرف على محتويات المقالات الإخبارية باستخدام ملف Train.csv مع التسميات، أقوم بإنشاء نموذج يتنبأ بفئات محتويات المقالات، ويتنبأ بالفئات من خلال النظر إلى محتويات المقالات الإخبارية في ملف test.csv الملف، وتحويلها إلى ملف التقديم. يجب أن أرسل نظرًا لأن التسميات غير متوازنة، أريد استخدام 10\_fold, 최신 트랜스포머 기반 모델, roberta를 사용해서 분류해줘. النص الذي تحتاج إلى استخدامه موجود في عمود "النص"، والتسمية موجودة في عمود "التسمية".

أولاً، قم بإزالة الأحرف أو الرموز غير المرغوب فيها من النص، مثل علامات الترقيم والأحرف الخاصة والأرقام الموجودة في عمود النص. قم أيضًا بتصغير كافة النصوص وإزالة كلمات التوقف مثل "the" و"و" و"a". والتحليل المورفولوجي وترميم الأصل. على سبيل المثال، إزالة اللواحق أو استخراج الكلمات الرئيسية وتحويلها إلى نماذج أساسية. والتدقيق الإملائي وتصحيحه وفقًا لذلك.

حقيبة الكلمات (BoW): BoW هي تقنية شائعة الاستخدام في البرمجة اللغوية العصبية لاستخراج الميزات، حيث يتم حساب تكرار حدوث كل كلمة في المقالة واستخدامها كميزة. يتيح ذلك للخوارزمية التقاط الكلمات والعبارات المهمة المرتبطة بكل فئة.

N-grams: N-grams عبارة عن تسلسلات من الكلمات المتجاورة في النص. باستخدام n-grams كميزات، يمكن للخوارزمية التقاط العلاقات بين الكلمات التي لم يتم التقاطها بواسطة BoW. على سبيل المثال، يمكن أن يساعد استخدام الصور الكبيرة (تسلسلات من كلمتين) كميزات في التقاط العبارات المهمة التي ترتبط بشكل متكرر بفئة معينة.

علامات جزء من الكلام (POS): علامات POS هي عملية تعيين جزء من الكلام لكل كلمة في النص. باستخدام علامات POS كميزات، يمكن للخوارزمية التقاط البنية النحوية للنص وتحديد أجزاء الكلام المهمة المرتبطة بكل فئة.

الكيانات المسماة: الكيانات المسماة هي كلمات أو عبارات تشير إلى كيانات محددة، مثل الأشخاص أو المؤسسات أو المواقع. من خلال تحديد واستخدام الكيانات المسماة كميزات، يمكن للخوارزمية التقاط الكيانات المهمة المرتبطة بكل فئة.

نمذجة الموضوع: نمذجة الموضوع هي تقنية يمكن استخدامها لتحديد المواضيع الأساسية في مجموعة من المستندات. باستخدام المواضيع كميزات، يمكن للخوارزمية التقاط السمات والموضوعات المرتبطة بكل فئة.

قم بالضغط على test.csv للنص الذي تم إرساله إلى الملصق الذي تم إرساله إليك. تقديم 파일의 id 컬럼은 test.csv 파일의 id 컬럼을 그대로 가져와줘.
الإجابة باللغة الإنجليزية.
{"source": "ewof/sharegpt-instruct-unfiltered-deduped", "kind": "human", "evolved_from": null}