gemma2-9b-finetuned-3rd

gemma2のファインチューンモデルです。松尾研大規模言語モデル講座2024のコンペ用の提出モデルとして作成しました。 基本的に、同講座がサンプルとして提供していたpeftチューニングを行い、そこに簡単なシステムプロンプトを挿入し推論したものになります。

推論方法・提出jsonの再現方法

このレポジトリにあるmodel_inference.ipynbのセルをすべて実行いただければ再現ができると思われます。ただし、セル3にHFのトークンを入力し、ディレクトリに評価用データセットを入れておく必要があることに留意してください。 生成結果のjsonの名称はデフォルトでは”gemma2-9b-finetuned-results.json"となります。

ライセンス

gemma2に準拠します。