Update README.md

README.md

@@ -27,10 +27,12 @@ This llama model was trained 2x faster with [Unsloth](https://github.com/unsloth
 
 # Usage(Code for inference)
 本モデルを用いてELYZA-tasks-100-TVの出力を得るためのコードです。 
-なお、松尾研LLM講座2024の最終コンペ課題の提出物を得ることを目的としたコードです。そのため、コンペの評価用途以外は使用禁止とします。
+なお、[松尾研LLM講座2024](https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/)の最終コンペ課題の提出物を得ることを目的としたコードです。そのため、コンペの評価用途以外は使用禁止とします。
 このコードで生成されたjsonlファイルは課題の成果として提出可能なフォーマットになっています。
 
 ## 環境構築
+omnicampusとGoogle Colab下での環境構築方法は以下の通りです。
+### omnicampus
 omnicampus環境下で事前にterminalで環境構築の必要があります。  
 ```
 # conda環境の構築
@@ -56,6 +58,17 @@ conda install -c conda-forge ipykernel -y
 python -m ipykernel install --user --name=unsloth_env --display-name "Python (unsloth_env)"  
 ```
 
+### Google Colab
+Google Colab環境下で推論前に環境構築の必要があります。
+以下に示す推論用コードはRuntime TypeとしてPython 3、Hardware acceleratorとしてT4 GPU以上を想定しています。
+
+```
+!pip install unsloth
+!pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
+!pip install -U torch
+!pip install -U peft
+```
+
 ## 推論用コードの実行
 ```python
 # 必要なライブラリを読み込み
@@ -68,11 +81,15 @@ import re
 
 # ベースとなるモデルと学習したLoRAのアダプタ。
 # model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。
-model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a"
+model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a"　# omnicampus環境の場合
+model_id = "llm-jp/llm-jp-3-13b" # Google Colab環境の場合
 adapter_id = "rlcgn589/llm-jp-3-13b-it-12_lora"
 
 # Hugging Face Token を指定。
-HF_TOKEN = "your Hugging Face Token"
+HF_TOKEN = "your Hugging Face Token" # omnicampus環境の場合
+
+from google.colab import userdata
+HF_TOKEN = userdata.get('HF_TOKEN') # Google Colab環境の場合
 
 # unslothのFastLanguageModelで元のモデルをロード。
 dtype = None # Noneにしておけば自動で設定
@@ -90,6 +107,7 @@ model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN)
 
 # データセットの読み込み。
 # omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
+# Google Colab環境下では、左のファイルアイコンをクリックしタスクのjsonlをドラッグアンドドロップしてから実行。
 datasets = []
 with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
     item = ""