grapevine-AI/Phi-3.5-MoE-instruct-GGUF

What is this?

Microsoft社開発のMoEアーキテクチャの言語モデルPhi-3.5-MoE-instructをGGUFフォーマットに変換したものです。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。

Chat template

<|system|>
ここにSystem Promptを書きます<|end|>
<|user|>
ここにMessageを書きます<|end|>
<|assistant|>

Note

llama.cpp-b4512以降と合わせてご利用ください。

Environment

WWindows版llama.cpp-b4453および同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。

License

MIT

Developer

Microsoft