dahara1 commited on
Commit
48d39ae
·
verified ·
1 Parent(s): 7339bc2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -1
README.md CHANGED
@@ -144,14 +144,17 @@ for i, code_list in enumerate(code_lists):
144
  ## Streaming sample
145
 
146
  vLLMをサーバーとして動作させてストリーミングでアクセスさせ、クライアントが逐次再生するデモです。
147
- 品質は劣化してしまいますがRTX 4060くらいの性能を元GPUならかなりの高速化がみこめます
148
  理想は雑音が生成されないタイミングで生成する事ですが、まだ実現出来ておらず、実証実験レベルとお考え下さい
149
 
150
  ### Sever side command
 
151
  ```
152
  python3 -m vllm.entrypoints.openai.api_server --model VoiceCore_gptq --host 0.0.0.0 --port 8000 --max-model-len 9000
153
  ```
154
  ### Client side scripyt
 
 
155
  ```
156
  import torch
157
  from transformers import AutoTokenizer
 
144
  ## Streaming sample
145
 
146
  vLLMをサーバーとして動作させてストリーミングでアクセスさせ、クライアントが逐次再生するデモです。
147
+ 品質は劣化してしまいますがRTX 4060くらいの性能をもつGPUなら疑似リアルタイム再生が実現できます。
148
  理想は雑音が生成されないタイミングで生成する事ですが、まだ実現出来ておらず、実証実験レベルとお考え下さい
149
 
150
  ### Sever side command
151
+ (Linux server前提)
152
  ```
153
  python3 -m vllm.entrypoints.openai.api_server --model VoiceCore_gptq --host 0.0.0.0 --port 8000 --max-model-len 9000
154
  ```
155
  ### Client side scripyt
156
+ (Windows前提)
157
+ SERVER_URLを書き換えてください
158
  ```
159
  import torch
160
  from transformers import AutoTokenizer