Update README.md
Browse files
README.md
CHANGED
@@ -143,9 +143,13 @@ for i, code_list in enumerate(code_lists):
|
|
143 |
|
144 |
## Streaming sample
|
145 |
|
|
|
|
|
|
|
|
|
146 |
### Sever side command
|
147 |
```
|
148 |
-
python3 -m vllm.entrypoints.openai.api_server --model VoiceCore_gptq --host 0.0.0.0 --port 8000 --max-model-len
|
149 |
```
|
150 |
### Client side scripyt
|
151 |
```
|
|
|
143 |
|
144 |
## Streaming sample
|
145 |
|
146 |
+
vLLMをサーバーとして動作させてストリーミングでアクセスさせ、クライアントが逐次再生するデモです。
|
147 |
+
品質は劣化してしまいますがRTX 4060くらいの性能を元GPUならかなりの高速化がみこめます
|
148 |
+
理想は雑音が生成されないタイミングで生成する事ですが、まだ実現出来ておらず、実証実験レベルとお考え下さい
|
149 |
+
|
150 |
### Sever side command
|
151 |
```
|
152 |
+
python3 -m vllm.entrypoints.openai.api_server --model VoiceCore_gptq --host 0.0.0.0 --port 8000 --max-model-len 9000
|
153 |
```
|
154 |
### Client side scripyt
|
155 |
```
|