license:apache-2.0 region:us
---
license: apache-2.0
---

Thư mục src chưa mã nguồn của toàn bộ project

Thư mục images chứa image của docker, docker đã cài đặt toàn bộ các thư viện cần thiết để chạy code

Chạy lệnh sau để start docker và mount thư mục src:

```bash
docker run --gpus all -v ./src:/workspace -it quangnm144/soict-hkt:v1 bash
```

Toàn bộ pipeline gồm có 7 bước tương ứng với các file python:
- dataprocess.py: tiền xử lý dữ liệu
- embed-corpus-01: nhúng corpus phục vụ cho phase 1 chọn ra top 200
- vector-search-01: chọn ra top 200
- embed-corpus-02: nhúng corpus phục vụ cho phase 2 chọn ra top 50
- vector-search-02: chọn ra top 50
- rerank: chọn ra top 10

Để finetune các check-point: 

Chuẩn bị dữ liệu cho mỗi mô hình bằng cách chạy file python: finetune/prepair_data.py

Chạy các script trong thư mục finetune để finetune các mô hình tương ứng