Adzpro/embedding_e5

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Adzpro/embedding_e5")
# Run inference
queries = [
    'query: Vay ngắn hạn từ các công ty liên quan.',
]
documents = [
    'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.22.1 - Vay ngắn hạn các bên liên quan | Công ty CP Đầu tư Xây dựng Đức Long Gia Lai: 25.390.034.377 VNĐ | Hợp đồng vay số 09/2023/HĐ ngày 15/12/2023, thời hạn 60 ngày, lãi suất 9,5%/năm, tín chấp.',
    'passage: Báo cáo kết quả hoạt động kinh doanh | Mã số 11 | 4. Giá vốn hàng bán | Thuyết minh VI.2 | Năm nay: 899.483.792.852 VNĐ | Năm trước: 1.020.596.883.021 VNĐ.',
    'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Tài sản thế chấp: Đảm bảo bằng toàn bộ tài sản, quyền tài sản, quyền thu phí hình thành của Dự án BOT Quốc lộ 14 (trạm thu phí, xe ô tô) và số dư tiền gửi tại ngân hàng BIDV.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7452, -0.0219,  0.0791]])

Evaluation

Metrics

Information Retrieval

• Datasets: Test_Set and Val_Set
• Evaluated with InformationRetrievalEvaluator

Metric	Test_Set	Val_Set
cosine_accuracy@1	0.8667	0.9333
cosine_accuracy@5	1.0	1.0
cosine_accuracy@10	1.0	1.0
cosine_precision@1	0.8667	0.9333
cosine_precision@3	0.3333	0.3333
cosine_precision@5	0.2	0.2
cosine_precision@10	0.1	0.1
cosine_recall@1	0.8667	0.9333
cosine_recall@3	1.0	1.0
cosine_recall@5	1.0	1.0
cosine_recall@10	1.0	1.0
cosine_ndcg@5	0.9464	0.9754
cosine_ndcg@10	0.9464	0.9754
cosine_mrr@1	0.8667	0.9333
cosine_mrr@5	0.9278	0.9667
cosine_mrr@10	0.9278	0.9667
cosine_map@100	0.9278	0.9667

Training Details

Training Dataset

Unnamed Dataset

• Size: 140 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1
  type	string	string
  modality	text	text
  details	min: 13 tokens mean: 18.69 tokens max: 25 tokens	min: 49 tokens mean: 73.96 tokens max: 116 tokens

• Samples:

  sentence_0	sentence_1
  query: Tài sản đảm bảo cho đợt phát hành trái phiếu Công ty.	passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.2 | Trái phiếu bảo lãnh bởi Công ty CP Trồng rừng ĐLGL, Công ty TNHH Đức Long Dung Quất, Công ty CP Tập đoàn Alpha Seven và tài sản cá nhân Ông Bùi Pháp.
  query: Phải thu ngắn hạn khác về lãi cho vay.	passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.6a - Phải thu ngắn hạn khác | Phải thu về lãi cho vay đối với các tổ chức và cá nhân khác: 631.888.363.243 VNĐ | Dự phòng phải thu lãi cho vay khó đòi: (557.632.111.992) VNĐ.
  query: Tình hình thu hồi nợ vay sau ngày kết thúc năm tài chính.	passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.5b (*) | Tổng các khoản cho vay là 2.261.257.969.704 VNĐ. Tính đến ngày 30/03/2024, công ty đã thu hồi được 1.352.410.295.861 VNĐ.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 5
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• per_device_train_batch_size: 8
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Test_Set_cosine_ndcg@10	Val_Set_cosine_ndcg@10
-1	-1	0.9464	-
0.5556	10	-	0.9385
1.0	18	-	0.9341
1.1111	20	-	0.9464
1.6667	30	-	0.9631
2.0	36	-	0.9631
2.2222	40	-	0.9631
2.7778	50	-	0.9631
3.0	54	-	0.9631
3.3333	60	-	0.9631
3.8889	70	-	0.9754

Training Time

• Training: 1.8 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.13.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}