license:mit region:us
---
license: mit
---
# Qwen2.5 HellaSwag 推理代码

`model_hellaswag.py` 是针对 **Qwen2.5** 模型的相关推理代码，用于运行 HellaSwag 基准测试。  
该基准测试的重点是评估生成的答案在复杂上下文和常识推理任务中的表现。

`eval_hellaswag.py` 是针对推理结果的评分代码，主要通过正则表达式来解析和评估生成结果。

---

## HellaSwag 数据集简介

**HellaSwag** 是由斯坦福大学的研究人员开发的基准数据集，用于评估通用语言理解任务。  
其名称 “HellaSwag” 是一种俚语表达，意为“当上下文知识远超常识时，会发生什么”。  

### 数据集特点
- HellaSwag 以复杂的上下文和常识推理为核心，主要测试模型在语义理解和推断能力上的表现。
- 数据集由一系列描述性场景组成，每个场景有多项选择，要求模型选择最合适的后续描述。

### 数据文件说明
- **hellaswag.json**仅使用了 **train** 和 **val** 两个分集。
- **test** 数据集未提供标注答案，因此无法用于衡量模型的正确率。
