license:mit region:us
---
license: mit
---
# Qwen2.5 ARC-Challenge 推理代码

`model_arc_challenge.py` 是针对 **Qwen2.5** 模型的相关推理代码，用于运行 ARC 基准测试。  
该基准测试的重点是评估生成的答案在科学推理和常识问答任务中的表现。

`eval_arc_challenge.py` 是针对推理结果的评分代码，主要通过正则表达式来解析和评估生成结果。

---

## ARC 数据集简介

**ARC (AI2 Reasoning Challenge)** 是一个基于中学生考试中科学问题的基准数据集，用于评估模型的科学推理能力。  
数据集进一步分为两个子集：
- **ARC-Easy**：相对简单的问题，测试模型的基础知识能力。
- **ARC-Challenge**：更复杂和困难的问题，旨在测试模型的高级推理能力。

---

### 数据集特点
- ARC 数据集以中学生考试中的科学问题为核心，主要测试模型在常识推理和科学问答任务上的能力。
- 数据集分为多项选择题形式，每个问题提供若干个选项，要求模型选择最合适的答案。

### 数据文件说明
- **ARC-Challenge** 数据集包含约 2.5k 个问题，问题难度较高。
- “Rethinking the Instruction Quality: LIFT is What You Need” 论文中提到 ARC-Challenge 数据集包含 25k 个问题，但这可能是误解，因为官方提供的数据中 **ARC-Challenge** 只有约 2.5k 个问题。