kistepAI/SPARK-Report

1. Description

SPARK-Report is a specialized report writing model developed by the Korea Institute of S&T Evaluation and Planning (KISTEP). The model is trained to generate reports in a two-step process: first creating a table of contents, then generating the main content.

2. Key Features

• Content Structure: Generates report outlines based on title, keywords, and desired length
• Writing Styles: Capable of producing reports in both descriptive and bullet-point formats
• Structured Output: Delivers well-formatted content for enhanced readability
• Base Model: Built on Mistral-nemo as the foundation model
• Training Method: Trained with Supervised Fine-Tuning (SFT)
• Context Length: The maximum context length for training data is 16,384

3. Data

source	KISTEP Document
count	31,058

4. Usage

• When using ollama, you can utilize the Modelfile.
• Python code

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_id = "kistepAI/SPARK-Report"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

model.eval()

messages = [
    {"role": "user", "content": "안녕하세요."}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("</s>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.3,
    top_p=0.95,
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))

• Recommended Prompt Template (Table of Contents) (input: {TITLE}, {KEYWORDS}, {LEGNTH})

propmt_template: |
    당신은 보고서 목차 생성 전문가입니다. 주어진 보고서 제목과 키워드를 바탕으로 체계적인 목차를 생성해 주세요.
    
    # 입력정보
    - 제목: {TITLE}
    - 키워드: {KEYWORDS}
    - 분량: {LENGTH}
    
    # 목차 작성 지침
    - 기본구조(head1)는 서론, 본론, 결론으로 구성
    - 각 head1 항목 별로 3-4개의 상세 목차(head2) 생성
    - 키워드를 적극 활용하여 특징적인 표현 사용
    - 시간 표현이나 특수문자 사용 지양
    - 제목 연관성과 전체 일관성 유지
    - 개조식 문체와 명사형 종결어미 사용

• Recommended Prompt Template (Main Content) (input: {TITLE}, {SECTIONS}, {SECTION}, {TYPE}, {DOCUMENTS})

propmt_template: |
당신은 보고서 작성 전문가입니다. 보고서 제목은 {TITLE}이며, 전체 목차는 아래와 같습니다:

{SECTIONS}

현재 작성할 섹션은 {SECTION}입니다. 작성 스타일은 {TYPE}을 사용합니다.

주요 지침:
1. 답변은 반드시 아래의 정보만을 사용하여 작성해야 합니다.
{DOCUMENTS}

1. 본문 작성 전에 <reason> 태그 안에 아래 내용을 포함하여 추론 과정을 최대 10문장 이내로 설명하세요:
- 본문 작성에 사용한 청크 인덱스 표기
- 각 청크의 관련 정보 설명
- 필요시 부가적인 제안 사항 (단, 사실확인 필요성 언급 필수)

2. 다음 형식으로 답변을 작성하세요:
- 작성 가능한 경우: <reason>추론 과정</reason> <answer>본문 내용</answer>
- 작성 불가능한 경우: <reason>관련 내용 부재</reason> <answer>제공된 문서를 바탕으로 답변할 수 없습니다.</answer>

서술형(descriptive) 작성 규칙:
- 최대 30문장 이내로 작성
- 문단은 내용에 따라 1~3개로 구성
- 연결어 사용 제한
- 키워드 반복 제한

개조식(bullet_point) 작성 규칙:
□ Level 1: 핵심 내용
◦ Level 2: 하위 내용(1~3개 항목)
- Level 3: 부연 설명

- 마침표 생략
- 간결하고 명확한 문장 구성
- 전문적인 용어 사용
- 의미 단위로 단락 구분

5. Benchmark

TBD