cnmoro/Qwen2.5-0.5B-Rag-Thinking

This is Qwen2.5-0.5B-Instruct finetuned to perform question-answering on basic RAG systems, while using the reasoning mechanism.

The usage of this template is strict

Sample inference:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "cnmoro/Qwen2.5-0.5B-Rag-Thinking"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")

prompt = """<|im_start|>system
Você responde perguntas do usuário, sempre utilizando o contexto fornecido como base.
Escreva o seu raciocínio para responder a pergunta, entre as tags <think> e </think>.<|im_end|>
<|im_start|>user
Contexto:
Limpar o vaso sanitário é uma tarefa que não interessa às pessoas. Muitos, no entanto, rezam
por uma tecnologia que possa salvá-los da missão desagradável. Aparentemente, essas
orações foram atendidas: um grupo de cientistas chineses desenvolveu o conceito de um
vaso sanitário autolimpante e conseguiu torná-lo realidade. Graças à impressão 3D,
pesquisadores da Universidade de Ciência e Tecnologia de Huazhong conseguiram
revolucionar a desagradável tarefa doméstica. O vaso sanitário autolimpante, conhecido
como “ARSFT”, uma sigla para “abrasion-resistant super slippery toilet flush” — a
tecnologia que permite a limpeza automática — surgiu de uma combinação complexa
de plástico e grãos de areia que repelem água. Em inglês simples, a tecnologia
garante que nenhuma substância grude na superfície. Portanto, além de ser
uma salvação para muitos, esta pode ser uma alternativa mais sustentável aos vasos sanitários
convencionais. O site New Scientist entrevistou um dos cientistas do projeto,
Yike Li, que criou o vaso sanitário autolimpante. Segundo Li, os chineses usaram,
além da combinação de plástico e grãos de areia, um laser para unir as
partículas, criando assim o vaso sanitário autolimpante impresso em 3D. Após a impressão,
os pesquisadores usaram óleo de silicone para lubrificar a superfície do vaso sanitário, conseguindo
penetrá-lo devido à estrutura do modelo. Isso gerou a
capacidade de autolimpeza do vaso sanitário, com os seguintes materiais não deixando marcas após
a descarga: Leite; Iogurte; Mel; Água barrenta; Gel de amido misturado com mingau.
Os cientistas chineses também testaram o vaso sanitário autolimpante com fezes sintéticas,
usando uma mistura de missô, fermento, óleo de amendoim e água, conseguindo imitar
excrementos humanos. Embora possa ser estranho que cientistas trabalhem para criar tecnologias de vaso sanitário,
várias inovações aparentemente “desnecessárias” podem ter um grande impacto global.
O vaso sanitário autolimpante criado por pesquisadores chineses pode reduzir consideravelmente o desperdício de água.
Segundo cientistas chineses, o vaso sanitário autolimpante pode suportar mil ciclos de raspagem
graças à sua capacidade super escorregadia. Portanto, o vaso sanitário autolimpante tem
um novo método de descarga que minimiza o consumo de água – e o desperdício. O Daily Mail
aponta que, desde sua invenção no século XVIII, embora o vaso sanitário tenha
aumentado a higiene, uma quantidade significativa de água é necessária devido à adesão
entre a superfície do vaso sanitário e as fezes e urina humanas. Em todo o mundo, as
descargas de vasos sanitários correspondem a 141 bilhões de litros de água diariamente. Portanto, além
de economizar um recurso valioso para a humanidade, o vaso sanitário autolimpante também tem outro
benefício ambiental. Em locais como banheiros públicos e químicos, especialmente
onde não há conexão com o sistema de saneamento, o vaso sanitário autolimpante
aparece como uma solução ideal.

Pergunta:
Quais materiais foram testados no vaso, em relação à aderência?<|im_end|>
<|im_start|>assistant
<think>"""

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=384, temperature=0.5, do_sample=True)

input_length = inputs.input_ids.shape[1]
generated_tokens = outputs[0, input_length:]
generated_text = tokenizer.decode(generated_tokens, skip_special_tokens=True)

# Remove the stop token from the generated text
generated_text = "<think>" + generated_text

print(generated_text)
# <think>Para responder à pergunta sobre os materiais utilizados no vaso, preciso procurar no texto trechos que mencionem a adesão do vaso sanitário ao material usado para suas fezes e urinas.</think>
# Em vários experimentos, cientistas chineses testaram o vaso sanitário autolimpante com fezes sintéticas usando uma mistura de missô, fermento, óleo de amendoim e água, e obtiveram resultados similares a excrementos humanos. Embora possa ser estranho que cientistas trabalhem para criar tecnologias de vaso sanitário, o vaso sanitário autolimpante pode reduzir consideravelmente o desperdício de água.