task_categories:question-answering language:es size_categories:n<1K format:csv modality:text library:datasets library:pandas library:mlcroissant library:polars region:us legal
---
task_categories:
- question-answering
language:
- es
tags:
- legal
pretty_name: justicio_evaluacion_ideonidad_preguntas_legales
size_categories:
- n<1K
---

Este dataset nos permitirá evaluar la idoneidad de las preguntas generadas para su uso dentro de la plataforma [Justicio](https://justicio.es), un archivero que permite consultar desde una interfaz chat las distintas legislaciones, tanto a nivel nacional derivadas del Boletín Oficial del Estado, así como de las derivadas de las distintas Comunidades Autónomas. 

Internamente, Justicio utiliza un esquema de tipo RAG (Retrieval-Augmented Generation) en el que se localizan aquellos fragmentos almacenados más similares a la consulta del usuario, recuperándolos y facilitándoselos al gran modelo de lenguage (LLM) para la generación de la respuesta. Para evaluar este RAG, se ha generado un dataset sintético de preguntas a partir de una ley concreta (Ley de la Propiedad Industrial), empleando las funcionalidades ofrecidas por LlamaIndex.

Este dataset está compuesto por un total de 260 preguntas y respuestas. En esta fase necesitamos establecer qué preguntas son validas y cuales no. En algunos casos resulta muy evidente que la pregunta no es correcta, cuando pregunta por la fecha en la que se creó el fichero o el número de repeticiones de palabras clave. En otros casos no resulta tan trivial, por lo que hemos decidido filtrar este dataset para quedarnos con aquellas preguntas que puedan resultar más útiles para los usuarios de Justicio.

Dado que el objetivo final de Justicio es abarcar toda la legislación española necesitábamos un mecanismo de evaluación que resultara escalable. Para ello, inspirados por el modelo LLM como evaluador, hemos definido una serie de variables categóricas que nos ayudarán a determinar tanto la idoneidad de la pregunta como el tipo de pregunta a que nos estamos enfrentando. 

En primer lugar, evaluaremos la idoneidad de la pregunta desde el número 1 al 10, teniendo en cuenta el público objetivo de la plataforma, que serán personas habituadas a la legislación y con experiencia accediendo a bases de datos legislativas online. En segundo lugar, evaluaremos si la pregunta que se ha generado sintéticamente corresponde a un dato o metadato, ya que en algunos casos a la hora de generar las preguntas toma y pregunta por características concretas de los ficheros, algo que será muy poco relevante cuando queramos escalar eso al resto de los días. A continuación evaluaremos si se trata de algunas de las preguntas ya detectadas en las interacciones con Justicio: preguntas cortas, preguntas con múltiples fuentes, etc.

