task_categories:summarization language:fr size_categories:1K<n<10K format:json modality:text library:datasets library:pandas library:mlcroissant library:polars region:us
---
task_categories:
- summarization
language:
- fr
size_categories:
- 1K<n<10K
---
OrangeSum dataset filtered by using the code by Aumiller et al. (1) available at https://github.com/dennlinger/summaries/tree/main

**min_length_summary = 18; min_length_reference = 250; length_metric = "whitespace"**

bi-gram_overlap_fraction between summary and original text < 0.65, meaning that all **summaries in the dataset are on the abstractive side**

Furthermore:
* both in articles and in summaries, every point (".") followed by a capital letter was replaced by a point followed by a space and the same capital letter.

  E.g. "[...] Et les juges ont rejeté la demande de liberté sans condition présentée par l'ex-chef d'Etat **ivoirien.Cela** rend incertain un éventuel retour de M. Gbagbo en Côte d'Ivoire, où le parti qu'il a fondé, le Front populaire ivoirien (FPI), se prépare à l'élection présidentielle prévue en octobre.[...] "

  -->
  
  "[...] Et les juges ont rejeté la demande de liberté sans condition présentée par l'ex-chef d'Etat **ivoirien. Cela** rend incertain un éventuel retour de M. Gbagbo en Côte d'Ivoire, où le parti qu'il a fondé, le Front populaire ivoirien (FPI), se prépare à l'élection présidentielle prévue en octobre.[...]"
* both in articles and in summaries, every question mark ("?") followed by a letter was replaced by a question mark followed by a space and the same letter.
* both in articles and in summaries, every line break ("\n") was removed.


Finally, 5k random samples were selected and kept in this dataset. All other samples were removed.

 
(1): Aumiller, D., Fan, J., & Gertz, M. (2023). On the State of German (Abstractive) Text Summarization. arXiv preprint arXiv:2301.07095.