multilinguality:multilingual language:fr language:fsl license:cc-by-nc-sa-4.0 region:us
---
language:
- fr
- fsl
multilinguality:
- multilingual
viewer: false
license: cc-by-nc-sa-4.0
---

> [!NOTE]
> Dataset origin: https://www.ortolang.fr/market/corpora/mediapi-rgb

> [!CAUTION]
> Vous devez vous rendre sur le site d'Ortholang et vous connecter afin de télécharger les données. Attention, le jeu de données fait plus de 125G !


## Description
Mediapi-RGB est un corpus bilingue de Langue des Signes Française (LSF) et de français écrit sous forme de vidéos sous-titrées, accompagné de données complémentaires (diverses représentations, segmentation, vocabulaire, etc.). Il peut être utilisé pour la recherche académique pour de nombreuses tâches, telles que l'entraînement ou l'évaluation de modèles d'extraction, de reconnaissance ou de traduction de LS.

Pour constituer ce corpus, nous avons utilisé des vidéos de  [Média'Pi!](https://www.media-pi.fr/), un média en ligne bilingue avec du contenu de type journalistique en LSF sous-titré en français. Nous avons collecté 1230 vidéos datant de septembre 2017 à janvier 2022, représentant un total de 86h. En nous appuyant sur les sous-titres, nous avons segmenté temporellement les vidéos en 50084 segments vidéo. Nous avons aussi recadré automatiquement le signeur et harmonisé les segments en terme de taille (444x444) et de fréquence (25fps).

Version 1 du dépôt :
Dans cette première version, nous fournissons les extraits  vidéos des ensembles test et val, ceux de l'ensemble train, actuellement sous embargo, seront disponibles en 2025 (37651 vidéos). Nous fournissons de plus quatre types de données : [OpenPose](https://github.com/CMU-Perceptual-Computing-Lab/openpose) (calculées à partir des 1230 vidéos d'origine), [Mediapipe Holistic](https://github.com/google-ai-edge/mediapipe/blob/master/docs/solutions/holistic.md), I3D et [Video Swin Transformer](https://github.com/SwinTransformer/Video-Swin-Transformer) (calculées à partir de chacune des 50084 extraits (ou segments) vidéos en utilisant des modèles entraînés sur la langue des signes britannique). Nous fournissons aussi les sous-titres en français, ainsi qu'une liste de  noms (communs et propres) lemmatisés apparaissant au moins 5 fois dans les sous-titres des extraits. Enfin, nous fournissons pour chaque segment vidéos les prédictions de frontières entre les signes.


## Répertoires et fichiers :
### Répertoire data

- videos_test.zip : vidéos de l'ensemble de test  (8060 extraits vidéos)
- videos_val.zip : vidéos de l'ensemble de validation (4373 extraits vidéos)
- openpose_zips.zip : 1230 fichiers de points Openpose, (un fichier pour chaque frame, un zip pour chaque vidéo d'origine)
- mediapipe1.zip, mediapipe2.zip, mediapipe3.zip : 50084 fichiers zip de points Mediapipe Holistic (un fichier pour chaque frame, un zip pour chaque extrait vidéo)
- i3d.zip : 50084 fichiers .mat, chaque fichier contenant les descripteurs I3D pour chacun des extraits vidéo
- videoswin.zip : 50084 fichiers .npy contenant les descripteurs Video-Swin pour chacun des extraits vidéos. 

- sign_segmentation.zip : 50084 fichiers, un par segment vidéo, contenant les prédictions de frontières entre les signes ainsi que leur probabilité. [Code utilisé](https://github.com/RenzKa/sign-segmentation).
- subtitles.csv : 50084 sous-titres alignés avec les segments vidéos
- vocab.txt : fichier de 3894 noms (communs et propres) lemmatisés apparaissant au moins 5 fois dans les sous-titres des segments vidéos

### Répertoire information
- info_mediapirgb.csv : contient les informations de résolution, fréquence d'image, durée, nombre de frames de chaque segment vidéo, ainsi qu'une répartition des segments en train/dev/test

## Citation
```
@misc{11403/mediapi-rgb/v1,
    title = {Mediapi-RGB},
    author = {LISN},
    url = {https://hdl.handle.net/11403/mediapi-rgb/v1},
    note = {{ORTOLANG} ({Open} {Resources} {and} {TOols} {for} {LANGuage}) \textendash www.ortolang.fr},
    copyright = {Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International},
    year = {2024}
}
```