task_categories:text-generation task_categories:text2text-generation language:en license:apache-2.0 size_categories:1K<n<10K format:parquet modality:text library:datasets library:pandas library:mlcroissant library:polars region:us code text-processing nltk statistics
---
license: apache-2.0
dataset_info:
  features:
  - name: sentences
    dtype: string
  - name: words
    sequence: string
  - name: bigrams
    sequence:
      sequence: string
  splits:
  - name: train
    num_bytes: 2839605
    num_examples: 5206
  download_size: 175251
  dataset_size: 2839605
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
task_categories:
- text-generation
- text2text-generation
language:
- en
tags:
- code
- text-processing
- nltk
- statistics
size_categories:
- 10K<n<100K
---
# Задача 2: Разметка датасета с HF Datasets: статистический анализ и визуализация


Разметка представленного датасета выполнена в рамках курса по компьютерной лингвистике НИУ ВШЭ (СПб).


## ПРОВЕДЕННЫЙ АНАЛИЗ


Был пороведен статистический анализ текста, включающий:

1. Анализ уникальности данных

   
   Доля уникальных слов: 0.0032

2. Частотный анализ биграмм и триграмм


![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/HDnqhZBhY7dJqKKQr_ECZ.png)


![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/6FwRRmJF7C8mIkIlc3s0Q.png)


3. Анализ распределений: Длины предложений, слов и n-грамм

Средняя длина предложения: 15.82
Стандартное отклонение длины предложений: 6.70
Медиана длины предложений: 15.00
Квартиль 25%, 50%, 75% длины предложений: [12. 15. 22.]


![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/0q443zcwLnOLlpyg0jt00.png)


![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/mVatfkVhzJQneM0kDpMF1.png)


![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/5RM3jKA3lPhP1UqggjCNR.png)

С частотным анализом слов можно ознакомиться в виде графика:

![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/_RUNs2ojhrwvKcw4fnGA_.png)

Для более содержательного анализа также был произведен частотный анализ текста, в котором были удалены стоп-слова:

![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/a-wNGmql6dNGLxRmGMFrU.png)

Помимо этого был выгружен частотный анализ слов в виде облака.

1. Без удаления стоп-слов:
   
![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/wtMV-mgB8QwXIphKjeoum.png)

2. После очистки текста от стоп-слов:

![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e83461db4a5f07d52c28b6/eUzDy3qLERLJz5Qch4ACX.png)