license:mit size_categories:1K<n<10K format:parquet modality:text library:datasets library:pandas library:mlcroissant library:polars region:us
---
license: mit
dataset_info:
  features:
  - name: sentences
    dtype: string
  - name: words
    sequence: string
  - name: bigrams
    sequence:
      sequence: string
  splits:
  - name: train
    num_bytes: 2839605
    num_examples: 5206
  download_size: 175251
  dataset_size: 2839605
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
---
В ходе работы проведено больше чем 3 (вообще, 7) типов статистического анализа текста. 
Такой объем анализа позволяет рассмотреть текст с разных сторон. Ниже представлены данные по 3-м типам анализа:
1. Анализ уникальности данных
2. Анализ частоты POS-тегов
3. Вычисление средней длины, медианы, стандартного отклонения, и квартилей для предложений, слов, n-грамм

**1. Анализ уникальности данных**
Позволяет посмотреть, насколько текст лексически "необычен", какая доля уникальных слов в нем содержится.

**Доля уникальных слов:** 0.49%

**2. Анализ частоты POS-тегов**
Позволяет проанализировать текст с точки зрения частей речи. Это может быть использовано для определения жанра текста. 
Например, в анализируемом тексте преобладают существительные. О чем это говорит, можно прочесть ниже в разделе о трендах.

**Первая 5-ка лидирующих частей речи:**

NOUN: 17114 

VERB: 13071

PUNCT: 9965

ADP: 8466

PRON: 7291

**3. Вычисление средней длины, медианы, стандартного отклонения, и квартилей для предложений, слов, n-грам**
Статистические показатели текста

- Для предложений:

Средняя длина: 15.82

Стандартное отклонение: 6.70

Медиана: 15.00

Квартили: [12. 15. 22.]

- Для слов:

Средняя длина: 6.41

Стандартное отклонение: 2.65

Медиана: 6.00

Квартили: [4. 6. 8.]

- Для биграмм:

Средняя длина: 12.83

Стандартное отклонение: 4.11

Медиана: 13.00

Квартили: [10. 13. 15.]


![image/png](https://cdn-uploads.huggingface.co/production/uploads/670f90e8567b08c90c7f2cac/DLPujbltngAHmIMHGRVMf.png)

**Тренды**

1. **Текст лексически не разнообразен и не "уникален".**
Об этом говорят показатели уникальности данных. Текст содержит посредственный набор лексических средств, можно сказать, стилистически нейтрален

2. **Текст более предметный, статичный, нежели динамичный**
О таком позволяют предположить данные о частоте POS-тегов. Наиболее частотная часть речи — существительное. Напротив, в текстах с динамичным повествованием, как правило, чаще встречаются глаголы.

3. **Предложения в тексте достаточно длинные, длина слов — средняя**
Предложения в тексте имеют среднюю длину 15,82 слова, что указывает на то, что текст состоит из относительно длинных предложений. Медиана 15,00 подтверждает, что большинство предложений имеют длину около 15 слов.

Стандартное отклонение 6,70 для длины предложений указывает на то, что длина предложений может значительно варьироваться. 

Медиана слов 6,00 подтверждает, что большинство слов имеют длину около 6 символов.

**Гистограмма**


![image/png](https://cdn-uploads.huggingface.co/production/uploads/670f90e8567b08c90c7f2cac/lVFIEzj8ssy7b5URndtmD.png)

**Облако слов**


![image/png](https://cdn-uploads.huggingface.co/production/uploads/670f90e8567b08c90c7f2cac/fiF6KOjiiH6PdrCYEZ5qu.png)
