size_categories:1K<n<10K format:parquet modality:text library:datasets library:pandas library:mlcroissant library:polars region:us
---
dataset_info:
  features:
  - name: tokenization by sentences
    dtype: string
  - name: tokenization by words
    sequence: string
  - name: tokenization by bigrams
    sequence:
      sequence: string
  splits:
  - name: train
    num_bytes: 2839605
    num_examples: 5206
  download_size: 105204
  dataset_size: 2839605
configs:
- config_name: default
  data_files:
  - split: train
    path: data/train-*
---
📊 Анализ текстового корпуса: сегментация, частотный анализ и биграммы

Описание набора данных

Этот набор данных представляет собой результат анализа текстового корпуса, включающий:

Разбиение текста на предложения, слова и биграммы.
Частотный анализ слов и биграмм.
Оценку лексического разнообразия.
Гистограммы и облака слов для наглядного представления результатов.
Методы анализа

1. Оценка уникальности слов 
Этот анализ помогает определить, насколько разнообразен словарный запас текста:
Коэффициент лексического разнообразия: 0.0026
📌 Вывод:
Низкий показатель уникальности указывает на узкий лексический диапазон и частое повторение слов.

2. Частотный анализ слов и биграмм
Проведен анализ встречаемости биграмм для выявления частотыных сочетаний.
Топ-10 частотных биграмм:
('title', ':'): 1000
('we', "'ll"): 906
('how', 'to'): 690
('if', 'you'): 687
(',', 'we'): 681
('in', 'your'): 615
('this', 'article'): 499
('your', 'projects'): 412
('at', 'first'): 409
('first', ','): 409



3. Анализ длины предложений и слов
Для понимания структуры текста проведены измерения длины предложений и слов.

Основные метрики:

Средняя длина предложения: примерно 15.8 слов
Средняя длина слова: около 15 символов
📌 Вывод:
Длина предложений указывает на сложность синтаксиса текста, а длина слов — на использование профессиональной или научной лексики.

Гистограмма частотного распределения слов. 20 самых используемых слов

Все слова связаны с основной темой тескта

![image/png](https://cdn-uploads.huggingface.co/production/uploads/670f90f383cc26926f576a96/RhkYj0gccAKnwqKEIsORG.png)


Облако ключевых слов. 

Здесь также можно наблюдать слова с тематикой текста

![image/png](https://cdn-uploads.huggingface.co/production/uploads/670f90f383cc26926f576a96/AvnEcv_HokKBsDOjN148A.png)



