If the search engine supports multiple document formats, documents must be prepared for tokenization.
Если поисковая система поддерживает множество форматов документов, то документы должны быть подготовлены для токенизации.