Ортогональный парсинг

Обобщая метод Horspool & Cormack разделения на "слова" и "неслова", приходим к
идее ортогонального парсинга. Любой метод фрагментирования текста на
непересекающиеся множества токенов может оказаться удачным, при условии не
слишком большой битовой ширины и достаточной повторяемости фрагментов.