Токенизация фраз и матчинг

[Risvind]

А в образовательных целях можно поспрашивать про токенизацию и матчинг? Как происходит разбиение фразы? Н-граммы?

[бкрс]

Мы академиев не кончали, что такое токенизация, матчинг и н-граммы не знаем.

Разбиение на фразы происходит поиском всех возможных и выбором максимально длинной.