Tokenizace

Text | Úroveň: Beginner

Rozdělení textu na menší části (tokeny), které může model zpracovat.