La tokenització de les lletres en el procés d'entrenament d'un model d'IA per crear poesia mitjançant tècniques de TensorFlow i NLP té diversos propòsits importants. La tokenització és un pas fonamental en el processament del llenguatge natural (NLP) que consisteix a descompondre un text en unitats més petites anomenades fitxes. En el context de les lletres, la tokenització implica dividir les lletres