Florent Moncomble (f_moncomble@mastodon.online)'s status on Saturday, 14-Sep-2024 21:25:20 JST

Ainsi « J’aime mieux le vélo bleu que le vélo rouge » comporte 10 tokens, mais 8 mots, puisqu’on trouve 2 fois les formes « le » et « vélo ».
Quant au « lemme », c’est la forme de base d’un mot donné. Ainsi, « vais », « ira » et « allez » sont trois formes du lemme « aller ».
Du coup, on ne sait pas bien ce que veut dire M. Desmurget, mais ce qui est sûr, c’est qu’il parle d’1 million de tokens, pas de mots, parmi lesquels on apprend 1000 mots, ou plus probablement lemmes.