Conversation

Notices

1. Embed this notice
   Florent Moncomble (f_moncomble@mastodon.online)'s status on Monday, 16-Sep-2024 21:52:59 JST Florent Moncomble

   Tiens, pour rebondir sur la vidéo de Desmurget et la différence mots (ou types) vs. tokens…

   Le ratio entre types et tokens fournit une indication de la diversité lexicale d'un texte ou d'un corpus donné : on divise le nombre de tokens par le nombre de types (ou, mieux, de lemmes), et plus le résultat est bas (proche de 1), plus le corpus est "riche" lexicalement.
   …/…

   • Haelwenn /элвэн/ :triskell: likes this.
   • Embed this notice
     Florent Moncomble (f_moncomble@mastodon.online)'s status on Monday, 16-Sep-2024 21:53:59 JST Florent Moncomble

     in reply to

     C'est le type de représentation qui est expliqué ici :
     http://www.jstor.org/stable/42946163

     Et si vous voulez vous amuser à faire pareil, c'est par là :
     https://fmoncomble.github.io/ttr/index.html

     Haelwenn /элвэн/ :triskell: likes this.
   • Embed this notice
     Florent Moncomble (f_moncomble@mastodon.online)'s status on Monday, 16-Sep-2024 21:54:00 JST Florent Moncomble

     in reply to

     Madame Bovary, avec ses 183.000 tokens, va alors sembler bien plus "pauvre" que Boule de Suif (45.600 tokens) : 21,06 vs. 10,22.

     Alors qu'en fait, compte tenu de leurs tailles respectives, ces deux œuvres déploient une diversité lexicale équivalente. Et ça, on le sait en faisant un comptage incrémentiel du nombre de types ou de lemmes rencontrés token après token :

   • Embed this notice
     Florent Moncomble (f_moncomble@mastodon.online)'s status on Monday, 16-Sep-2024 21:54:01 JST Florent Moncomble

     in reply to

     Ainsi, "a rose is a rose is a rose" = 8 tokens / 3 types ≈ 2,67,
     mais "les chaussettes de la comtesse sont super sèches" = 8 tokens / 8 types = 1.

     Pratique ! On peut comparer ainsi la "richesse" du vocabulaire de deux romans, discours, etc.

     Sauf… sauf quand les corpus que l'on compare sont de tailles différentes. En effet, plus un texte est long, plus il va réutiliser les mêmes mots, et son ratio tokens/types va s'envoler.
     …/…

   • Embed this notice
     Haelwenn /элвэн/ :triskell: (lanodan@queer.hacktivis.me)'s status on Monday, 16-Sep-2024 22:06:48 JST Haelwenn /элвэн/ :triskell:

     in reply to
     @f_moncomble Me demandais ce que donnerais http://ncf.idallen.com/english.html (The Chaos - Gerard Nolst Trenité) vu que ça tient pas mal d'une liste de vocabulaire, étrangement le graph ne semble pas le montrer.
     graph.png
   • Embed this notice
     Florent Moncomble (f_moncomble@mastodon.online)'s status on Monday, 16-Sep-2024 22:09:58 JST Florent Moncomble

     in reply to

     • Haelwenn /элвэн/ :triskell:

     @lanodan Je trouve que si, au contraire : un texte "naturel" tendra à avoir une courbe qui s'aplatit, car plus un texte est long, plus les "types" ou lemmes tendent à se répéter. Ici on a une progression quasi arithmétique qui montre qu'il y a très peu de répétition !

     Haelwenn /элвэн/ :triskell: likes this.
   • Embed this notice
     Florent Moncomble (f_moncomble@mastodon.online)'s status on Monday, 16-Sep-2024 22:17:47 JST Florent Moncomble

     in reply to

     • Haelwenn /элвэн/ :triskell:

     @lanodan Après, vu la faible longueur du texte, l'intervalle (1 datapoint tous les 1000 tokens) est probablement trop grand… je vais enlever la limite minimale pour permettre de traiter des textes plus petits… 😉

     Haelwenn /элвэн/ :triskell: likes this.