Le visualiseur: https://word-embeddings.wbkolleg.unibe.ch/
Code: https://gitlab.com/JChataigne/embeddings-visualiser
En tant qu’étudiant ingénieur découvrant les réseaux de neurones en 2017, avant l’introduction des Transformers; l’une des choses les plus intrigantes et amusantes que j’ai découvertes était que des opérations arithmétiques pouvaient être appliquées aux vecteurs sémantiques (word embeddings en anglais) et que cela avait effectivement un sens. Pour citer le papier qui a introduit cette notion :
De manière surprenante, nous avons constaté que la similarité des représentations de mots va au-delà des simples régularités syntaxiques. En utilisant une technique de décalage de mots où des opérations algébriques simples sont effectuées sur les vecteurs de mots, il a été montré, par exemple, que vecteur(‘Roi’) – vecteur(‘Homme’) + vecteur(‘Femme’) donne un vecteur qui est le plus proche de la représentation vectorielle du mot ‘Reine’. Dans ce papier, nous essayons de maximiser la précision de ces opérations vectorielles en développant de nouvelles architectures de modèles qui préservent les régularités linéaires entre les mots.
C’est une manière intuitive et agréable de montrer comment les vecteurs peuvent capturer la sémantique. Cet exemple particulier (« Roi » – « Homme » + « Femme » ≈ « Reine ») est encore très souvent utilisé dans les cours d’introduction aux réseaux de neurones.
Mais en suivant (et plus tard en donnant) de tels cours, j’ai toujours été déçu que seuls des exemples fixes soient donnés, car (1) ils auraient pu être sélectionnés pour faire paraître le phénomène plus important et (2) je voulais pouvoir explorer d’autres d’exemples. La seule façon de voir plus d’exemples était d’exécuter le code soi-même, ce qui nécessite soit un temps, soit des compétences que la plupart des gens n’ont pas.
J’ai donc pris quelques jours pour construire un visualiseur de vecteurs sémantiques et je l’ai rendu public. Vous pouvez cliquer sur ce lien pour l’essayer.
J’ai également créé une version pour visualiser les vecteurs/embeddings de documents, mais je n’ai pas de serveur pour celle-ci pour le moment. Vous pouvez toujours l’exécuter localement, le code est public.