{"id":199,"date":"2026-06-01T14:09:48","date_gmt":"2026-06-01T14:09:48","guid":{"rendered":"https:\/\/blog.chataignon.org\/joseph\/?p=199"},"modified":"2026-06-01T14:09:48","modified_gmt":"2026-06-01T14:09:48","slug":"comment-entrainer-des-modeles-de-vecteurs-semantiques","status":"publish","type":"post","link":"https:\/\/blog.chataignon.org\/joseph\/fr\/post-199\/comment-entrainer-des-modeles-de-vecteurs-semantiques\/","title":{"rendered":"Comment entra\u00eener des mod\u00e8les de vecteurs s\u00e9mantiques"},"content":{"rendered":"\n

Beaucoup de gens \u00e0 qui j’ai parl\u00e9 r\u00e9cemment pensent spontan\u00e9ment que les mod\u00e8les de vecteurs s\u00e9mantiques (embeddings<\/em>) peuvent \u00eatre entra\u00een\u00e9s avec du texte, comme les mod\u00e8les g\u00e9n\u00e9ratifs. Mais la r\u00e9alit\u00e9 est diff\u00e9rente. SentenceTransformers<\/a> est souvent le point de d\u00e9part dans ce domaine; il fournit une liste de jeux de donn\u00e9es publics<\/a> disponibles pour entra\u00eener des mod\u00e8les de vectorisation, et vous pouvez y voir que les donn\u00e9es sont structur\u00e9es en paires ou triplets de texte. Cet article va expliquer pourquoi les donn\u00e9es doivent \u00eatre structur\u00e9es ainsi, et comment adapter vos donn\u00e9es pour ce format.<\/p>\n\n\n\n

Objectif d’entra\u00eenement<\/h3>\n\n\n\n

Le processus d’entra\u00eenement d’un r\u00e9seau de neurones d\u00e9pend de l’objectif qu’on cherche \u00e0 accomplir. Il faut trouver des exemples de ce qu’on veut que le r\u00e9seau de neurones accomplisse, puis l’entra\u00eener sur ces exemples. Pour les vecteurs s\u00e9mantiques, le but est que le mod\u00e8le transforme des phrases en vecteurs qui sont proches l’une de l’autre (dans l’espace vectoriel) si le sens des phrases est similaire. On a donc besoin de donn\u00e9es qui montrent des exemples de phrases au sens proche.<\/p>\n\n\n\n

La structure exacte des donn\u00e9es d\u00e9pend de la fonction de co\u00fbt. SentenceTransformer a un paragraphe sur les fonctions de co\u00fbt qui dit<\/a>: <\/p>\n\n\n\n

\n

malheureusement il n’y a pas de fonction de co\u00fbt qui fonctionne partout. La fonction de co\u00fbt \u00e0 utiliser d\u00e9pend des donn\u00e9es disponibles et de la t\u00e2che objectif.<\/p>\n<\/blockquote>\n\n\n\n

Toujours dans SentenceTransformers, voyons quel type de donn\u00e9es d’entra\u00eenement est support\u00e9 par les fonctions de co\u00fbt. En gardant uniquement les fonctions de co\u00fbt pour l’entra\u00eenement normal, voici le genre d’entr\u00e9es qui reste.<\/p>\n\n\n\n

texte<\/th>\u00e9tiquette<\/th><\/tr><\/thead>
singletons<\/td>classe<\/td><\/tr>
paires (ancre, positive)<\/em> <\/td>aucune<\/td><\/tr>
paires (ancre, positive\/n\u00e9gative)<\/em> <\/td>1 (positive) or 0 (n\u00e9gative)<\/td><\/tr>
paires (texte_A, texte_B)<\/em> <\/td>score de similarit\u00e9 entre 0 et 1<\/td><\/tr>
triplets (ancre, positive, n\u00e9gative)<\/em> <\/td>aucune<\/td><\/tr>
(ancre, positive, n\u00e9gative_1, n\u00e9gative_2, …)<\/em><\/td>aucune<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Il y a des variations, mais toutes les entr\u00e9es contiennent du texte<\/em>, associ\u00e9 \u00e0 une \u00e9tiquette ou \u00e0 un autre texte, et indiquent si (ou \u00e0 quel degr\u00e9) le texte-ancre est proche s\u00e9mantiquement des autres textes.<\/p>\n\n\n\n

Structurer les donn\u00e9es<\/h3>\n\n\n\n

Maintenant que vous comprenez pourquoi on ne peut pas juste utiliser du texte brut, la question est comment obtenir ce type de donn\u00e9es structur\u00e9es<\/strong> ?<\/p>\n\n\n\n

Les vecteurs entra\u00een\u00e9s sur des classes sont en g\u00e9n\u00e9ral moins efficaces<\/a> que ceux entra\u00een\u00e9s avec des approches contrastives, donc nous nous concentrerons sur ces derni\u00e8res. Bien s\u00fbr, si vous avez juste besoin de donn\u00e9es d’entra\u00eenement g\u00e9n\u00e9ral, vous pouvez retourner \u00e0 la liste des jeux de donn\u00e9es<\/a> mentionn\u00e9s plus t\u00f4t. Mais le probl\u00e8me le plus int\u00e9ressant est celui de transformer vos propres donn\u00e9es en un jeu de donn\u00e9es adapt\u00e9 \u00e0 l’entra\u00eenement de vecteurs s\u00e9mantiques. Cette section va lister quelques techniques.<\/p>\n\n\n\n