Aller au contenu principal

Intelligences artificielles: Notions essentielles

ChatGPT et les grands modèles de langage

Le célèbre assistant virtuel (ou robot conversationnel) ChatGPT, symbole d'une nouvelle vague de technologies grand public, fait partie d'une grande famille d'applications d'IA, celle des intelligences artificielles génératives (IAG). Les IAG fonctionnent à l'aide de modèles statistiques entraînés sur des mégadonnées, qui peuvent être de différents formats (textuel, audio, vidéo, audiovisuel). 

Les IAG textuelles comme ChatGPT et ses semblables (quelques exemples ici) sont basées du des grands modèles de langage (GML, ou LLM en anglais), développés à partir de réseaux neuronaux, qui sont eux-mêmes des algorithmes issus de l'apprentissage automatique.

Les grands modèles de langage comme ChatGPT sont donc des modèles probabilistes, c'est-à-dire qu'ils génèrent des phrases plausibles  en se basant sur les probabilités apprises de cooccurrence des mots dans une phrase. 

À retenir

  • Les GML ne COMPRENNENT pas les langues naturelles. Ils ne connaissent que des probabilités et des statistiques.
  • Les GML sont des systèmes apprenants, ils changent continuellement.
  • Les réponses des GML varient dans le temps en fonction de leur état changeant.
  • Les GML n'ont aucune connaissance sémantique (définitions, connotations, ton, etc.)
  • Les GML sont moins instruits et intelligents qu'il n'y paraît.
  • Toutefois, grâce au jeu de l'apprentissage et des statistiques, les GML ont la possibilité de développer des capacités émergentes (voir la section sur la recherche).
  • Les GML sont d'excellents outils d'aide à la rédaction, mais pas des systèmes d'information.

Ressources utiles

Voici quelques d'ouvrages introductifs présents dans les collections de l'UdS sur les grands modèles de langage et les transformeurs génératifs.