Intelligence Artificielle Générative IA : Créer votre model type ChatGPT

Intelligence Artificielle - IA Générative : Construire un Transformer type ChatGPT et générer du texte dans le style du corpus d'entrainement.

Animateur : Patrice, ingénieur diplômé de Centrale Nantes et consultant senior Data & IA, intervient également lors d’événements organisés au sein d’écoles d’ingénieurs en informatique.

Places limitées à 16 participants afin de garantir un accompagnement personnalisé, Les premières places sont proposées à tarif réduit.

Découvrez comment construire progressivement un modèle génératif de texte, jusqu’à une architecture de type Transformer inspirée des modèles modernes comme ChatGPT.

Lors de cet atelier intensif en présentiel sur 3 jours, vous développerez pas à pas un modèle de langage : depuis les bases de l’apprentissage jusqu’à la génération de texte cohérente dans le style du corpus d'entrainement.

L’approche est résolument pratique : vous codez, entraînez et observez l’évolution du modèle à chaque étape.

L’objectif n’est pas simplement d’utiliser un modèle existant, mais de comprendre concrètement :

• le fonctionnement de l’apprentissage différentiable
• le rôle des gradients et de l’optimisation
• la modélisation séquentielle du langage
• les embeddings et la représentation du texte
• la prise en compte du contexte
• les principes fondamentaux d’un Transformer

À l’issue de l’atelier, vous aurez construit et entraîné un modèle capable de générer du texte dans le style du corpus d'entrainement.

Cet atelier s’adresse à :

• Toute personne souhaitant comprendre en profondeur les modèles génératifs

• bases en Python

• principes de l’apprentissage (loss, gradients, optimisation)
• introduction à la modélisation du langage
• construction d’un premier modèle génératif (type bigram ou modèle simple)
• entraînement sur un corpus littéraire
• premières générations de texte

Le modèle produit déjà du texte dès cette première journée.

Matin :

• limites des modèles simples
• embeddings et représentation vectorielle du texte
• prise en compte d’un contexte plus riche
• amélioration de la qualité des générations

Après-midi :

• introduction à l’attention (self-attention)
• compréhension des mécanismes Q / K / V
• construction des premières briques d’un Transformer
• première implémentation d’un modèle de type GPT

Cette journée marque la transition vers les architectures modernes.

• approfondissement de l’architecture Transformer
• entraînement du modèle
• génération de texte avancée
• analyse des résultats
• comparaison avec les modèles précédents

Le modèle final permet de générer du texte dans le style du corpus d'entrainement..

• approche from scratch, sans boîte noire
• progression pédagogique structurée
• utilisation d’un corpus littéraire
• mise en pratique continue
• groupe restreint favorisant les échanges

Les participants repartent avec :

• une compréhension solide des modèles de langage
• un modèle qu’ils ont eux-mêmes construit et entraîné
• une vision claire du fonctionnement d’un Transformer

Il s'agit d'un atelier événement, à l'issue il ne sera délivré aucun certificat de formation.