Consultant formateur NLP et transformers pour ingénieurs IA

Parcours

Le formateur est spécialisé en modèles de langage, transformers et traitement automatique du langage. Il a conçu et entraîné depuis les fondements un modèle de langage de type GPT avec PyTorch, en implémentant notamment l’attention causale, l’attention multi-têtes et les embeddings positionnels.

Cet angle vise les ingénieurs IA et développeurs qui veulent dépasser l’usage superficiel des modèles de langage. Le parcours traite de la préparation textuelle, de la tokenisation, des mécanismes d’attention et d’une boucle d’entraînement. L’intervenant apporte également son expérience de l’évaluation des sorties de modèles, de la qualité du raisonnement et de la correction de code, ainsi que de la conception de prompts et de données d’entraînement.

La formation part d’une représentation simple du texte pour faire progresser le groupe vers l’architecture transformer. Des ateliers Python et PyTorch permettent de relier les composants théoriques à une implémentation concrète. Une place est réservée aux critères d’évaluation, aux limites des modèles génératifs et à la qualité des jeux de données. FormaGroup organise l’échange préalable afin d’adapter le niveau et le format de l’intervention.

Approche pédagogique

1. 1Recueil des attentes et prérequis du groupe
2. 2Rappel des bases de traitement du texte
3. 3Décomposition visuelle de l’architecture transformer
4. 4Ateliers d’implémentation avec Python et PyTorch
5. 5Analyse de sorties et critères d’évaluation
6. 6Discussion des limites et pistes d’amélioration

Publics accompagnés

• Ingénieurs IA
• Développeurs Python
• Équipes R&D
• Étudiants avancés

Secteurs d’intervention

Ses 6 formations