Formation LLM (Large Language Models)

Description

Cette formation LLM (Large Language Models) vous permettra de découvrir et de maîtriser les bases des modèles d’intelligences artificielles génératives.

Pendant 3 jours, vous découvrirez :

• les concepts fondamentaux des LLM,
• les enjeux du moment et la scène technologique actuelle,
• les différentes approches pour customiser un LLM (prompt engineering, fine-tuning, RAG),
• comment mettre des données à disposition d’un LLM via les vector embeddings.
  

Vous mettrez en pratique ces notions dans un cas concret : mettre en place un chatbot spécialisé avec la documentation de la célèbre librairie de data science Hugging Face.

Public :

Cette formation s'adresse aux développeur·se·s, data scientists, data engineers et ML engineers.

Ils témoignent

Les objectifs

• Comprendre les concepts fondamentaux des LLM
• Communiquer efficacement avec un chatbot via le prompt engineering
• Maîtriser les différentes personnalisations de modèles (prompt-engineering, fine-tuning, RAG)
• Maîtriser l’outillage autour des LLM avec LLamaIndex et LangChain
• Formater des données et les rendre disponible à un modèle génératif via des embeddings et une base de donnée vectorielle avec LanceDB
• Développer une application RAG de bout en bout

Pré-requis

• Niveau intermédiaire en Python
• Notions de base en machine learning
• Ordinateur portable à apporter

Le programme de la formation LLM (Large Language Models)

Jour 1 : Découverte des LLMs et chatbots

• Comprendre les concepts fondamentaux d’un LLM
  • L’architecture transformers
• Découvrir le panorama technique actuel
  • Modèles propriétaires (ChatGPT, Gemini)
  • Modèles open-source (Mistral, Llama3)
  • Les librairies d’outillage (Langchain, LLamaIndex, APIs)
• Prompt engineering
  • Améliorer les réponses des chatbots en construisant des prompts efficaces
• Découvrir le principe du RAG (Retrieval Augmented Generation)

Mises en pratique :
- Ingénierie de prompts pour fournir du contexte au chatbot
- Écrire un programme “hello world” avec LLamaIndex

Jour 2 : Implémenter et déployer un RAG

• Découvrir l’architecture d’une application RAG
  • Les briques nécessaires (LlamaIndex, LanceDB, API GPT-4)
  • Récupérer des données à ingérer depuis un site web
  • Formater les données de façon adaptée
  • Transformer les données dans un format compréhensible et utilisable pour un LLM
  • Choisir une API LLM, locale et distante
• Les différents modes de déploiement
  • Déploiement sur le cloud
  • Déploiement on-premise

Mises en pratique :
- Indexer, vectoriser le texte de la documentation Hugging Face et le stocker dans une base de donnée vectorielle : LanceDB
- Retrouver des documents issus de la documentation Hugging Face via du langage naturel
- Créer une pipeline RAG avec LlamaIndex

Jour 3 : Réaliser le fine-tuning de son LLM

• Découvrir le re-ranking
• Introduction au fine-tuning
• Découvrir l’écosystème Hugging Face
• Combinaison du fine-tuning et du RAG
• Évaluer les performances de son application RAG
  • Métrique MMLU
  • LMSYS benchmark

Mises en pratique :
- Améliorer la recherche de documents de notre LLM grâce au re-ranking
- Déployer notre application LLM en production

Télécharger le programme

Formations associées

• 

  LangGraph

  3 jours

Formateur

Éric HOUZELLE

Avec plus de dix ans d'expérience en tant que CTO, Éric a parcouru un chemin riche entre l’administration système, le développement et la data. Après avoir consolidé son expertise en administration réseau, il s'est spécialisé sur React, PHP (Symfony), ElasticSearch puis plus récemment l’IA en exploitant les modèles mis en œuvre par OpenAI, Mistral ou encore Hugging Face.

Présent à l’incubateur Euratech de Lille et membre actif du club IA, Éric n’est pas seulement un expert technique, mais aussi un entrepreneur ambitieux. En effet, il a fondé Hektore, une entreprise dédiée à rendre le coaching professionnel accessible à tous.

Dans ses formations, Éric vous fera partager son expertise avec pragmatisme et pédagogie. Ses formations sont pensées pour rendre l’IA et le développement accessibles et exploitables en entreprise !

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de statisfaction de 4,6/5 depuis 2012 (sur 1669 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 172 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 13 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux