fineTuning

Le Fine-tuning

Cela signifie le régalge fin et c’est essentiel au développement et déploiement de modèle d’apprentissage automatique (notament les NLP).
Il s’agit d’adapter un modèle pré-entraîné à faire des tâches spécifiques ou améliorer les performances sur des ensembles de données particuliers. Il exploite les vaste connaissances des LLM en les adaptants aux besoins particuliers.

Le processus

1. Sélectinner un mocèles pré-entraîné (e.g. GPT4 ou BERT) ;
2. Préparer l’ensemble de données ;
3. Ajuster le modèle ;
4. Evaluer et répéter.

Les étapes techniques

1. Le gel des couches ;
2. Le réglage du taux d’apprentissage ;
3. Les techniques de régularisation.