Articles · Smallem, après le pré-entraînement : apprendre à répondre
Ce qu'un petit modèle peut apprendre
Sixième et dernier article de la série Smallem, après le pré-entraînement : apprendre à répondre. Précédent : Apprendre par essais et erreurs.
Cinq articles ont pris un modèle de 29 millions de paramètres, qui savait continuer un texte, et ont essayé de lui apprendre à répondre. Cet article fait le bilan de ce que les tâches vérifiables ont montré.
Le tableau
| Modèle | Addition | À l'envers | Tri | Lecture | Tri long | FineWeb-Edu |
|---|---|---|---|---|---|---|
| départ, 3 exemples dans la consigne | 0 % | 0 % | 0 % | 0 % | 0,8823 | |
| fine-tuning, réglage le plus fort | 0 % | 0 % | 86,0 % | 100 % | 1,4778 | |
| fine-tuning retenu (½ texte, 3 × 10⁻⁵) | 0,5 % | 0 % | 57,0 % | 100 % | 2,5 % | 0,8932 |
| LoRA, rang 4 | 0 % | 0 % | 60,5 % | 100 % | 0,8863 | |
| DPO, avec terme de vraisemblance | 0,5 % | 0 % | 53,5 % | 100 % | 0,9130 | |
| GRPO, tri long, 400 pas | 48,0 % | 3,5 % | 0,8936 | |||
| GRPO, tri, 1 000 pas | 71,0 % | 100 % | 6,5 % | 0,8941 |
Ce qu'il apprend, et ce qu'il n'apprend pas
La forme : En 250 pas, le modèle répond au lieu de continuer, et s'arrête de lui-même. C'est l'essentiel de ce qu'un fine-tuning apprend à un grand modèle : le format d'une conversation, pas des connaissances.
Ce qui se recopie ou se compare : Retrouver un mot dans la question, trier quelques nombres : appris, jusqu'à 100 % et 86 %.
Pas ce qui demande de voir dans les tokens : L'addition et la recopie à l'envers restent à zéro, quelle que soit la méthode. Le tokenizer range un nombre de trois chiffres en un ou deux tokens, et un mot en un seul : le modèle ne voit ni les chiffres ni les lettres. Les grands modèles apprennent à le faire, avec bien plus de paramètres et de texte. Le nôtre n'y arrive pas avec huit mille exemples.
Pas ce qu'il n'a jamais vu faire : Entraîné sur des tris de 3 à 5 nombres, il trie les listes de 6 à 8 en s'arrêtant au cinquième. L'apprentissage par essais devait le lui apprendre. Il n'y est pas arrivé, faute de réussites dont apprendre. Sur le tri ordinaire, en revanche, il a fait aussi bien que le meilleur fine-tuning, de 57 à 71 %, sans rien oublier.
Ce qu'il oublie
Le fine-tuning le plus efficace fait perdre au modèle les deux tiers de ce que la première
série avait gagné sur FineWeb-Edu. Trois remèdes, du plus simple au plus fin : un taux plus
faible, du texte ordinaire mêlé aux conversations, et LoRA, qui a oublié dix fois moins
dans nos mesures. Sa correction A · B, faite de deux matrices minces de 4 colonnes et de
4 lignes, ne peut changer la sortie de chaque couche que dans 4 directions, sur des
centaines : elle modifie moins le modèle initial, ce qui limite l'oubli sans le garantir.
Apprendre et ne pas oublier tirent en sens contraire : chaque remède coûte des points sur le
tri.
Ce que les méthodes ont révélé
La perte peut mentir : DPO a atteint 93 % de précision sur ses paires de validation, en faisant baisser la probabilité des bonnes réponses plus lentement que celle des mauvaises, et le modèle s'est effondré. Il a fallu regarder ses réponses pour comprendre.
Le signal décide de tout : Une méthode qui apprend de ses réussites ne peut rien quand elle n'en a pas. Le nombre de réponses par consigne, la difficulté de la tâche et le taux d'apprentissage règlent à eux trois s'il y a quelque chose à apprendre.
Données finies, comportement nouveau : Pour la première fois du projet, le modèle a vu plusieurs fois les mêmes exemples, et les a appris par coeur : la perte de validation remonte, et il faut garder le bon modèle, pas le dernier.
Ce qu'il faut retenir
- Un modèle de 29 millions de paramètres apprend la forme d'une conversation en quelques centaines de pas, et des tâches de recopie ou de comparaison.
- Il n'apprend ni l'arithmétique ni l'épellation : son tokenizer les lui cache.
- Le post-entraînement fait oublier : texte mêlé, taux faible et LoRA limitent les dégâts.
- Une perte qui baisse ne suffit pas : il faut mesurer ce que le modèle sait faire, et lire ce qu'il écrit.