Articles · IA : les modèles de langage de l'intérieur · série terminée
Smallem, après le pré-entraînement : apprendre à répondre
Cette série prolonge la construction de Smallem, un modèle de langage écrit en Rust et CUDA à partir de zéro. Le modèle sait continuer un texte ; elle lui apprend à répondre, d'abord par l'exemple, puis par la comparaison de deux réponses, puis par essais et erreurs.
Sommaire
-
1
Un format pour converser
Tokens de rôle, tâches vérifiables, et une ligne de base à zéro
-
2
Apprendre à répondre
La perte masquée, l'oubli, et le surapprentissage sur des données finies
-
3
Ajuster sans tout réentraîner
LoRA, ses tokens de rôle, et dix fois moins d'oubli
-
4
Apprendre d'une préférence
DPO, l'effondrement par likelihood displacement, et sa parade
-
5
Apprendre par essais et erreurs
REINFORCE et GRPO : rien sans réussites, et 71 % sans oubli quand le signal abonde
-
6
Ce qu'un petit modèle peut apprendre
Le bilan : la forme, la recopie, le tri, et ce que cache le tokeniseur
Les chiffres en un coup d'œil
Le modèle de départ est celui de la fin de la première série : 29 millions de paramètres, 0,8823 nat par octet sur FineWeb-Edu. Exactitudes sur des questions jamais vues :
| Modèle | Tri | Lecture | Addition | FineWeb-Edu |
|---|---|---|---|---|
| départ, exemples dans la consigne | 0 % | 0 % | 0 % | 0,8823 |
| fine-tuning supervisé, le plus fort | 86 % | 100 % | 0 % | 1,4778 |
| fine-tuning retenu | 57 % | 100 % | 0,5 % | 0,8932 |
| LoRA, 1,2 % des paramètres | 60,5 % | 100 % | 0 % | 0,8863 |
| DPO, avec terme de vraisemblance | 53,5 % | 100 % | 0,5 % | 0,9130 |
| GRPO sur le tri, 1 000 pas | 71 % | 100 % | 0,8941 |
Bibliographie
- Brown et al., Language Models are Few-Shot Learners, 2020 : GPT-3 et les exemples dans la consigne → article 1.
- Ouyang et al., Training language models to follow instructions with human feedback, 2022 : InstructGPT → article 4.
- Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, 2021 → article 3.
- Rafailov et al., Direct Preference Optimization, 2023 → article 4.
- Razin et al., Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization, 2024 → article 4.
- Pang et al., Iterative Reasoning Preference Optimization, 2024 : le terme de vraisemblance → article 4.
- Schulman et al., Proximal Policy Optimization Algorithms, 2017 → article 5.
- Shao et al., DeepSeekMath, 2024 : GRPO → article 5.
- DeepSeek-AI, DeepSeek-R1, 2025 → article 5.
- Liu et al., Understanding R1-Zero-Like Training: A Critical Perspective, 2025 : Dr. GRPO → article 5.