Articles · IA : les modèles de langage de l'intérieur · série terminée
Smallem : les lois d'échelle sur une seule carte
Cette série prolonge la construction de Smallem, un modèle de langage écrit en Rust et CUDA à partir de zéro. Elle cherche, par la mesure, la taille de modèle qui tire le meilleur parti d'un budget de calcul, puis s'en sert pour prédire la perte d'un entraînement avant de le lancer.
Sommaire
-
1
Compter le calcul
Les opérations d'un pas, ce qu'oublie 6ND, et 14 % du maximum de la carte
-
2
Une famille de modèles
Des largeurs de 128 à 768, et un taux d'apprentissage pour chacune
-
3
La bonne taille pour un budget
Les courbes à calcul constant, l'embedding qui sépare Kaplan de Chinchilla, et une prédiction à 0,003 près
-
4
Une formule pour la perte
L(N, D) ajustée comme Chinchilla, son incertitude, et pourquoi elle extrapole mal
-
5
Un taux pour toutes les tailles
μP : un meilleur taux qui ne bouge presque plus avec la largeur
-
6
La taille du lot
Le bruit du gradient, la taille de lot critique, et la montée du taux qui se compte en pas
-
7
Prédire une nuit de calcul
Une prédiction écrite avant de lancer, sa vérification, et le bilan de la série
Les chiffres en un coup d'œil
Vingt entraînements à calcul constant, de 10¹⁵ à 3 × 10¹⁶ opérations, sur une RTX 3090, pertes en nats par octet sur FineWeb-Edu :
| Smallem | Chinchilla | |
|---|---|---|
| Taille optimale | N_opt ∝ F^0,54 | F^0,49 |
| Données optimales | D_opt ∝ F^0,47 | F^0,51 |
| Tokens par paramètre | 6 à 8 | environ 20 |
| Exposant hors embedding | 0,71 | 0,73 chez Kaplan |
| Contrôle au double du budget | 0,8228 mesuré, 0,820 prédit | |
| Prédiction à 1,5 × 10¹⁷ (71 M paramètres) | 0,7905 mesuré, 0,782 prédit |
Bibliographie
- Kaplan et al., Scaling Laws for Neural Language Models, 2020 → article 1, article 3, article 6.
- Hoffmann et al., Training Compute-Optimal Large Language Models, 2022 : Chinchilla → article 3, article 4.
- Chowdhery et al., PaLM: Scaling Language Modeling with Pathways, 2022 : le MFU → article 1.
- Besiroglu et al., Chinchilla Scaling: A replication attempt, 2024 → article 4.
- Pearce et Song, Reconciling Kaplan and Chinchilla Scaling Laws, 2024 → article 3.
- Yang et al., Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer, 2022 : μP → article 5.
- Yang, Simon et Bernstein, A Spectral Condition for Feature Learning, 2023 → article 5.
- McCandlish et al., An Empirical Model of Large-Batch Training, 2018 → article 6.