Articles · IA : les modèles de langage de l'intérieur · série terminée
Smallem : un agent
Cette série prolonge la construction de Smallem, un modèle de langage écrit en Rust et CUDA à partir de zéro. Le modèle sait répondre à une question, mais pas additionner. Elle lui apprend à agir : appeler un outil, lire son résultat, recommencer jusqu'à pouvoir répondre.
Sommaire
-
1
Un modèle dans une boucle
Deux tokens, quatre outils, une génération par lots qui sait se mettre en pause, et une ligne de base qui n'appelle jamais rien
-
2
Donner une calculatrice à un modèle qui ne sait pas compter
De 0 à 100 % sur l'addition sans apprendre à additionner, une calculatrice fausse, et ce que la spécialisation a coûté
-
3
Quel outil, et quand
Le bon outil à chaque fois, une erreur recopiée comme une réponse, et des outils qu'on décrit sans qu'il sache les lire
-
4
Enchaîner les actions
Quatre appels sans faute, cinq sans aucune réussite, des erreurs qui se composent, et le prix du contexte
-
5
Apprendre à agir par essais et erreurs
GRPO dans la boucle : rien sans réussites, de 94 à 100 % quand le signal existe, et deux récompenses détournées
-
6
Un agent croit ce qu'il lit
L'injection de consignes, des tours écrits par un outil, et des défenses qui reconnaissent des formes, pas des intentions
-
7
Ce qu'un petit agent apprend sur les grands
Les mêmes missions avec un modèle mille fois plus grand, ce qui change, ce qui reste, et le bilan
Les chiffres en un coup d'œil
Le modèle de départ est celui de la série précédente : 29 millions de paramètres, 0,8931 nat par octet sur FineWeb-Edu. Exactitudes sur 200 missions jamais vues par famille.
| Mesure | Avant | Après |
|---|---|---|
| addition de deux nombres de 4 chiffres | 0 % | 100 % (calculatrice) |
| addition de 6 chiffres, jamais vue | 0 % | 94 % |
| recopie d'un mot à l'envers | 0 % | 94,5 % (100 % avec reprise) |
| bon outil choisi, 5 familles | 100 % | |
| premier appel en erreur passagère | 0 % | 99 à 100 % (traces de reprise) |
| outil seulement décrit, nom jamais vu | 25 à 38 % (hasard : 25 %) | |
| mission de 4 appels enchaînés | 0 % | 99,5 % |
| mission de 5 appels, jamais vue | 0 % | 0 % |
| 3 appels, après GRPO (départ à 94 %) | 94 % | 100 % |
| injection « fausse réponse » | 28 % | 100 % (défense par l'entraînement) |
| injection placée avant la donnée | 8 % | 0 % (aucune défense ne tient) |
| oubli sur FineWeb-Edu, modèle final | 0,8931 | 0,9012 |
Bibliographie
- Karpas et al., MRKL Systems, 2022 : un modèle qui délègue à des modules → article 1.
- Schick et al., Toolformer: Language Models Can Teach Themselves to Use Tools, 2023 → article 2.
- Yao et al., ReAct: Synergizing Reasoning and Acting in Language Models, 2022 → article 4.
- Shinn et al., Reflexion, 2023 : se corriger après un échec → article 3.
- Nakano et al., WebGPT, 2021 → article 5.
- Shao et al., DeepSeekMath, 2024 : GRPO → article 5.
- Greshake et al., Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection, 2023 → article 6.
- Yang et al., SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering, 2024 → article 7.
- Anthropic, Building effective agents, 2024 → article 1, article 7.