Smallem : un LLM en Rust et CUDA, à partir de zéro
Construire un modèle de langage de type GPT en Rust, sans framework, avec chaque calcul sur GPU fait par un kernel écrit à la main.
IA : les modèles de langage de l'intérieur
Construire un modèle de langage à partir de zéro pour voir, de l'intérieur, comment il apprend, répond et se sert.
Smallem, après le pré-entraînement : apprendre à répondre
Apprendre à un petit modèle de langage écrit en Rust à suivre une consigne : fine-tuning supervisé, préférences et apprentissage par renforcement.
Smallem : les lois d'échelle sur une seule carte
Pour une heure de calcul, quel modèle faut-il entraîner ? Les lois d'échelle mesurées, puis utilisées pour prédire, sur une seule carte graphique.
Smallem : servir un modèle
Générer du texte vite, à plusieurs et avec peu de mémoire : profil, génération par lots, quantification, décodage spéculatif et cache par pages.
Smallem : le processeur
Un vrai backend pour le processeur : le maximum mesuré, le produit par blocs, l'attention en tuiles, la précision mixte, et une génération plus rapide que la carte.
Smallem : une mémoire de n-grammes
La mémoire d'Engram et de Qwen : une très grande table indexée par les derniers tokens, qui apprend sans calculer, vit hors de la carte, et vaut presque un doublement du calcul.
Smallem : un agent
Apprendre à un petit modèle de langage écrit en Rust à appeler des outils : une boucle, une calculatrice, des choix, des enchaînements, l'apprentissage par renforcement, l'injection de consignes, et la comparaison avec un modèle mille fois plus grand.