Apprendre d'une préférence

Quatrième article de la série Smallem, après le pré-entraînement : apprendre à répondre. Précédent : Ajuster sans tout réentraîner.

Le fine-tuning supervisé montre au modèle la bonne réponse. Souvent, on ne sait pas l'écrire, mais on sait reconnaître, entre deux réponses, la meilleure : c'est plus facile à demander à des humains, et c'est ce qu'a fait InstructGPT (Ouyang et al., 2022). Ses auteurs entraînaient d'abord un modèle de récompense sur ces comparaisons, puis optimisaient le modèle de langage contre lui par apprentissage par renforcement.

DPO (Rafailov et al., 2023) montre qu'on peut se passer de ces deux étapes, et apprendre directement des paires.

La perte

On garde une copie gelée du modèle de départ, la référence π_ref : ici, le modèle de l'article 2. Pour une consigne, une réponse préférée y⁺ et une rejetée y⁻ :

z     = β × [ (ln π(y⁺) − ln π_ref(y⁺)) − (ln π(y⁻) − ln π_ref(y⁻)) ]
perte = −ln σ(z) = ln(1 + e^(−z))

La perte pousse la réponse préférée à gagner en probabilité par rapport à la rejetée, chacune mesurée par rapport à la référence. β règle la longueur de la laisse : plus il est petit, plus le modèle peut s'éloigner de la référence pour creuser l'écart. L'article montre que c'est exactement l'optimum de l'apprentissage par renforcement contre un modèle de récompense, avec une pénalité de divergence de poids β : la récompense y est implicite, β × ln(π / π_ref).

La log-probabilité d'une réponse est la somme des log-probabilités de ses tokens, sachant ce qui les précède, sous le même masque qu'au fine-tuning. Celles de la référence ne changent pas : elles sont calculées une fois pour toutes, sans tape.

Deux tests :

• Quand le modèle est sa propre référence, z = 0 et la perte vaut ln 2, exactement.
• Et le gradient, qui traverse la log-probabilité des réponses jusqu'aux poids, est comparé à des différences finies sur quelques poids.

Des paires faites par le modèle

Où trouver des préférences ? Nos tâches ont un vérificateur. Pour chaque consigne, le modèle de l'article 2 tire huit réponses, à température 1. Le vérificateur les juge, et l'on garde une réponse juste et une fausse quand il y a les deux. Des paires faites par le modèle lui-même, pas écrites à la main : c'est ce qui les rend utiles, puisqu'elles portent sur ses propres erreurs.

Sur 1 500 consignes par famille, 1 568 paires : la lecture, presque toujours juste, et l'addition, presque toujours fausse, en donnent peu et le tri, à moitié réussi, beaucoup. 99 paires de validation, faites de la même façon à partir d'autres consignes.

On suit trois choses : la précision de préférence sur les paires de validation, la part où la récompense implicite de la réponse préférée dépasse celle de la rejetée, l'écart à la référence, la log-probabilité moyenne des réponses préférées moins celle de la référence, et l'exactitude sur les tâches.

Ce qui se passe

Six cents pas de 32 paires, un taux de 2 × 10⁻⁵, d'abord avec β = 0,1 :

La perte fait ce qu'on lui demande : sur des paires jamais vues, la réponse préférée a une récompense implicite plus haute dans 93 % des cas. Et le modèle s'effondre : il ne trie plus rien, et ne sait plus lire.

L'écart à la référence dit pourquoi. La log-probabilité des réponses préférées a baissé de 23 nats. DPO ne demande pas que la réponse préférée monte, seulement qu'elle descende moins vite que la rejetée, et c'est le chemin qu'il a pris : les deux descendent. Où va la probabilité perdue ? Vers des suites que le modèle n'aurait jamais tirées. Voici ce que répond, au tri, le modèle entraîné avec un taux quatre fois plus faible, dont la chute est plus lente :

Sort from smallest to largest: 3 79 28        → 3 79 7 7 7 7 7 7 7 7 7 7 7 7 ...
Sort from smallest to largest: 62 47 93 27    → 27 47 62 6 93
Sort from smallest to largest: 21 79 82 88 53 → 21 53 79 82 88 88

Des nombres inventés, répétés, et un <|fin|> qui ne vient plus. Une réponse préférée et une réponse rejetée au même tri partagent l'essentiel de leurs tokens : les premiers nombres, souvent tous sauf un, et le <|fin|> final. Faire baisser la rejetée fait baisser ces tokens communs, que la préférée ne compense qu'en partie. Ce glissement de la probabilité hors des deux réponses a été décrit sous le nom de likelihood displacement (Razin et al., 2024), justement pour des paires de réponses qui se ressemblent.

Trois parades :

Fin d'entraînement, 600 pas. Une laisse plus courte ou un taux plus faible ralentissent la chute, sans l'arrêter. Le remède qui marche ajoute à la perte la log-vraisemblance négative des réponses préférées, par token, de poids 1 : il ne suffit plus que la préférée gagne sur la rejetée, elle doit aussi rester probable. C'est la recette de l'Iterative Reasoning Preference Optimization (Pang et al., 2024), qui opposait elle aussi des réponses justes et fausses tirées du modèle. La préférence atteint la même précision, la réponse préférée ne perd rien, et le tri et la lecture tiennent.

Ils tiennent, mais ne progressent pas. La validation du plan demandait que l'exactitude dépasse celle du fine-tuning supervisé : aucune variante n'y arrive. Nos paires opposent des réponses que le modèle tire à température 1, alors que l'exactitude se mesure en mode glouton, sur sa réponse la plus probable. Apprendre à préférer une bonne réponse tirée à une mauvaise ne déplace pas forcément la plus probable.

Ce qu'il faut retenir

• DPO apprend d'une comparaison sans modèle de récompense : la récompense est implicite, β × ln(π / π_ref).
• La précision de préférence peut monter pendant que le modèle s'effondre : DPO peut faire baisser les deux réponses, et la probabilité perdue part ailleurs.
• Un terme de vraisemblance sur la réponse préférée empêche cette fuite.
• Sur nos tâches, DPO n'améliore pas l'exactitude : des préférences entre réponses tirées ne changent pas forcément la réponse la plus probable.

Article suivant : Apprendre par essais et erreurs.