Le premier vrai réentraînement du cœur du modèle : deux leviers, deux échecs bien compris, une pause choisie

Piste débutant

Là où on en était

Le Chapitre 18 s'est terminé sur une vraie décision, prise le 28 juillet 2026 par l'utilisateur

du projet : après dix-huit tentatives pour réparer, de l'extérieur, la façon dont le modèle

principal (ebwm.pt) juge « y a-t-il un arbre proche ? », toutes tombées sur le même piège de

luminosité, il était temps d'essayer autre chose — toucher pour la première fois au cœur même

de ce modèle, plutôt que de continuer à empiler des béquilles autour de lui sans jamais

rouvrir le capot. Deux idées précises et chiffrées étaient sur la table, trouvées au chapitre

précédent : élargir le vocabulaire de gestes que le modèle a appris à reconnaître, et changer

l'ingrédient anti-effondrement qui l'empêche de « tricher » en apprenant à tout confondre.

Ce chapitre raconte ce qui s'est passé quand ces deux idées ont été essayées pour de vrai. Les

deux ont échoué — mais chacune pour une raison précise qu'on a comprise, pas dans le flou. Et

la décision qui suit n'est pas un abandon : c'est une pause choisie.

Levier 1 : apprendre au modèle plus de gestes

Souvenez-vous du Chapitre 18 : un test avait montré que dans les parties où l'expert coupe des

arbres, le modèle n'a presque jamais vu certains gestes — sauter, se déplacer sur le côté,

regarder vers le haut ou vers le bas. Sur dix-sept gestes possibles, seuls huit apparaissaient

vraiment dans les données d'entraînement d'origine.

Le correctif était concret : relire les parties enregistrées et récupérer ces gestes qui

étaient là depuis le début, mais que le programme qui prépare les données ne savait pas encore

lire correctement. Une fois corrigé, presque tous les gestes apparaissent (quinze sur dix-sept

au lieu de huit). Le modèle a ensuite été réentraîné, en partant de ses poids actuels — pas

depuis zéro — avec un taux d'apprentissage très prudent (l'équivalent d'ajuster à petits pas,

pas de tout rebattre), pendant cinq passages complets sur les données.

Résultat : ça n'a pas marché. Le test qui mesure si le modèle distingue bien « arbre proche »

de « pas d'arbre » a échoué avant ET après ce réentraînement, sans amélioration progressive au

fil des cinq passages. Le vocabulaire de gestes s'est bien élargi, mais la façon dont le modèle

juge une scène ne s'est pas améliorée pour autant.

Pourquoi ? Une enquête, pas une supposition

Face à cet échec, l'équipe s'est posé la bonne question avant de passer à autre chose : pourquoi

ça n'a pas marché ? Une première explication simple est venue à l'esprit — peut-être qu'en

ajoutant l'étiquette « sauter », le programme avait accidentellement effacé l'étiquette

« frapper » sur les mêmes images (un peu comme si, en cochant une nouvelle case sur un

formulaire, on décochait une case déjà remplie par erreur). Cette explication a été vérifiée

deux fois, avec des comptages exacts — et elle est fausse : le nombre d'images étiquetées

« frappe » est resté rigoureusement identique, image pour image, avant et après.

Ce qui a vraiment changé : environ 5 images sur 100 ont changé d'étiquette, et l'écrasante

majorité de ce changement, ce sont des images où l'expert avançait ET sautait en même temps (une

« bunny-hop », une technique de déplacement bien réelle dans Minecraft) — un vrai geste qu'on a

enfin appris à voir, pas une erreur.

L'explication la plus solide (mais pas encore prouvée, l'équipe est honnête là-dessus) :

ces gestes rares représentaient environ 1 % de l'attention d'entraînement du modèle avant la

correction, et sont soudainement passés à environ 4 % après — jusqu'à 9 fois plus sur certaines

combinaisons de gestes. C'est un peu comme si un élève qui avait quasiment jamais pratiqué le

piano recevait d'un coup neuf fois plus d'heures de cours que d'habitude sur cet instrument :

même si ses autres matières ne changent pas, le choc de ce nouvel apprentissage déséquilibre ses

habitudes générales. Une suite plus prudente (introduire ces gestes plus progressivement) a été

envisagée mais pas essayée — l'utilisateur a préféré passer directement au deuxième levier.

Levier 2 : changer l'ingrédient anti-effondrement

Le deuxième levier touchait à quelque chose de plus profond : l'ingrédient qui empêche le modèle

de « tricher ». Rappel du Chapitre 2 : un modèle JEPA peut apprendre à représenter toutes les

images de la même façon (un effondrement, ou « collapse ») parce que ça minimise artificiellement

son erreur sans rien apprendre d'utile. Ce projet utilise depuis le début un ingrédient appelé

VICReg pour empêcher ça. Deux publications scientifiques récentes affirment qu'un ingrédient plus

récent, appelé SIGReg, serait plus fiable en théorie.

Avant même de coder quoi que ce soit, un examen du code existant a révélé une surprise : la

version de VICReg réellement utilisée dans ce projet n'était déjà, depuis le début, qu'une

moitié de la recette complète — un seul des deux mécanismes que la théorie prévoit. Ça a

simplifié le remplacement par SIGReg : pas besoin de reconstruire une architecture entière,

juste d'échanger un ingrédient contre un autre au même endroit.

Le nouvel ingrédient a été testé avec la recette la plus prudente de toute la campagne :

taux d'apprentissage encore plus bas que le Levier 1, seulement trois passages maximum sur les

données, et surtout — un nouveau garde-fou construit spécialement pour ce test, capable de

détecter un type d'effondrement que l'ancien outil de surveillance ne peut pas voir.

Un effondrement d'un genre différent, détecté avant qu'il ne fasse trop de dégâts

Voici l'explication de ce nouveau danger, avec une image simple. Le vieil outil de surveillance

du projet (batch_var, utilisé depuis le Chapitre 2) mesure si les représentations du modèle

sont devenues toutes identiques — un effondrement « en hauteur », comme si toute une classe

d'élèves donnait exactement la même réponse à chaque question. Mais il existe un deuxième

genre d'effondrement, plus sournois : les représentations restent bien différentes les unes

des autres dans l'ensemble (donc batch_var ne voit rien d'anormal), mais tout ce qui les rend

différentes se concentre sur une poignée de détails, alors que le modèle avait auparavant plus

de quatre mille façons différentes de varier. C'est comme si toute la classe continuait à donner

des réponses variées, mais que ces réponses ne portaient plus que sur 4 ou 5 sujets au lieu de

plusieurs milliers — une richesse illusoire.

C'est exactement ce qui s'est passé, dès le tout premier passage sur les données, et le

nouveau garde-fou l'a détecté et a arrêté l'entraînement avant de continuer inutilement : le

nombre effectif de « directions utiles » dans les représentations du modèle s'est effondré de

26,7 à 4,5 — une chute de 83 % — pendant que le vieil outil de surveillance affichait un chiffre

parfaitement sain, aussi bon que n'importe quel bon entraînement précédent. Sans ce nouveau

garde-fou, personne ne s'en serait aperçu à temps.

Sur cet unique instantané du modèle sauvé avant le naufrage complet, le test central (« distingue

bien arbre proche de pas d'arbre ») a donné un résultat encore pire que le Levier 1 — et le

test sur la tâche d'origine du modèle (couper des arbres dans le jeu simple) s'est quasiment

effondré aussi. Ce nouvel ingrédient, tel qu'essayé ici, a cassé le modèle plus largement qu'il

ne l'a réparé.

Important : cet échec-là n'est pas compté comme une septième confirmation du fameux piège de

luminosité des chapitres précédents. C'est un problème d'une autre nature — un effondrement des

représentations, pas une confusion entre couleur et distance. Les deux problèmes se ressemblent

dans leurs symptômes (« le modèle rate le test ») mais pas dans leur cause.

La décision : une pause, pas un abandon

Face à deux leviers, deux échecs, chacun désormais bien compris (pas juste « ça n'a pas marché »

mais « voici pourquoi »), l'utilisateur a choisi de mettre la campagne en pause plutôt que

d'enchaîner tout de suite sur un troisième levier. C'est une décision importante à ne pas mal

lire : ça ne veut pas dire que réentraîner le cœur du modèle est impossible. Ça veut dire que

ces deux implémentations précises, les moins coûteuses disponibles pour chaque idée, ont chacune

échoué pour une raison désormais identifiée — pas par manque d'essai, mais par un vrai problème

technique repéré et expliqué.

Ce qui reste debout et fonctionne, comme référence positive du projet : la règle qui empêche

l'agent d'abandonner son plan trop vite, la recherche qui pousse l'agent à explorer le terrain

plutôt que de tourner en rond, et le réflexe anti-noyade. Aucun de ces trois mécanismes n'a été

touché par cette tentative — ni ebwm.pt lui-même, qui reste identique à avant, vérifié à

l'octet près.