Le modèle le plus proche de H-JEPA jusqu'ici prédit l'avenir, pas l'image — et perd quand même contre la simple moyenne

Piste débutant

Là où on en était

Le Chapitre 15 a fermé, cette fois pour de bon, toute une famille de tentatives : aucun calcul basé

sur une seule image — qu'il soit appris, tout fait, ou fabriqué à la main pour résister aux

changements de lumière — ne peut séparer proprement « c'est une forêt » de « c'est sombre », parce

que dans ce jeu, les forêts sont vraiment plus sombres que les prairies. Cinq tentatives

différentes, cinq confirmations du même mur. Restaient sur la table, pour reprendre l'enquête sur

le point de départ à froid : la mémoire des lieux visités (Chapitre 12), qui a des résultats réels

mais modestes et en perte de vitesse, et l'idée la plus lourde et la plus ambitieuse du menu — un

second cerveau séparé, pensé pour la recherche à long terme. Ce chapitre raconte la première vraie

tentative dans cette direction : pas encore le grand second cerveau complet, mais un premier essai,

moins coûteux, conçu spécifiquement pour éviter le piège du Chapitre 15 dès le départ.

Une idée différente : prédire la découverte, pas l'image

Jusqu'ici, chaque tentative de ce genre demandait à un petit modèle de regarder une image et de

juger : « est-ce que ça ressemble à une scène prometteuse ? ». C'est précisément ce type de

question qui s'est toujours retrouvé piégé par la luminosité. Cette fois, l'idée change de nature :

au lieu de juger une image, un petit modèle apprend à prédire, pour chaque direction possible où

l'agent pourrait aller, combien de nouvelles cases de la grille explorée seraient probablement

découvertes — une sorte de pari sur l'utilité d'explorer par là, pas un jugement esthétique sur ce

qui est affiché à l'écran.

Pour faire ce pari, ce petit modèle ne regarde jamais la couleur ni la texture d'une image. Il

se base uniquement sur deux types d'indices : un calcul classique de mouvement entre deux images

consécutives (est-ce que la caméra bouge beaucoup ou peu dans telle direction ?), et l'historique

des zones déjà visitées, hérité de la mémoire construite au Chapitre 12. C'est la tentative la plus

proche, à ce jour, de la véritable idée derrière JEPA — le nom même de ce projet : au lieu de

prédire une image future pixel par pixel, on prédit une petite quantité utile sur l'avenir (ici,

« combien de nouveau terrain je vais découvrir »), à partir d'indices compacts plutôt que de la

couleur brute des pixels. C'est exactement le genre de prédiction que ce projet a toujours cherché

à faire, appliqué ici à une nouvelle question.

Un vrai bug trouvé en chemin, pas juste un manque de données

Avant même de pouvoir entraîner quoi que ce soit, il fallait collecter des exemples réels de

« dans telle direction, voici combien de nouveau terrain a effectivement été découvert ». Un

premier lot de collecte a révélé un vrai bug, resté invisible jusque-là : quand plusieurs

directions sont à égalité (ce qui arrive presque tout le temps au début d'une exploration, quand

aucune case voisine n'a encore été visitée), le mécanisme choisissait systématiquement, sans le

vouloir, la même direction par défaut — 54 fois sur 57 déclenchements dans ce premier lot. Ce

n'était donc pas un vrai choix exploratoire à chaque fois, juste un réflexe caché qui revenait

toujours au même endroit. Corrigé en ajoutant une option de tirage au sort pour départager les

égalités (l'ancien comportement reste disponible et inchangé si on ne l'active pas), puis

recollecté : cette fois, les 12 directions possibles sont bien représentées dans les données.

Deux bons signes, avant même d'entraîner quoi que ce soit

Deux vérifications de sécurité ont été faites sur ces données fraîchement recollectées, avant toute

tentative d'entraînement :

1. Est-ce qu'il y a une vraie différence entre les directions ? Amélioré nettement après la

correction du bug, mais basé sur peu d'exemples par direction (entre 1 et 7) — encourageant,

pas encore une confirmation solide.

1. Est-ce que la luminosité de la scène domine encore la cible qu'on essaie de prédire ? Ce

test a été fait deux fois, sur deux lots de collecte indépendants, et les deux fois, la réponse

est claire : non, la luminosité n'a presque aucun lien avec la quantité de terrain

nouvellement découvert. C'est le résultat le plus solidement reproductible de toute cette longue

enquête sur l'absence de piège lié à la luminosité — enfin une piste qui ne tombe pas dans le

même trou que les cinq précédentes.

Le vrai test : est-ce que ce petit modèle peut prédire un essai précis ?

Avec ces deux bons signes, un petit modèle a été réellement entraîné — un tout petit réseau de

neurones, à peine 1 900 réglages internes. Mais ce projet a une règle stricte, appliquée à chaque

étape : ne jamais juger un modèle sur ses propres données d'entraînement. La bonne façon de vérifier

honnêtement, c'est de diviser les données en plusieurs tas, d'entraîner sur certains et de tester

sur ceux qui restent, plusieurs fois de suite avec des tas différents à chaque fois, pour ne pas se

faire avoir par un découpage chanceux ou malchanceux — c'est ce qu'on appelle la validation croisée.

Comparé à cette méthode rigoureuse contre le repère le plus simple possible — deviner tout le

temps la moyenne de toutes les valeurs déjà vues, sans même regarder la direction en question — le

petit modèle appris fait pire, pas mieux. Un essai systématique de huit variantes différentes

(réseaux plus petits, réglages plus prudents contre le sur-apprentissage) n'a jamais réussi à

battre cette moyenne simple, ne serait-ce qu'une seule fois. Et pour être vraiment sûr que ce

n'était pas juste un problème de réglage d'un réseau de neurones trop compliqué pour la tâche, une

version encore plus simple a été testée — un modèle linéaire classique, sans réseau de neurones du

tout, avec un frein réglable contre le sur-apprentissage. Résultat identique : plus on serre ce

frein, plus le modèle se rapproche de deviner une valeur presque constante — et il ne dépasse

jamais la moyenne simple, même dans ce cas le plus prudent possible.

Pourquoi c'est un échec d'un genre différent des précédents

C'est important de bien distinguer ce résultat des cinq échecs du Chapitre 15. Là-bas, le problème

était qu'un modèle apprenait quelque chose de trompeur — un raccourci qui donnait l'illusion de

fonctionner tout en mesurant en réalité autre chose (la luminosité). Ici, c'est différent : les deux

vérifications de sécurité montrent un vrai signal agrégé, honnête, et pas trompé par la luminosité.

Le problème est ailleurs : deviner précisément le résultat d'un seul essai particulier, à partir

de seulement quatre indices grossiers sur la scène, est une tâche beaucoup plus difficile que

repérer une tendance générale sur l'ensemble des essais — et avec seulement une centaine

d'exemples au total, ce n'est tout simplement pas assez de données pour qu'un modèle, aussi simple

soit-il, apprenne à le faire de façon fiable. Ce n'est pas une preuve que l'idée de départ est

mauvaise. C'est un constat honnête que la tâche demande vraisemblablement beaucoup plus de données

(sans doute plusieurs centaines d'exemples, pas un meilleur réglage) avant de pouvoir dire si elle

est apprenable du tout avec ces indices.

Suivant la règle d'honnêteté de ce projet, ce petit modèle n'a pas été branché dans le jeu réel :

aucune partie n'a été dépensée à tester un modèle dont la vérification croisée dit clairement qu'il

ne fonctionne pas encore.

Où en est le projet, après 16 vraies tentatives

À ce stade de l'enquête sur le point de départ à froid, il est utile de faire un point d'ensemble,

honnête, sans en rajouter dans un sens ou dans l'autre :

• La piste « réparer le jugement visuel » est maintenant fermée, avec cinq confirmations

indépendantes du même piège de luminosité — un petit module appris, ce même module réentraîné sur

d'autres données, une variation artificielle de lumière pendant l'entraînement, un modèle géant

tout fait, et un calcul de couleur fait à la main. Aucune de ces cinq façons de s'y prendre n'a

fonctionné, pour la même raison de fond.

• La piste « recherche et couverture » est celle qui a produit les seuls vrais résultats

positifs de toute la campagne — exécuter plus longtemps un bon plan (Chapitre 8), la mémoire des

lieux visités (Chapitre 12) — mais avec des gains qui s'essoufflent : le sauvetage anti-noyade

tient bien à grande échelle (Chapitre 15) sans pour autant faire remonter le taux de coupe, et ce

chapitre montre qu'aller plus loin dans cette direction (prédire l'exploration plutôt que la

compter après coup) se heurte maintenant à un problème de quantité de données, pas d'idée.

• Un mécanisme, nommé à plusieurs reprises depuis le Chapitre 11 mais jamais réparé directement,

reste le fil le plus important encore ouvert : la boussole même du planificateur de coupe — celle

qui compare une histoire imaginée à un souvenir de succès — a été confirmée inversée dès le

Chapitre 11, et chaque tentative depuis (recherche, sauvetage, prédiction de couverture) a

contourné ce problème plutôt que de s'y attaquer de front. Avec la piste visuelle maintenant

fermée et la piste de couverture montrant des rendements décroissants, ce mécanisme jamais

réparé devient le levier le plus significatif qui reste sur la table.

Comme pour chaque chapitre de ce site depuis le premier jour : ce compte-rendu ne maquille rien.

Un signal réel a été trouvé (la luminosité ne domine pas la cible de ce nouveau modèle), un vrai

bug a été trouvé et corrigé en chemin, et le résultat final reste malgré tout un échec honnête à ce

stade — pas une victoire déguisée, pas un abandon non plus.