La curiosité en panne, puis deux rustines qui marchent à moitié

Piste débutant

Le problème qu'on attaque : trouver le premier arbre, seul

Le Chapitre 6 s'est terminé sur un mur bien identifié : l'agent sait fabriquer des planches à la

perfection une fois qu'il a du bois, mais dans un vrai monde de survie généré au hasard, il ne

trouve jamais son premier arbre — 0 bûche sur 5 épisodes testés. Ce chapitre raconte la

première grande campagne pour attaquer ce mur. Spoiler honnête, comme toujours dans ce projet :

la première idée échoue proprement, et les corrections suivantes n'apportent qu'un progrès

partiel — mais chaque échec révèle quelque chose de précis sur la nature réelle du problème.

Idée n°1 : la curiosité — récompenser l'agent pour ce qui le surprend

L'idée s'appelle la curiosité artificielle. Le principe : au lieu de ne récompenser l'agent

que pour atteindre un objectif, on lui donne aussi une petite récompense chaque fois qu'il va vers

quelque chose de surprenant — un endroit que son modèle du monde connaît mal, où ses

prédictions se trompent beaucoup. L'intuition : si l'agent ne trouve jamais d'arbre parce qu'il ne

sait pas dans quelle direction chercher, le pousser vers ce qui le surprend devrait naturellement

le faire explorer plutôt que rester planté.

Concrètement, le projet a construit un petit comité de 5 « devineurs » qui essaient chacun de

prédire ce qui va se passer ensuite dans l'embedding (le résumé en nombres de l'image, Chapitre

1). Quand les 5 devineurs sont d'accord, c'est un endroit familier — rien de surprenant. Quand ils

sont en désaccord, c'est un endroit mal compris — potentiellement intéressant à explorer. Cette

idée s'appelle Plan2Explore et vient d'un vrai article de recherche.

Avant de lancer cette expérience (et toutes celles qui suivent dans ce chapitre et le suivant), le

projet a construit une petite équipe de trois agents logiciels spécialisés — un qui propose une

expérience à partir de vraies références scientifiques, un qui l'implémente sans jamais abîmer ce

qui fonctionne déjà, un qui la teste honnêtement et rapporte les vrais chiffres. Cette discipline

sert à éviter de se raconter des histoires sur ses propres résultats.

Le résultat : aucune différence, et plus lent

Comparaison sur 20 épisodes de Treechop (le mode « juste couper un arbre » du Chapitre 5), avec et

sans la curiosité activée : sans curiosité, 30% de réussite ; avec curiosité, 25% — une

différence bien trop petite pour être fiable avec seulement 20 épisodes de chaque côté, et surtout,

avec la curiosité, le jeu tourne deux fois et demi plus lentement (le comité de 5 devineurs

doit juger chacune des 512 histoires imaginées à chaque instant, Chapitre 4). Verdict honnête :

la curiosité n'a rien apporté, et elle a coûté cher en vitesse.

Pourquoi ça a échoué : le comité s'est mis d'accord trop vite

En regardant l'entraînement du comité de devineurs, l'explication apparaît clairement : dès la

troisième passe d'entraînement, les 5 devineurs se sont tous mis d'accord entre eux, et sont

restés d'accord pour le reste de l'entraînement. Un comité toujours d'accord ne peut plus jamais

signaler « ceci est surprenant » nulle part — le signal de curiosité est resté plat partout, ce qui

explique exactement pourquoi activer la curiosité n'a rien changé (à part ralentir le jeu).

La vraie cause, plus intéressante que le symptôme : la vraie méthode Plan2Explore entraîne son

comité de devineurs en continu, sur ce que l'agent découvre en explorant lui-même — un flux de

données forcément varié, puisque l'agent va sans arrêt vers des endroits nouveaux. Ce projet, lui,

a entraîné le comité une fois pour toutes, sur des enregistrements figés de parties d'experts qui

coupent toujours le même arbre de la même façon. Sur des données aussi répétitives, les 5

devineurs trouvent tous la même solution simple, et n'ont plus jamais de raison d'être en

désaccord. Le projet a reproduit la forme de la méthode sans reproduire la condition qui la

fait marcher.

Idée n°2 : arrêter de regarder par le prisme de la curiosité

Après cet échec, le projet a pris du recul et reposé la question autrement : qu'est-ce que le

planificateur (Chapitre 4) fait réellement, mécaniquement, quand aucun arbre n'est visible ?

Deux défauts très concrets sont apparus — aucun des deux n'a besoin d'apprentissage pour être

corrigé.

Défaut 1 : le planificateur ne peut même pas imaginer le bon geste. Pour chercher un arbre

invisible, le bon geste, c'est « tourner la caméra dans une direction pendant plusieurs instants

de suite ». Mais le planificateur tire ses 512 histoires imaginées en choisissant, à chaque

instant, une action complètement indépendante de la précédente — un peu comme lancer un dé à 17

faces 12 fois de suite sans mémoire. La probabilité qu'un tel tirage produise 6 fois d'affilée

l'action « tourner » est quasiment nulle. Le problème n'est pas que le planificateur choisit

mal — c'est que le bon geste n'existe même pas dans la liste de choses qu'il envisage.

La correction s'appelle l'échantillonnage collant : à chaque instant imaginé, au lieu de tirer

une action complètement neuve, on répète l'action précédente avec une certaine probabilité. Cette

seule règle fait grimper le taux de répétition consécutive de 7% (tirage indépendant) à 72%

(collant à 70%) — les 512 histoires imaginées contiennent désormais des gestes tenus dans le temps

(tourner-et-regarder, marcher-vers, frapper de façon soutenue).

Défaut 2 : l'agent ne sait même pas qu'il est perdu. Quand un arbre est visible, les 512

histoires imaginées obtiennent des scores très différents (certaines s'en approchent, d'autres

s'en éloignent). Quand rien n'est visible, les 512 scores sont quasiment identiques — le choix

final devient un tirage au sort déguisé. Cet écart entre les scores (leur écart-type) est un

signal gratuit, déjà calculé, jamais utilisé jusque-là : élevé, ça veut dire « je vois quelque

chose d'utile » ; proche de zéro, ça veut dire « je suis perdu ». Une petite règle a été ajoutée :

après plusieurs tours de suite avec ce signal proche de zéro, l'agent abandonne temporairement le

planificateur et tourne la caméra méthodiquement jusqu'à ce que le signal remonte (un arbre est

entré dans le champ de vision) ou qu'un budget de tours soit épuisé.

À prendre pour ce que c'est : ce n'est pas de l'apprentissage. C'est un réflexe écrit à la

main — le genre de chose que des méthodes plus lourdes (hors de portée d'un seul GPU grand public)

apprennent d'elles-mêmes. Mais ça n'a pas de sens d'apprendre à un agent à explorer tant qu'il ne

peut même pas tourner la tête correctement.

Les résultats : un vrai progrès sur Treechop, zéro sur le cold-start

Sur Treechop (l'agent démarre toujours en forêt), la combinaison collant+réflexe donne un résultat

nuancé : à un réglage modéré (collant à 50%), le taux de succès reste dans la fourchette normale

déjà observée au Chapitre 5, mais chaque succès rapporte environ deux fois plus de récompense — le

collant aide à creuser (continuer à couper un arbre déjà trouvé) plus qu'à chercher (trouver

plus d'arbres). À un réglage plus fort (collant à 70%), l'agent se bloque trop sur un seul geste et

le résultat empire légèrement.

Sur le vrai cold-start (spawn aléatoire, sans bois de départ) : zéro bûche coupée, dans toutes

les configurations testées. Pire, à un certain réglage du seuil, le réflexe « tourner la tête »

devient pathologique : l'agent tourne la caméra 82 à 92% du temps, littéralement en train de

tourner sur lui-même sans jamais s'arrêter. L'observation la plus révélatrice : dans certains

épisodes, l'agent se retrouve entouré d'arbres et ne les coupe toujours pas. Ce n'est donc pas

(seulement) un problème de recherche — c'est un problème d'approche et de coupe une fois la cible

trouvée.

Une variante testée pour comprendre : donner à l'agent deux « cerveaux » séparés — celui qui a fait

ses preuves sur Treechop pilote la recherche de l'arbre, le nouveau modèle prend le relais dès la

première bûche pour fabriquer. Résultat : toujours zéro bûche, mais le comportement change

nettement (des gestes de bûcheron reconnaissables au lieu d'un vagabondage confus). Un des épisodes

montre l'agent qui apparaît dans un ravin rocheux sans un seul arbre, et qui frappe la pierre à la

place — un rappel qu'un point de spawn sans bois du tout ne peut être résolu par aucun réflexe de

recherche.

Une dernière tentative avant de conclure : affiner le modèle sur plus de diversité

Dernière piste testée dans cette campagne : si le signal « je suis perdu » est flou sur le modèle

de fabrication (contrairement au modèle Treechop où il est net), c'est peut-être parce que les

démonstrations d'experts utilisées pour l'entraîner montrent rarement des moments où l'expert est

« perdu » — les experts trouvent du bois vite, ils ne traînent jamais dans le vide. En ajoutant

une vingtaine de courtes parties jouées au hasard (donc, statistiquement, souvent perdues) au jeu

de données d'entraînement, puis en réentraînant légèrement le modèle sur ce mélange, le signal

« perdu vs. trouvé » devient effectivement beaucoup plus net qu'avant.

Mais le résultat final ne change pas d'un iota : toujours zéro bûche coupée, avec ou sans cet

affinement. Rendre le signal plus net n'a pas rendu le comportement meilleur. Cette découverte

confirme ce que l'expérience des deux cerveaux avait déjà suggéré : le mur n'est pas dans la

perception (savoir qu'on est perdu), il est dans le comportement (savoir quoi faire une fois

qu'on a trouvé quelque chose, ou comment couvrir du terrain quand on ne trouve rien). Le chapitre

suivant continue cette enquête avec des outils encore plus directs.

epoch 1: val_disagree = 0,0613   (diversité saine)
epoch 2: val_disagree = 0,0122
epoch 3: val_disagree = 0,0017   (collapsé)
epoch 4-15: val_disagree ≈ 0,0005 (mort, ne récupère jamais)