Entraîné en simulation par des chercheurs d’Apple, un humanoïde réussit 91 % de 360 essais dans des logements inconnus

Huit chercheurs d’Apple ont entraîné un robot humanoïde du commerce, le G1 du fabricant chinois Unitree, avec des données générées par ordinateur. Dans six logements réels qu’il n’avait jamais vus et que personne n’avait scannés ni cartographiés, ce robot à forme humaine a réussi 91 % de 360 essais.

Leur système, HALO, est décrit dans un article scientifique mis en ligne le 4 novembre 2026 sur arXiv, un site de prépublications scientifiques où les travaux paraissent sans relecture par des pairs. Selon leurs termes, les données d’entraînement ont été produites « entièrement en simulation », dans des pièces générées par ordinateur. Apple a mis le code en ligne dans la foulée sur GitHub, une plateforme de partage de code.

L’article paraît douze jours après un reportage de la BBC sur la méthode inverse : des travailleurs payés pour se filmer au travail, afin que les fabricants de robots entraînent leurs modèles sur ces images.

Des données jusqu’ici produites par des humains

Pour apprendre à bouger tout son corps, un robot a besoin de données que le web ne contient pas. Chaque exemple, appelé épisode, doit réunir ce que voit le robot, la consigne qu’il reçoit et le mouvement exact de chaque articulation en réponse. On les produit d’ordinaire par téléopération, quand un opérateur pilote le robot à distance, ou avec des capteurs de mouvement portés par une personne. Selon l’article d’Apple, ces deux méthodes « exigent au moins une heure de temps humain pour produire une heure de données ».

Ce besoin a fait naître un secteur entier. Le 23 octobre, la BBC écrivait que le travailleur suivi dans son reportage était « l’un des centaines de milliers de travailleurs payés dans le monde pour enregistrer leurs activités ». Une seule entreprise de données, Humyn Labs, compte 96 000 collecteurs de ce type en Amérique latine et en Asie du Sud-Est, selon la BBC.

La BBC résumait ainsi la position du fondateur de Humyn Labs, Manish Agarwal : des robots destinés au monde réel « ne peuvent pas être entraînés uniquement dans des simulations informatiques ». Lui-même déclarait : « Ces données doivent être recueillies en partant de zéro, dans le monde réel, dans des environnements variés. » Le 24 octobre, nous avions consacré un article à ces travailleurs qui filment leurs mains pour les fabricants de robots.

300 heures de données en deux jours

HALO remplace les caméras par des logiciels. Infinigen, un générateur libre de scènes en 3D conçu par un laboratoire de l’université de Princeton, a créé les 1 000 pièces virtuelles de l’entraînement. Ce sont des salons, des bureaux et des chambres, garnis chacun de 20 à 80 objets.

Kimodo, un modèle d’IA entraîné sur des enregistrements de mouvements humains, a produit les gestes du corps entier, par exemple marcher jusqu’à une chaise, se retourner et s’asseoir. Un simulateur a ensuite placé chaque mouvement dans une pièce et calculé l’image que verrait la caméra de tête du robot.

L’équipe a obtenu 162 698 épisodes, soit 296,3 heures de vidéo. Leur production a demandé « 48 heures sur 250 GPU H100, sans intervention humaine », indique l’article. Le H100 est un processeur graphique (GPU) de Nvidia, une puce conçue pour l’intelligence artificielle.

Selon notre calcul, cette étape a mobilisé à elle seule environ 12 000 heures de GPU, soit 250 puces pendant 48 heures. Pour les auteurs, leur jeu de données « croît avec la puissance de calcul plutôt qu’avec le travail humain ».

Un robot du commerce avec un Mac mini sur le dos

Le robot n’est pas un produit Apple. Unitree affiche le G1 à partir de 13 500 dollars, soit environ 12 100 euros au taux de change de la Banque centrale européenne du 6 novembre 2026. La Chine affirme avoir fabriqué 40 000 robots humanoïdes en six mois, comme nous l’avons rapporté le 30 octobre.

L’équipe d’Apple a ajouté une caméra grand angle sur la tête du robot et un boîtier dans son dos. Il contient un Mac mini M4 Pro, le petit ordinateur de bureau d’Apple, doté de 64 Go de mémoire. Le robot fonctionne sans câble.

Le logiciel compte trois étages. Le premier, sur le Mac mini, est un modèle de vision et de langage : une IA qui lit à la fois les images et le texte. Environ toutes les deux secondes, il transforme une demande orale en liste d’étapes, par exemple « Push box away » (« pousse le carton ») dans la démonstration de l’équipe.

Ce modèle est Qwen3.6-35B-A3B, un modèle à poids ouverts d’Alibaba, que chacun peut télécharger sous licence Apache 2.0. L’équipe en utilise une version compressée sur 4 bits, plus légère en mémoire.

Le deuxième, un autre modèle d’IA, observe l’image de la caméra environ trois fois par seconde et planifie les cinq secondes suivantes de mouvement du corps entier. Le troisième, sur l’ordinateur Nvidia Jetson intégré au robot, convertit ce plan en commandes pour les moteurs, 50 fois par seconde. Il s’aide d’une caméra de profondeur, qui mesure la distance des objets. Par défaut, aucun étage n’a besoin d’une connexion internet.

Six gestes testés dix fois dans chaque logement

L’équipe a testé six gestes : marcher jusqu’à un objet désigné, s’asseoir sur une chaise, franchir de côté une porte entrouverte, passer sous une table en se baissant, ramper sous une table et pousser un carton. Chaque geste a été répété dix fois dans chacun des six logements, soit 360 essais. Un essai ne comptait comme réussi que si le robot terminait la tâche sans tomber ni rester bloqué.

Les taux de réussite vont de 85 % pour s’asseoir à 100 % pour passer sous une table en se baissant, avec une moyenne de 91 %. C’est la même moyenne qu’en simulation, dans 100 pièces virtuelles que le système n’avait pas vues à l’entraînement. Les vidéos de la page du projet montrent le robot assis sur un canapé, rampant sous un bureau ou poussant un carton.

Plus de pièces générées, plus de réussite

Un test de l’article isole l’effet de la variété des pièces : sans rien changer d’autre, l’équipe a entraîné le système sur 1, 10, 100 puis 1 000 pièces générées. Elle a ensuite mesuré la réussite du robot à s’asseoir dans des pièces simulées qu’il ne connaissait pas. Le taux de réussite passe de 43 % avec une seule pièce à 64 % avec 10, 81 % avec 100 et 84 % avec 1 000.

La courbe s’aplatit toutefois en haut : passer de 100 à 1 000 pièces n’a ajouté que 3 points, de 81 % à 84 %. Les nouvelles pièces sortent du générateur, sans scan de lieu réel. Selon l’article, fabriquer 1 178 pièces, les 1 000 de l’entraînement et 178 gardées pour les tests, a pris 26 heures en mobilisant jusqu’à 300 GPU.

Les limites reconnues par les auteurs

Les tâches enchaînées réussissent moins bien : 70 % en moyenne dans une seule pièce, contre 91 % pour les gestes isolés dans six logements. L’équipe les a testées avec dix essais par enchaînement. Franchir une porte puis rejoindre un objet a réussi à chaque fois. Se baisser sous une table puis s’asseoir a réussi dans 6 essais sur 10.

L’enchaînement en trois étapes n’a réussi que 5 fois sur 10 : se baisser, marcher jusqu’à un carton puis le pousser. Dans trois des cinq échecs, le robot est sorti de sous la table tourné dans la mauvaise direction. Il n’a alors jamais eu le carton dans son champ de vision.

Des humains interviennent encore en amont. Kimodo, le générateur de gestes, a appris sur des mouvements humains. Le troisième étage, qui commande les moteurs, s’est aussi entraîné sur LAFAN1, une collection de mouvements humains enregistrés par capture de mouvement, une technique qui suit le corps d’une personne à l’aide de capteurs. Le geste de poussée reprend l’enregistrement d’une personne qui pousse un carton.

Les gestes pour ramper et se baisser ont été générés à partir de six poses clés : des postures de référence tirées de vidéos de téléphone où une personne passe sous une table. Le robot simulé a aussi été réglé à partir de mesures faites sur le vrai robot. Les auteurs précisent qu’« ajouter une nouvelle tâche physique exige toujours qu’un humain écrive sa consigne et définisse ses poses clés ». Le 7 novembre, le journal économique chinois 21st Century Business Herald faisait le même constat : les données simulées « ne se sont pas complètement affranchies de l’intervention humaine ».

Aucun des six gestes ne consiste à saisir ou à tenir un objet : le seul objet que le robot déplace est un carton, qu’il pousse. Le robot se guide surtout par la vue et ne sent pas les contacts. Dès qu’un objet sort du champ de la caméra, le modèle de contrôle « n’a plus aucun signal indiquant qu’il est toujours là », note l’article.

Le travail des mains est pourtant au centre de ce que filment les entreprises de données. Manish Agarwal expliquait à la BBC qu’il n’existe aucun jeu de données d’« une voiture assemblée par des mains qui savent exactement quelle force appliquer ».

L’article d’Apple est une prépublication, qui n’a pas été relue par d’autres chercheurs. L’article compare HALO à quatre systèmes antérieurs sur leurs fonctions et leur nombre d’essais, sans donner leurs taux de réussite. Le code est diffusé sous une licence propre à Apple plutôt que sous une licence libre standard. Le dépôt GitHub ne contient ni modèle entraîné ni données : pour refaire l’expérience, il faut d’abord générer les données et entraîner les modèles soi-même.

Notre analyse

Pour apprendre à un robot à mouvoir tout son corps dans des pièces inconnues, il n’est plus nécessaire que des personnes rejouent chaque épisode. Huit chercheurs ont généré 300 heures de données en deux jours, et le robot a obtenu dans de vrais logements le même score qu’en simulation. L’article décrit une recherche menée sur le robot d’une autre entreprise et n’annonce aucun produit Apple.

Le 6 novembre, nous rapportions que des agents d’IA avaient mené une expérience ADN de 11 382 étapes pendant que des humains rechargeaient surtout les réactifs. HALO retire les humains d’une autre étape, la fabrication des données d’entraînement. Le travail humain s’est déplacé en amont, vers la description de chaque nouvelle tâche. Selon l’article, c’est ce qui limite le rythme auquel le robot apprend de nouveaux gestes.

La question du coût reste ouverte. L’article ne donne aucun prix pour son temps de calcul : on ne sait donc pas si la donnée simulée coûte moins cher que la donnée filmée. Il établit que ses données ont été produites en parallèle, sans personne devant une caméra.

Restent à suivre la relecture de l’article par d’autres chercheurs et la reproduction des résultats par d’autres laboratoires, à partir du code publié. HALO laisse aussi de côté le travail fin des mains, sur lequel repose le marché des vidéos de travailleurs.

Sources

• Perceptive Humanoid Motion from Simulation, Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller et Vladlen Koltun (Apple), arXiv, 4 novembre 2026
• HALO: Perceptive Humanoid Motion from Simulation, Apple, page du projet, novembre 2026
• apple-aiml-research/ml-halo, Apple, GitHub, 5 novembre 2026
• The Indian workers filming their work to train AI, BBC News, 23 octobre 2026
• Qwen3.6-35B-A3B, Qwen (Alibaba), fiche du modèle sur Hugging Face, 15 avril 2026
• Unitree G1, Unitree Robotics, page produit, consultée le 9 novembre 2026
• Infinigen, Princeton Vision & Learning Lab, consulté le 9 novembre 2026
• 苹果研究团队披露机器人“大脑”进展, 21st Century Business Herald (21jingji), 7 novembre 2026

Image d’en-tête : graphique MACCUS, données de Hu et al. (Apple), arXiv 2611.06908, 4 novembre 2026