Before discussing how to learn the world model, let us explore the dataset we have. We have 7 cameras mounted on top of a 30 story building facing the interstate. We adjust the cameras to get the top-down view and then extract bounding boxes for each vehicle. At a time t, we can determine ptpt​ representing the position, vt​ representing the velocity and itit​ representing the current traffic state around the vehicle.
Avant de discuter de la manière d’apprendre le modèle du monde, explorons le jeu de données dont nous disposons. Nous avons 7 caméras montées sur le toit d’un bâtiment de 30 étages qui fait face à une autoroute. Nous ajustons les caméras pour obtenir une vue de haut en bas et extrayons ensuite des boîtes de délimitation pour chaque véhicule. Au temps t, nous pouvons déterminer ptpt​ représentant la position, vt​ représentant la vitesse et itit​ représentant l’état actuel de la circulation autour du véhicule.