Este proyecto explora técnicas de aprendizaje por refuerzo profundo (DRL) aplicadas a la conducción autónoma en circuitos cerrados de competición, utilizando para ello el simulador CARLA y el lenguaje de programación Python. El objetivo principal es desarrollar e investigar modelos capaces de completar vueltas sin colisiones, tratando de generalizar al máximo para no depender de un entorno específico, así como aprender a hacer uso de herramientas de simulación como CARLA.
Se han implementado y comparado dos algoritmos —Deep Q-Network (DQN) y Soft Actor-Critic (SAC)— programados desde cero con PyTorch. El entrenamiento se ha dividido en dos enfoques: el enfoque omnisciente, basado en estados definidos por variables numéricas (coordenadas y velocidad del vehículo); y el enfoque de primera persona, más ambicioso, que emplea exclusivamente la imagen de una cámara frontal como entrada, con una función de recompensa basada en la distancia a los muros mediante un sensor LiDAR. Este último enfoque busca acercarse a una solución más generalizable y aplicable a situaciones reales del mundo del motor.
A pesar de que el proceso de entrenamiento se ha visto condicionado por las limitaciones inherentes al simulador —particularmente en aspectos como el control preciso del vehículo y la velocidad de convergencia—, la experimentación con distintas funciones de recompensa ha permitido orientar el aprendizaje hacia comportamientos deseados. Gracias a ello, el agente ha sido capaz de desarrollar habilidades básicas de conducción, incluyendo la toma inicial de curvas y maniobras de evitación de colisiones, lo que evidencia un progreso notable dentro del marco de las restricciones existentes.
La idea para este proyecto surge a raíz de la competición A2RL (Abu Dhabi Autonomous Racing League), celebrada el 27 de abril de 2024, como inspiración para explorar los retos actuales en la conducción autónoma de alto rendimiento.
Abstract:
This project investigates the application of deep reinforcement learning techniques to autonomous racing in closed-circuit environments, using the CARLA simulator and the Python programming language. The main goal is to develop and evaluate models capable of driving autonomously and avoiding collisions, with a strong focus on generalization across different tracks.
Two algorithms —Deep Q-Network (DQN) and Soft Actor-Critic (SAC)— have been implemented from scratch using PyTorch, and their performance has been compared under different training setups. The first approach relies on structured state inputs, such as vehicle coordinates and speed, while the second one uses only raw images from a frontfacing camera, combined with a LiDAR-based reward function designed to encourage the vehicle to stay centered between track boundaries.
While some promising behaviors have emerged, such as partial curve learning and basic collision avoidance, the training process has been limited by certain constraints of the simulator, which introduce challenges in precise vehicle control and reward signal consistency.
This work was inspired by the Abu Dhabi Autonomous Racing League (A2RL), held on April 27th, 2024, as a starting point for exploring real-world challenges in highperformance autonomous driving.
Este proyecto explora técnicas de aprendizaje por refuerzo profundo (DRL) aplicadas a la conducción autónoma en circuitos cerrados de competición, utilizando para ello el simulador CARLA y el lenguaje de programación Python. El objetivo principal es desarrollar e investigar modelos capaces de completar vueltas sin colisiones, tratando de generalizar al máximo para no depender de un entorno específico, así como aprender a hacer uso de herramientas de simulación como CARLA.
Se han implementado y comparado dos algoritmos —Deep Q-Network (DQN) y Soft Actor-Critic (SAC)— programados desde cero con PyTorch. El entrenamiento se ha dividido en dos enfoques: el enfoque omnisciente, basado en estados definidos por variables numéricas (coordenadas y velocidad del vehículo); y el enfoque de primera persona, más ambicioso, que emplea exclusivamente la imagen de una cámara frontal como entrada, con una función de recompensa basada en la distancia a los muros mediante un sensor LiDAR. Este último enfoque busca acercarse a una solución más generalizable y aplicable a situaciones reales del mundo del motor.
A pesar de que el proceso de entrenamiento se ha visto condicionado por las limitaciones inherentes al simulador —particularmente en aspectos como el control preciso del vehículo y la velocidad de convergencia—, la experimentación con distintas funciones de recompensa ha permitido orientar el aprendizaje hacia comportamientos deseados. Gracias a ello, el agente ha sido capaz de desarrollar habilidades básicas de conducción, incluyendo la toma inicial de curvas y maniobras de evitación de colisiones, lo que evidencia un progreso notable dentro del marco de las restricciones existentes.
La idea para este proyecto surge a raíz de la competición A2RL (Abu Dhabi Autonomous Racing League), celebrada el 27 de abril de 2024, como inspiración para explorar los retos actuales en la conducción autónoma de alto rendimiento.
Abstract:
This project investigates the application of deep reinforcement learning techniques to autonomous racing in closed-circuit environments, using the CARLA simulator and the Python programming language. The main goal is to develop and evaluate models capable of driving autonomously and avoiding collisions, with a strong focus on generalization across different tracks.
Two algorithms —Deep Q-Network (DQN) and Soft Actor-Critic (SAC)— have been implemented from scratch using PyTorch, and their performance has been compared under different training setups. The first approach relies on structured state inputs, such as vehicle coordinates and speed, while the second one uses only raw images from a frontfacing camera, combined with a LiDAR-based reward function designed to encourage the vehicle to stay centered between track boundaries.
While some promising behaviors have emerged, such as partial curve learning and basic collision avoidance, the training process has been limited by certain constraints of the simulator, which introduce challenges in precise vehicle control and reward signal consistency.
This work was inspired by the Abu Dhabi Autonomous Racing League (A2RL), held on April 27th, 2024, as a starting point for exploring real-world challenges in highperformance autonomous driving. Read More
Related posts:
Carla Hayden’s New Job
Desarrollo de un modelo de computer vision para un coche de carreras autónomo con Yolov9
Primer vistazo al Kia K3 2026
Resultdos del Programa de conducción segura y sustentable de Zarcam
Aplicación Android para la Clasificación del Estilo de Conducción mediante OBD-II, Sensores Móviles y Machine Learning
Conducción autónoma: los niveles que definen el futuro del volante