El objetivo de este Trabajo de Fin de Grado es evaluar el rendimiento de los modelos de Segmentación Semántica 3D (SS3D) entrenados con la arquitectura de RandLA-Net, con especial atención en la influencia de las características de las nubes de puntos utilizadas como entrada. En concreto se evaluará la influencia del tamaño de la nube de puntos y la inclusión de características geométricas (coordenadas) y no geométricas (color, intensidad, número de retorno, número de retornos) de los puntos. También, se evaluará el rendimiento de los modelos usando distintas ponde-raciones en la función de pérdida. Los resultados permitirán determinar cómo estas variables afectan al desempeño del modelo, proporcionando criterios para optimi-zar su configuración. Se han utilizado nubes de puntos obtenidos mediante sensores Light Detection and Ranging (LiDAR) aerotransportados de la Comunidad autóno-ma de Aragón, los datos fueron proporcionados por el Instituto Geográfico Nacional.
La metodología seguida se basa parcialmente en la metodología Cross-Industry Standard Process for the development of Machine Learning applications with Quality assurance methodology (CRISP-ML(Q)). La metodología adaptada está compuesta de cinco fases: entendimiento del problema y los datos, preparación de los datos, modelado, evaluación y generación de la memoria o documentación. En la prime-ra fase se realiza una profundización de los conceptos sobre Aprendizaje Profundo (AP), las nubes de puntos obtenidos mediante sensores LiDAR aerotransportados y una revisión literaria de las arquitecturas de AP para la tarea de SS3D. La segunda fase, se obtienen y preparan los datos para el entrenamiento del modelo. En la fase de modelado se entrena el modelo y la fase de evaluación se evalúa el rendimiento del modelo y en la última fase se registra y analiza los resultados obtenidos. La metodología es aplicada en un proceso iterativo que se repite principalmente desde la fase de preparación de los datos hasta la generación de documentación.
Los resultados obtenidos demuestran la importancia del uso de los pesos en la función de pérdida, mejorando el rendimiento del modelo hasta un 16.98 % de Me-dia Intersección sobre Unión (mIoU) y permite que el modelo aprenda patrones de clases menos frecuentes. Los resultados de los experimentos sobre el uso de carac-terísticas no geométricas de la nubes de puntos (NP) no demuestran un aumento significativo en el rendimiento del modelo. Al igual que la partición de las NP en teselas de 500×500 y 250×250 metros. Otro aporte de este trabajo es el diseño de un flujo de trabajo para la preparación, limpieza y reclasificación de nubes de puntos y la creación de un dataset depurado de NP que puede ser usado en futuros trabajos.
Abstract:
The aim of this Bachelor’s Thesis is to evaluate the performance of SS3D models trained with the RandLA-Net architecture, with particular attention to the influence of the characteristics of the point clouds used as input. Specifically, the influence of the point cloud size and the inclusion of geometric (coordinates) and non geometric features of the points (color, intensity, return number, number of returns) will be evaluated. Additionally, the performance of the models using different weightings in the loss function will be evaluated. The results will help determine how these variables affect the model’s performance, providing criteria for optimizing its confi-guration. Point clouds obtained through airborne LiDAR sensors from Aragon were used, and the data was provided by the National Geographic Institute.
The methodology followed is partially based on the CRISP-ML(Q) methodology. The adapted methodology consists of five phases: problem and data understanding, data preparation, modeling, evaluation, and report or documentation. The first pha-se involves an in-depth study of concepts related to machine learning, point clouds obtained from airborne LiDAR sensors, and a literature review of machine learning machine learning architectures for the 3D Semantic Segmentation task. The second phase focuses on obtaining and preparing the data for model training. The modeling phase involves training the model, and the evaluation phase assesses the model’s per-formance. The methodology is applied in an iterative process, primarily repeating from the data preparation phase to documentation.
The results demonstrate the importance of using weights in the loss function, im-proving the model’s performance by up to 16.98 % in mean Intersection over Union (mIoU), while also enabling the learning of patterns from less frequent classes. The experiments on the use of non-geometric features of the point cloud did not show a significant increase in model performance, also did the partitioning of point cloud into tiles of 500×500 and 250×250 meters. Another contribution of this work is the de-sign of a workflow for the preparation, cleaning, and reclassification of point clouds, as well as the creation of a clean point cloud dataset that can be used in future research.
El objetivo de este Trabajo de Fin de Grado es evaluar el rendimiento de los modelos de Segmentación Semántica 3D (SS3D) entrenados con la arquitectura de RandLA-Net, con especial atención en la influencia de las características de las nubes de puntos utilizadas como entrada. En concreto se evaluará la influencia del tamaño de la nube de puntos y la inclusión de características geométricas (coordenadas) y no geométricas (color, intensidad, número de retorno, número de retornos) de los puntos. También, se evaluará el rendimiento de los modelos usando distintas ponde-raciones en la función de pérdida. Los resultados permitirán determinar cómo estas variables afectan al desempeño del modelo, proporcionando criterios para optimi-zar su configuración. Se han utilizado nubes de puntos obtenidos mediante sensores Light Detection and Ranging (LiDAR) aerotransportados de la Comunidad autóno-ma de Aragón, los datos fueron proporcionados por el Instituto Geográfico Nacional.
La metodología seguida se basa parcialmente en la metodología Cross-Industry Standard Process for the development of Machine Learning applications with Quality assurance methodology (CRISP-ML(Q)). La metodología adaptada está compuesta de cinco fases: entendimiento del problema y los datos, preparación de los datos, modelado, evaluación y generación de la memoria o documentación. En la prime-ra fase se realiza una profundización de los conceptos sobre Aprendizaje Profundo (AP), las nubes de puntos obtenidos mediante sensores LiDAR aerotransportados y una revisión literaria de las arquitecturas de AP para la tarea de SS3D. La segunda fase, se obtienen y preparan los datos para el entrenamiento del modelo. En la fase de modelado se entrena el modelo y la fase de evaluación se evalúa el rendimiento del modelo y en la última fase se registra y analiza los resultados obtenidos. La metodología es aplicada en un proceso iterativo que se repite principalmente desde la fase de preparación de los datos hasta la generación de documentación.
Los resultados obtenidos demuestran la importancia del uso de los pesos en la función de pérdida, mejorando el rendimiento del modelo hasta un 16.98 % de Me-dia Intersección sobre Unión (mIoU) y permite que el modelo aprenda patrones de clases menos frecuentes. Los resultados de los experimentos sobre el uso de carac-terísticas no geométricas de la nubes de puntos (NP) no demuestran un aumento significativo en el rendimiento del modelo. Al igual que la partición de las NP en teselas de 500×500 y 250×250 metros. Otro aporte de este trabajo es el diseño de un flujo de trabajo para la preparación, limpieza y reclasificación de nubes de puntos y la creación de un dataset depurado de NP que puede ser usado en futuros trabajos.
Abstract:
The aim of this Bachelor’s Thesis is to evaluate the performance of SS3D models trained with the RandLA-Net architecture, with particular attention to the influence of the characteristics of the point clouds used as input. Specifically, the influence of the point cloud size and the inclusion of geometric (coordinates) and non geometric features of the points (color, intensity, return number, number of returns) will be evaluated. Additionally, the performance of the models using different weightings in the loss function will be evaluated. The results will help determine how these variables affect the model’s performance, providing criteria for optimizing its confi-guration. Point clouds obtained through airborne LiDAR sensors from Aragon were used, and the data was provided by the National Geographic Institute.
The methodology followed is partially based on the CRISP-ML(Q) methodology. The adapted methodology consists of five phases: problem and data understanding, data preparation, modeling, evaluation, and report or documentation. The first pha-se involves an in-depth study of concepts related to machine learning, point clouds obtained from airborne LiDAR sensors, and a literature review of machine learning machine learning architectures for the 3D Semantic Segmentation task. The second phase focuses on obtaining and preparing the data for model training. The modeling phase involves training the model, and the evaluation phase assesses the model’s per-formance. The methodology is applied in an iterative process, primarily repeating from the data preparation phase to documentation.
The results demonstrate the importance of using weights in the loss function, im-proving the model’s performance by up to 16.98 % in mean Intersection over Union (mIoU), while also enabling the learning of patterns from less frequent classes. The experiments on the use of non-geometric features of the point cloud did not show a significant increase in model performance, also did the partitioning of point cloud into tiles of 500×500 and 250×250 meters. Another contribution of this work is the de-sign of a workflow for the preparation, cleaning, and reclassification of point clouds, as well as the creation of a clean point cloud dataset that can be used in future research. Read More
Related posts:
Clasificación de Nubes de Puntos obtenidas con sensores LiDAR aerotransportados para la identificación de objetos mediante el uso de Deep Learning
Metodología para la generación de modelos 3D para simulación en carreteras
Clasificación inferida mediante datos departamento del director del TFG
Sistemas constructivos paramétricos en Inteligencia Artificial
Estudio de la atención en las arquitecturas transformer
Comparación cualitativa de los resultados de la esqueletización de los viales identificados por segmentación semántica usando redes generativas y de los algoritmos tradicionales