La identificación correcta de implantes dentales (DIS) en la práctica clínica se convierte en un reto cuando se producen complicaciones y no se dispone de los registros dentales del paciente. Actualmente, los odontólogos reconocen los implantes basándose en la comparación con catálogos comerciales y/o bases de datos en línea, lo cual consume mucho tiempo y es propenso a errores. La necesidad de métodos automáticos para el reconocimiento de implantes es demandada por clínicos y pacientes que se han enfrentado a esta situación.
Por lo tanto, el objetivo de este trabajo de fin de máster es evaluar la aplicación de enfoques de aprendizaje profundo multimodal para clasificar el modelo de implante (3 clases) y el diámetro (8 clases) utilizando radiografías periapicales. Los modelos se entrenaron con 914 radiografías periapicales de pacientes adultos tomadas en la misma clínica dental, que contienen un total de 1.426 implantes dentales anotados que se utilizaron para el entrenamiento y la evaluación. Para cada implante se dispone de máscaras de segmentación y etiquetas de referencia. Además, se realizó un paso de extracción de características mediante técnicas clásicas de procesamiento de imágenes para identificar puntos clave anatómicos, los cuales se estructuraron posteriormente en representaciones basadas en grafos. Estos puntos, junto con los datos de imagen y las características tabulares derivadas de las imágenes, se emplearon para entrenar y evaluar cuatro modelos de clasificación.
Tras aplicar técnicas de aumento de datos, se evaluó el rendimiento de un modelo unimodal y de cuatro arquitecturas multimodales que combinan información de imagen, datos tabulares y estructuras de grafos. Los modelos incluidos fueron: EfficientNet-B2, EfficientNet-B2 combinado con TabNet, EfficientNet-B2 integrado con una red neuronal de grafos (GNN) y ResNet-18 combinado con GNN. Los resultados experimentales muestran que, entre todos los modelos, la combinación de EfficientNet con GNN supera a las demás arquitecturas evaluadas en términos de exactitud, precisión, sensibilidad e índice F1. Este modelo alcanzó una precisión global de 93%, sensibilidad de 92%, precisión de 92% e índice F1 de 92%. A pesar de las limitaciones inherentes al estudio, la arquitectura ha mostrado un rendimiento superior en la clasificación del modelo y el diámetro, mientras que ha demostrado la eficacia de combinar modalidades de datos complementarias para una identificación robusta de implantes.
–ABSTRACT–
Accurate identification of dental implant systems (DISs) in clinical practice becomes challenging in cases in which complications occur, and dental records are unavailable. Currently, dental practitioners recognize implants based on observation of commercial catalogues and/or online databases, which is timeconsuming and prone to error. The need for automatic methods for implant recognition is understood by clinicians and patients who have encountered this situation.
Therefore, the aim of this master thesis is to evaluate the application of multimodal deep learning approaches to classify DISs model (3 classes) and diameter (8 classes) using periapical radiographs. The models were trained on 914 periapical X-ray images from adult patients collected in the same dental clinic, containing a total of 1,426 annotated dental implants that were used for training and evaluation. Segmentation masks and ground-truth labels were available for each implant. In addition, a feature extraction step was performed using classic image processing techniques to identify relevant anatomical keypoints, which were later structured into graph-based representations. These keypoints, along with image data and tabular features derived from the images were used to train and evaluate four classification models.
After applying data augmentation, the performance of a single-modal model and four multimodal architectures combining image, tabular and structural information was evaluated. The models included EfficientNet-B2, EfficientNetB2 paired with TabNet, EfficientNet-B2 integrated with a Graph Neural Network (GNN), and ResNet-18 combined with GNN. The experimental results show that among all models, the combination of EfficientNet with GNN outperforms the other evaluated architectures in terms of accuracy, precision, recall and F1Score. This model achieved an accuracy of 93%, precision of 92%, recall of 92% and F1-score of 92%. Even though the limitations inherent to the study, the architecture showed superior performance in classifying DIS model and diameter, while demonstrating the effectiveness of combining complementary data modalities for robust implant identification.
La identificación correcta de implantes dentales (DIS) en la práctica clínica se convierte en un reto cuando se producen complicaciones y no se dispone de los registros dentales del paciente. Actualmente, los odontólogos reconocen los implantes basándose en la comparación con catálogos comerciales y/o bases de datos en línea, lo cual consume mucho tiempo y es propenso a errores. La necesidad de métodos automáticos para el reconocimiento de implantes es demandada por clínicos y pacientes que se han enfrentado a esta situación.
Por lo tanto, el objetivo de este trabajo de fin de máster es evaluar la aplicación de enfoques de aprendizaje profundo multimodal para clasificar el modelo de implante (3 clases) y el diámetro (8 clases) utilizando radiografías periapicales. Los modelos se entrenaron con 914 radiografías periapicales de pacientes adultos tomadas en la misma clínica dental, que contienen un total de 1.426 implantes dentales anotados que se utilizaron para el entrenamiento y la evaluación. Para cada implante se dispone de máscaras de segmentación y etiquetas de referencia. Además, se realizó un paso de extracción de características mediante técnicas clásicas de procesamiento de imágenes para identificar puntos clave anatómicos, los cuales se estructuraron posteriormente en representaciones basadas en grafos. Estos puntos, junto con los datos de imagen y las características tabulares derivadas de las imágenes, se emplearon para entrenar y evaluar cuatro modelos de clasificación.
Tras aplicar técnicas de aumento de datos, se evaluó el rendimiento de un modelo unimodal y de cuatro arquitecturas multimodales que combinan información de imagen, datos tabulares y estructuras de grafos. Los modelos incluidos fueron: EfficientNet-B2, EfficientNet-B2 combinado con TabNet, EfficientNet-B2 integrado con una red neuronal de grafos (GNN) y ResNet-18 combinado con GNN. Los resultados experimentales muestran que, entre todos los modelos, la combinación de EfficientNet con GNN supera a las demás arquitecturas evaluadas en términos de exactitud, precisión, sensibilidad e índice F1. Este modelo alcanzó una precisión global de 93%, sensibilidad de 92%, precisión de 92% e índice F1 de 92%. A pesar de las limitaciones inherentes al estudio, la arquitectura ha mostrado un rendimiento superior en la clasificación del modelo y el diámetro, mientras que ha demostrado la eficacia de combinar modalidades de datos complementarias para una identificación robusta de implantes.
–ABSTRACT–
Accurate identification of dental implant systems (DISs) in clinical practice becomes challenging in cases in which complications occur, and dental records are unavailable. Currently, dental practitioners recognize implants based on observation of commercial catalogues and/or online databases, which is timeconsuming and prone to error. The need for automatic methods for implant recognition is understood by clinicians and patients who have encountered this situation.
Therefore, the aim of this master thesis is to evaluate the application of multimodal deep learning approaches to classify DISs model (3 classes) and diameter (8 classes) using periapical radiographs. The models were trained on 914 periapical X-ray images from adult patients collected in the same dental clinic, containing a total of 1,426 annotated dental implants that were used for training and evaluation. Segmentation masks and ground-truth labels were available for each implant. In addition, a feature extraction step was performed using classic image processing techniques to identify relevant anatomical keypoints, which were later structured into graph-based representations. These keypoints, along with image data and tabular features derived from the images were used to train and evaluate four classification models.
After applying data augmentation, the performance of a single-modal model and four multimodal architectures combining image, tabular and structural information was evaluated. The models included EfficientNet-B2, EfficientNetB2 paired with TabNet, EfficientNet-B2 integrated with a Graph Neural Network (GNN), and ResNet-18 combined with GNN. The experimental results show that among all models, the combination of EfficientNet with GNN outperforms the other evaluated architectures in terms of accuracy, precision, recall and F1Score. This model achieved an accuracy of 93%, precision of 92%, recall of 92% and F1-score of 92%. Even though the limitations inherent to the study, the architecture showed superior performance in classifying DIS model and diameter, while demonstrating the effectiveness of combining complementary data modalities for robust implant identification. Read More
Related posts:
Mapeo de áreas propensas a inundaciones utilizando técnicas de aprendizaje automático: un estudio de caso de Vega Baja, Comunidad Valenciana, España
MLSecOps: diseño e implementación de una metodología de desarrollo continua segura de sistemas con inteligencia artificial
Desarrollo de un Sistema de Mejora del Rendimiento de Grandes Modelos de Lenguaje Mediante Técnicas de Ensamble
Aplicación de sondeos de resonancia magnética en acuíferos superficiales de la Cuenca del Duero
Effects of sliding window variation in the performance of acceleration-based human activity recognition using deep learning models
Monitorización de modelos reducidos con sistemas de bajo coste