Thanks to the efforts and cooperation of the international community, nowadays it is possible to analyze astronomical data captured by the observatories and telescopes of major space agencies around the world from a personal computer. The development of Virtual Observatory (VO) technology and the standardization of the formats it uses, allow professional and amateur astronomers to access astronomical data and images through the internet with relative ease. Immersed in this context of global accessibility, present and future massive astronomical data archives represent a great opportunity to consolidate the use of sound in the analysis and communication of scientific information. Sonification provides additional dimensions to graphic representations, enhances the accessibility of the archives, offers alternative display strategies to specific case studies, and brings scientific concepts closer to potential audiences. In addition, the use of astronomical data for creative purposes in musical applications and sound art allows the creation of original compositions and sound designs.
This thesis offers a wide collection of sonification and musification strategies implemented to analyze the implications and potential goals of future developments towards a proposal for an Auditory Virtual Observatory. This proposal could be useful not only in educational and outreach activities, but also in scientific research, providing complementary analysis perspectives and improving accessibility for blind and low vision users (BLV). Supported by the implementation of experimental prototypes that allow the multimodal graphic and auditory exploration of public access databases and stellar catalogs, this work offers an extended theoretical and practical analysis of the current sonification techniques, as well as the application of deep learning to Sonification and Music composition, using real sky case studies from the Space Telescope Science Institute (STScI), the Spanish Virtual Observatory (SVO), the Barbara A. Mikulski Archive for Space Telescopes (MAST), the NASA exoplanet Archive, the Convection, Rotation, and planetary Transits (CoRoT) archive, and the Calar Alto Legacy Integral Field Area (CALIFA) survey. Mainly based on automation, parameter mapping, and deep learning algorithms, this work provides a collection of multimodal analysis tools ranging from simple mono auditory graphs, to interactive binaural prototypes based on autoencoders, going through complete data-driven music composition systems using neural networks with attention mechanisms.
This research also includes three user studies with qualitative and quantitative feedback from more than 150 participants experienced and non-experienced in Astronomy and Music. The qualitative results show a good acceptance of the proposals, with a general tendency to rate higher the representations using musical forms, than those using abstract representations. Although the quantitative results should be considered indicative, they suggest that all participants could retrieve useful information from the sonifications, pointing to experience in the analysis of sound events as more helpful than previous knowledge of the data, and highlighting the importance of training and attention to detail for the understanding of complex auditory information. All these results are expected to provide potential guidelines to inspire future designs of widely accepted auditory representations for scientific analysis and outreach.
RESUMEN
Gracias al esfuerzo y la cooperación de la comunidad internacional, hoy en día es posible analizar los datos astronómicos capturados por los observatorios y telescopios de las principales agencias espaciales de todo el mundo desde un ordenador personal. El desarrollo de la tecnología del Observatorio Virtual (VO) y la estandarización de sus formatos, permiten a astrónomos profesionales y aficionados acceder a datos e imágenes astronómicas, a través de internet, con relativa facilidad. Dentro de este contexto de accesibilidad global, los archivos masivos de datos astronómicos presentes y futuros representan una gran oportunidad para consolidar el uso del sonido en el análisis y la comunicación de información científica. La sonificación proporciona dimensiones adicionales a las representaciones gráficas, mejorando la accesibilidad de los archivos, ofreciendo estrategias de visualización alternativas en casos de estudio específicos y acercando la ciencia a todos los públicos. Además, el uso de datos astronómicos con fines creativos en aplicaciones musicales y de arte sonoro permite la creación de composiciones y diseños sonoros originales.
Esta tesis ofrece una amplia colección de estrategias de sonificación y musificación implementadas para analizar las implicaciones y objetivos potenciales de futuros desarrollos hacia una propuesta de Observatorio Virtual Sonoro, que podría ser útil no sólo en actividades educativas y de divulgación, sino también en investigación científica, proporcionando perspectivas de análisis complementarias y mejorando la accesibilidad para usuarios ciegos o con visión reducida (BLV). Apoyada en la implementación de prototipos experimentales que permiten la exploración multimodal gráfica y auditiva de bases de datos y catálogos estelares de acceso público, se ofrece un amplio análisis teórico y práctico de las técnicas actuales de sonificación, así como de la aplicación del deep learning a la sonificación y a la composición musical, utilizando casos de estudio reales del Space Telescope Science Institute (STScI), del Observatorio Virtual Español (SVO), del Archivo de Telescopios Espaciales Barbara A. Mikulski (MAST), del Exoplanet Archive de la NASA, del archivo Convection, Rotation, and planetary Transits (CoRoT), y del estudio Calar Alto Legacy Integral Field Area (CALIFA). Basadas principalmente en automatización, mapeado de parámetros y algoritmos de deep learning, las herramientas de análisis desarrolladas van desde simples gráficos sonoros mono, hasta prototipos binaurales interactivos basados en autoencoders, pasando por completos sistemas de composición musical formados por redes neuronales con mecanismos de atención.
Esta investigación también incluye tres estudios cualitativos y cuantitativos con más de 150 participantes con y sin experiencia en Astronomía y Música. Los resultados cualitativos muestran una buena aceptación de las propuestas, y una tendencia general a valorar mejor las representaciones que utilizan formas musicales frente a las que utilizan representaciones sonoras abstractas. Aunque los resultados cuantitativos no son concluyentes, sugieren que todos los participantes pudieron recuperar información útil de las sonificaciones, señalando que la experiencia en el análisis de eventos sonoros es más útil que el conocimiento previo de los datos, y destacando la importancia del entrenamiento y la atención al detalle en la comprensión de información sonora compleja. Se espera que estos resultados proporcionen pautas potenciales que puedan inspirar diseños futuros de sonificaciones ampliamente aceptadas para el análisis y la divulgación científica.
Thanks to the efforts and cooperation of the international community, nowadays it is possible to analyze astronomical data captured by the observatories and telescopes of major space agencies around the world from a personal computer. The development of Virtual Observatory (VO) technology and the standardization of the formats it uses, allow professional and amateur astronomers to access astronomical data and images through the internet with relative ease. Immersed in this context of global accessibility, present and future massive astronomical data archives represent a great opportunity to consolidate the use of sound in the analysis and communication of scientific information. Sonification provides additional dimensions to graphic representations, enhances the accessibility of the archives, offers alternative display strategies to specific case studies, and brings scientific concepts closer to potential audiences. In addition, the use of astronomical data for creative purposes in musical applications and sound art allows the creation of original compositions and sound designs.
This thesis offers a wide collection of sonification and musification strategies implemented to analyze the implications and potential goals of future developments towards a proposal for an Auditory Virtual Observatory. This proposal could be useful not only in educational and outreach activities, but also in scientific research, providing complementary analysis perspectives and improving accessibility for blind and low vision users (BLV). Supported by the implementation of experimental prototypes that allow the multimodal graphic and auditory exploration of public access databases and stellar catalogs, this work offers an extended theoretical and practical analysis of the current sonification techniques, as well as the application of deep learning to Sonification and Music composition, using real sky case studies from the Space Telescope Science Institute (STScI), the Spanish Virtual Observatory (SVO), the Barbara A. Mikulski Archive for Space Telescopes (MAST), the NASA exoplanet Archive, the Convection, Rotation, and planetary Transits (CoRoT) archive, and the Calar Alto Legacy Integral Field Area (CALIFA) survey. Mainly based on automation, parameter mapping, and deep learning algorithms, this work provides a collection of multimodal analysis tools ranging from simple mono auditory graphs, to interactive binaural prototypes based on autoencoders, going through complete data-driven music composition systems using neural networks with attention mechanisms.
This research also includes three user studies with qualitative and quantitative feedback from more than 150 participants experienced and non-experienced in Astronomy and Music. The qualitative results show a good acceptance of the proposals, with a general tendency to rate higher the representations using musical forms, than those using abstract representations. Although the quantitative results should be considered indicative, they suggest that all participants could retrieve useful information from the sonifications, pointing to experience in the analysis of sound events as more helpful than previous knowledge of the data, and highlighting the importance of training and attention to detail for the understanding of complex auditory information. All these results are expected to provide potential guidelines to inspire future designs of widely accepted auditory representations for scientific analysis and outreach.
RESUMEN
Gracias al esfuerzo y la cooperación de la comunidad internacional, hoy en día es posible analizar los datos astronómicos capturados por los observatorios y telescopios de las principales agencias espaciales de todo el mundo desde un ordenador personal. El desarrollo de la tecnología del Observatorio Virtual (VO) y la estandarización de sus formatos, permiten a astrónomos profesionales y aficionados acceder a datos e imágenes astronómicas, a través de internet, con relativa facilidad. Dentro de este contexto de accesibilidad global, los archivos masivos de datos astronómicos presentes y futuros representan una gran oportunidad para consolidar el uso del sonido en el análisis y la comunicación de información científica. La sonificación proporciona dimensiones adicionales a las representaciones gráficas, mejorando la accesibilidad de los archivos, ofreciendo estrategias de visualización alternativas en casos de estudio específicos y acercando la ciencia a todos los públicos. Además, el uso de datos astronómicos con fines creativos en aplicaciones musicales y de arte sonoro permite la creación de composiciones y diseños sonoros originales.
Esta tesis ofrece una amplia colección de estrategias de sonificación y musificación implementadas para analizar las implicaciones y objetivos potenciales de futuros desarrollos hacia una propuesta de Observatorio Virtual Sonoro, que podría ser útil no sólo en actividades educativas y de divulgación, sino también en investigación científica, proporcionando perspectivas de análisis complementarias y mejorando la accesibilidad para usuarios ciegos o con visión reducida (BLV). Apoyada en la implementación de prototipos experimentales que permiten la exploración multimodal gráfica y auditiva de bases de datos y catálogos estelares de acceso público, se ofrece un amplio análisis teórico y práctico de las técnicas actuales de sonificación, así como de la aplicación del deep learning a la sonificación y a la composición musical, utilizando casos de estudio reales del Space Telescope Science Institute (STScI), del Observatorio Virtual Español (SVO), del Archivo de Telescopios Espaciales Barbara A. Mikulski (MAST), del Exoplanet Archive de la NASA, del archivo Convection, Rotation, and planetary Transits (CoRoT), y del estudio Calar Alto Legacy Integral Field Area (CALIFA). Basadas principalmente en automatización, mapeado de parámetros y algoritmos de deep learning, las herramientas de análisis desarrolladas van desde simples gráficos sonoros mono, hasta prototipos binaurales interactivos basados en autoencoders, pasando por completos sistemas de composición musical formados por redes neuronales con mecanismos de atención.
Esta investigación también incluye tres estudios cualitativos y cuantitativos con más de 150 participantes con y sin experiencia en Astronomía y Música. Los resultados cualitativos muestran una buena aceptación de las propuestas, y una tendencia general a valorar mejor las representaciones que utilizan formas musicales frente a las que utilizan representaciones sonoras abstractas. Aunque los resultados cuantitativos no son concluyentes, sugieren que todos los participantes pudieron recuperar información útil de las sonificaciones, señalando que la experiencia en el análisis de eventos sonoros es más útil que el conocimiento previo de los datos, y destacando la importancia del entrenamiento y la atención al detalle en la comprensión de información sonora compleja. Se espera que estos resultados proporcionen pautas potenciales que puedan inspirar diseños futuros de sonificaciones ampliamente aceptadas para el análisis y la divulgación científica. Read More
Related posts:
Three Novel Artificial Neural Network Architectures Based on Convolutional Neural Networks for the Spatio-Temporal Processing of Solar Forecasting Data
Herramienta automática para la gestión de información climática del repositorio Climate Data Store de la Unión Europea
Digital twins in critical infrastructure
Digital twins in critical infrastructure
Portal científico: extracción automática de datos
Desarrollo de una metodología analítica para la selección de empresas candidatas a adelantos de préstamos: integración de análisis de datos bancarios, predicciones y dashboard interactivo