Todos los sistemas de audio utilizados en entornos profesionales, como pueden ser procesadores de efectos, dinámica, ecualización, sintetizadores, etc., Realizan diferentes funcionalidades dependiendo de los parámetros que el usuario configure. Estos siguen relaciones lineales entre lo que el usuario entrega a través de cierto potenciómetro y la modificación que el sistema aplica a la señal entregada. El proyecto propone una solución en la cual, a través de un periférico externo limitado a tres dimensiones de control físico, pueda modificar diversos parámetros de un sistema de audio de manera no lineal. Para introducir este factor, se recurre a la inteligencia artificial, utilizando redes neuronales MLP (Multi-Layer Perceptron) para realizar operaciones de regresión. Dicha implementación, permitirá hacer modificaciones más dinámicas y expresivas de los controles de parámetros de sistemas de audio.
La solución se desarrolla en el entorno de programación audiovisual Max, donde se implementa el diseño básico de nuestro dispositivo. Dentro de este, se gestiona la entrada de datos del hardware externo, la normalización de los valores, se desarrolla la red neuronal y los datasets, donde almacenaremos una serie de datos de entrada y salida de manera ordenada. Los datos se utilizarán para entrenar la red neuronal, la cual una vez entrenada, realizará predicciones de los datos de salida a partir de la entrada proporcionada por el dispositivo hardware.
En cuanto al resultado final del proyecto, se entrega en un dispositivo de Max for Live, que permite ser ejecutado en el DAW (Digital Audio Workstation) Ableton Live 12. Este permite, a través de su interfaz de usuario, seleccionar cualquier parámetro del programa y manejarlo con nuestro sistema. Esto permite que el usuario, seleccione ciertos parámetros de uno o diversos sistemas de audio virtuales, como pueden ser sintetizadores o procesadores de efectos, encuentre ciertos sonidos deseados ligados a cierto valor de entrada, entrene la red neuronal y rápidamente pueda controlarlos con un periférico externo.
En conclusión, este proyecto realiza un dispositivo (considerado como el software resultante) capaz de manejar diversos parámetros a través de simplemente tres parámetros de entrada de manera no lineal. A pesar de esto, no proporciona un resultado aleatorio, ya que la red neuronal trata de emular los resultados con los que ha sido entrenada. En cuanto a las limitaciones del proyecto y líneas futuras de trabajo, podemos destacar que el dispositivo hardware en la versión entregada está limitado al Thundermaster USB JOYSTICK, para el uso en el sistema operativo MacOS.
Abstract:
Every audio system used in a professional context, such as effect units, dynamic processors, equalizers, synthesizers, etc., Perform different functionalities in depending on the parameters applied by the user. These systems follow linear relations between the adjustments made by the user through certain parameters and the output provided by the system. This project proposes a solution in which the final user can control through an external controller multiple parameters in a non-linear way. To introduce this factor, we will use artificial intelligence in the form of a MLP neural network performing regression operations. This implementation will allow more dynamic and expressive control over the audio systems.
This project is developed in the audiovisual programming environment Max, where the basic design of our device is implemented. Here, we manage the data input from the external hardware, normalize the values, create the neural network, and create the datasets, where we will store a sequence of input and output data. The data will be used to train the neural network, which, once trained, will make predictions of the output data based on the input provided by the hardware device.
The result of the project is delivered in a Max for Live device, which allows the system to be executed in the DAW (Digital Audio Workstation) Ableton Live 12. The workflow that the device offers follows the following sequence: the user can select any parameter of any system inside of the DAW, such as synthesizers, effect processors, etc., Then, the neural network can be either trained to with the desired combination of input/output parameters or loaded with a certain training. Finally, the system is ready to control the parameters in real time via the external controller.
In conclusion, this project creates a device capable of managing various parameters through just three input parameters in a non-linear manner. Despite this, it does not provide a random result, as the neural network tries to emulate the results with which it has been trained. As for the limitations of the project and future lines of work, we can highlight that the hardware device in the delivered version is limited to the Thundermaster USB JOYSTICK, for use on the MacOS operating system.
Todos los sistemas de audio utilizados en entornos profesionales, como pueden ser procesadores de efectos, dinámica, ecualización, sintetizadores, etc., Realizan diferentes funcionalidades dependiendo de los parámetros que el usuario configure. Estos siguen relaciones lineales entre lo que el usuario entrega a través de cierto potenciómetro y la modificación que el sistema aplica a la señal entregada. El proyecto propone una solución en la cual, a través de un periférico externo limitado a tres dimensiones de control físico, pueda modificar diversos parámetros de un sistema de audio de manera no lineal. Para introducir este factor, se recurre a la inteligencia artificial, utilizando redes neuronales MLP (Multi-Layer Perceptron) para realizar operaciones de regresión. Dicha implementación, permitirá hacer modificaciones más dinámicas y expresivas de los controles de parámetros de sistemas de audio.
La solución se desarrolla en el entorno de programación audiovisual Max, donde se implementa el diseño básico de nuestro dispositivo. Dentro de este, se gestiona la entrada de datos del hardware externo, la normalización de los valores, se desarrolla la red neuronal y los datasets, donde almacenaremos una serie de datos de entrada y salida de manera ordenada. Los datos se utilizarán para entrenar la red neuronal, la cual una vez entrenada, realizará predicciones de los datos de salida a partir de la entrada proporcionada por el dispositivo hardware.
En cuanto al resultado final del proyecto, se entrega en un dispositivo de Max for Live, que permite ser ejecutado en el DAW (Digital Audio Workstation) Ableton Live 12. Este permite, a través de su interfaz de usuario, seleccionar cualquier parámetro del programa y manejarlo con nuestro sistema. Esto permite que el usuario, seleccione ciertos parámetros de uno o diversos sistemas de audio virtuales, como pueden ser sintetizadores o procesadores de efectos, encuentre ciertos sonidos deseados ligados a cierto valor de entrada, entrene la red neuronal y rápidamente pueda controlarlos con un periférico externo.
En conclusión, este proyecto realiza un dispositivo (considerado como el software resultante) capaz de manejar diversos parámetros a través de simplemente tres parámetros de entrada de manera no lineal. A pesar de esto, no proporciona un resultado aleatorio, ya que la red neuronal trata de emular los resultados con los que ha sido entrenada. En cuanto a las limitaciones del proyecto y líneas futuras de trabajo, podemos destacar que el dispositivo hardware en la versión entregada está limitado al Thundermaster USB JOYSTICK, para el uso en el sistema operativo MacOS.
Abstract:
Every audio system used in a professional context, such as effect units, dynamic processors, equalizers, synthesizers, etc., Perform different functionalities in depending on the parameters applied by the user. These systems follow linear relations between the adjustments made by the user through certain parameters and the output provided by the system. This project proposes a solution in which the final user can control through an external controller multiple parameters in a non-linear way. To introduce this factor, we will use artificial intelligence in the form of a MLP neural network performing regression operations. This implementation will allow more dynamic and expressive control over the audio systems.
This project is developed in the audiovisual programming environment Max, where the basic design of our device is implemented. Here, we manage the data input from the external hardware, normalize the values, create the neural network, and create the datasets, where we will store a sequence of input and output data. The data will be used to train the neural network, which, once trained, will make predictions of the output data based on the input provided by the hardware device.
The result of the project is delivered in a Max for Live device, which allows the system to be executed in the DAW (Digital Audio Workstation) Ableton Live 12. The workflow that the device offers follows the following sequence: the user can select any parameter of any system inside of the DAW, such as synthesizers, effect processors, etc., Then, the neural network can be either trained to with the desired combination of input/output parameters or loaded with a certain training. Finally, the system is ready to control the parameters in real time via the external controller.
In conclusion, this project creates a device capable of managing various parameters through just three input parameters in a non-linear manner. Despite this, it does not provide a random result, as the neural network tries to emulate the results with which it has been trained. As for the limitations of the project and future lines of work, we can highlight that the hardware device in the delivered version is limited to the Thundermaster USB JOYSTICK, for use on the MacOS operating system. Read More
Related posts:
Sistema de conversión Audio-MIDI basado en redes neuronales
Keysight introduces AI network architecture validation, optimisation tool
Transformer DPD for non-linear power amplifiers in multi carrier signals
Self-Organizing Mapping Neural Network Implementation Based on 3-D NAND Flash for Competitive Learning
Identificación biométrica basada en ECG usando redes neuronales convolucionales
Dispositivo terapéutico portátil para el tratamiento de la artritis mediante estimulación magneto-térmica