Regulatory attention, exemplified by the EU AI Act, has placed fairness at the forefront of AI discussions. While aspects like robustness, transparency, and privacy are clearly defined, fairness remains a vague and complex concept. This thesis introduces a comprehensive framework to measure, mitigate, and monitor fairness throughout the entire AI model lifecycle.
Two new metrics are introduced, each capturing a distinct dimension of the concept of fairness: 1) Equality Measure: assesses whether individuals are treated the same way. 2) Equity Measure: evaluates how well the system adapts to the specific needs of different groups. By distinguishing these dimensions, the framework supports more precise and transparent audits, preventing the conflation or distortion of both concepts.
This thesis proposes a Bayesian causal model-based approach to reducing disparities without compromising performance. This method allows for the generation of fair data by adjusting conditional probabilities according to the objectives of Equality or Equity. Moreover, each dimension can be optimized independently, depending on the context and priorities.
Validations on various datasets demonstrate that the two metrics (Equality and Equity) operate independently and confirm the effectiveness of this strategy in optimizing them. Overall, this work provides: 1) Clear definitions of fairness as two quantifiable measures; 2) Robust and flexible mitigation tools grounded in causality, and 3) A monitoring system that ensures fairness throughout the entire model lifecycle, enabling early detection and dynamic adjustment.
This shifts fairness mitigation from a one-time fix to a systematic process applicable at any stage, from data preprocessing to post-processing after training, laying the groundwork for more just, transparent, and trustworthy AI. The proposed framework aligns with evolving expectations for ethical AI and supports equitable and responsible deployment in real-world applications.
RESUMEN
La atención regulatoria, ejemplificada por la Ley de IA de la UE, ha colocado la equidad en el centro de las discusiones sobre inteligencia artificial. Mientras que aspectos como la robustez, la transparencia y la privacidad están claramente definidos, la equidad sigue siendo un concepto vago y complejo. Esta tesis presenta un framework integral para medir, mitigar y monitorear la equidad a lo largo de todo el ciclo de vida de un modelo de IA.
Se introducen dos nuevas métricas, cada una capturando una dimensión distinta del concepto de equidad: 1) Medida de Igualdad: evalúa si los individuos son tratados de la misma manera, and 2) Medida de Equidad: evalúa qué tan bien se adapta el sistema a las necesidades específicas de distintos grupos. Al distinguir estas dimensiones, el frameowrk permite auditorías más precisas y transparentes, evitando la confusión o distorsión de ambos conceptos.
Esta tesis propone un enfoque basado en modelos causales bayesianos para reducir las disparidades sin comprometer el rendimiento. Este método permite generar datos justos ajustando las probabilidades condicionales según los objetivos de Igualdad o Equidad. Además, cada dimensión puede optimizarse de forma independiente, dependiendo del contexto y las prioridades.
Las validaciones en varios conjuntos de datos demuestran que las dos métricas (Igualdad y Equidad) operan de manera independiente y confirman la efectividad de esta estrategia para optimizarlas. En conjunto, este trabajo proporciona: 1) Definiciones claras de la equidad como dos medidas cuantificables; 2) Herramientas de mitigación sólidas y flexibles basadas en la causalidad; y 3) Un sistema de monitoreo que garantiza la equidad a lo largo de todo el ciclo de vida del modelo, permitiendo una detección temprana y ajustes dinámicos.
Esto transforma la mitigación de la equidad de una solución puntual a un proceso sistemático aplicable en cualquier etapa sentando las bases para una IA más justa, transparente y confiable. El framework propuesto se alinea con las expectativas emergentes para una IA ética y respalda un despliegue equitativo y responsable en aplicaciones del mundo real.
Regulatory attention, exemplified by the EU AI Act, has placed fairness at the forefront of AI discussions. While aspects like robustness, transparency, and privacy are clearly defined, fairness remains a vague and complex concept. This thesis introduces a comprehensive framework to measure, mitigate, and monitor fairness throughout the entire AI model lifecycle.
Two new metrics are introduced, each capturing a distinct dimension of the concept of fairness: 1) Equality Measure: assesses whether individuals are treated the same way. 2) Equity Measure: evaluates how well the system adapts to the specific needs of different groups. By distinguishing these dimensions, the framework supports more precise and transparent audits, preventing the conflation or distortion of both concepts.
This thesis proposes a Bayesian causal model-based approach to reducing disparities without compromising performance. This method allows for the generation of fair data by adjusting conditional probabilities according to the objectives of Equality or Equity. Moreover, each dimension can be optimized independently, depending on the context and priorities.
Validations on various datasets demonstrate that the two metrics (Equality and Equity) operate independently and confirm the effectiveness of this strategy in optimizing them. Overall, this work provides: 1) Clear definitions of fairness as two quantifiable measures; 2) Robust and flexible mitigation tools grounded in causality, and 3) A monitoring system that ensures fairness throughout the entire model lifecycle, enabling early detection and dynamic adjustment.
This shifts fairness mitigation from a one-time fix to a systematic process applicable at any stage, from data preprocessing to post-processing after training, laying the groundwork for more just, transparent, and trustworthy AI. The proposed framework aligns with evolving expectations for ethical AI and supports equitable and responsible deployment in real-world applications.
RESUMEN
La atención regulatoria, ejemplificada por la Ley de IA de la UE, ha colocado la equidad en el centro de las discusiones sobre inteligencia artificial. Mientras que aspectos como la robustez, la transparencia y la privacidad están claramente definidos, la equidad sigue siendo un concepto vago y complejo. Esta tesis presenta un framework integral para medir, mitigar y monitorear la equidad a lo largo de todo el ciclo de vida de un modelo de IA.
Se introducen dos nuevas métricas, cada una capturando una dimensión distinta del concepto de equidad: 1) Medida de Igualdad: evalúa si los individuos son tratados de la misma manera, and 2) Medida de Equidad: evalúa qué tan bien se adapta el sistema a las necesidades específicas de distintos grupos. Al distinguir estas dimensiones, el frameowrk permite auditorías más precisas y transparentes, evitando la confusión o distorsión de ambos conceptos.
Esta tesis propone un enfoque basado en modelos causales bayesianos para reducir las disparidades sin comprometer el rendimiento. Este método permite generar datos justos ajustando las probabilidades condicionales según los objetivos de Igualdad o Equidad. Además, cada dimensión puede optimizarse de forma independiente, dependiendo del contexto y las prioridades.
Las validaciones en varios conjuntos de datos demuestran que las dos métricas (Igualdad y Equidad) operan de manera independiente y confirman la efectividad de esta estrategia para optimizarlas. En conjunto, este trabajo proporciona: 1) Definiciones claras de la equidad como dos medidas cuantificables; 2) Herramientas de mitigación sólidas y flexibles basadas en la causalidad; y 3) Un sistema de monitoreo que garantiza la equidad a lo largo de todo el ciclo de vida del modelo, permitiendo una detección temprana y ajustes dinámicos.
Esto transforma la mitigación de la equidad de una solución puntual a un proceso sistemático aplicable en cualquier etapa sentando las bases para una IA más justa, transparente y confiable. El framework propuesto se alinea con las expectativas emergentes para una IA ética y respalda un despliegue equitativo y responsable en aplicaciones del mundo real. Read More
Related posts:
DeepFair: Deep Learning for Improving Fairness in Recommender Systems
UK equality watchdog: Met Police facial recognition unlawful
¿Es posible una Inteligencia artificial respetuosa con la protección de datos? = Is Data Protection-friendly Artificial Intelligence Possible?
Equality Index Shows Business Commitment to LGBTQ+ Inclusion & Equitable Benefits
Trump, DEI and UK technology businesses
Reducción de sesgos en modelos de generación de imágenes mediante aprendizaje por refuerzo