En aeronáutica y aeroespacio, hablar de explicabilidad no es un lujo ni un añadido estético: muchas de las aplicaciones de IA en estos sectores forman parte de sistemas críticos, es decir, sistemas cuya operación es esencial para evitar consecuencias graves como daños a la vida humana, impactos ambientales o pérdidas económicas significativas. En este tipo de entornos, la prioridad natural de quienes desarrollan los sistemas suele ser clara: maximizar la precisión para garantizar que el sistema se comporte de forma segura y eficaz, minimizando el riesgo de fallo.

Interpretabilidad vs. precisión en sistemas críticos

Esta presión por el rendimiento hace que, con frecuencia, se recurra a modelos de “caja negra” —por ejemplo, redes neuronales profundas— capaces de capturar relaciones complejas y, en muchos casos, ofrecer mejores resultados en métricas de desempeño. Sin embargo, esta elección trae consigo una tensión bien conocida: cuanto más complejo y preciso es el modelo, más difícil resulta interpretar y justificar su comportamiento. Y en sectores donde la trazabilidad, la auditoría y la confianza son indispensables, esa falta de entendimiento puede convertirse en un problema tan importante como el propio error del modelo.

En la práctica, esta tensión se refleja en una adopción desigual de la explicabilidad. En ciertos subdominios se observa un uso más frecuente, especialmente en tareas de predicción, donde es más natural acompañar las salidas del modelo con explicaciones sobre variables relevantes o contribuciones. En cambio, en áreas como la optimización, la automatización o la simulación, la explicabilidad aparece con mucha menos presencia, pese a que estas tareas también influyen en decisiones operativas críticas. Aun así, en los últimos años se percibe un cambio de tendencia: empiezan a aparecer propuestas que apuestan por modelos intrínsecamente interpretables o por enfoques híbridos, por ejemplo en detección de anomalías en datos espaciales o en el uso de árboles de decisión para tareas concretas como el procesamiento de imágenes satelitales.

En este contexto, la XAI adquiere un papel fundamental no solo como herramienta de comunicación, sino como un mecanismo para controlar el “umbral” deseado entre precisión e interpretabilidad. Dicho de otra forma: los desarrolladores necesitan decidir cuánta transparencia es necesaria para que el sistema resulte comprensible, confiable y defendible ante personas, organizaciones y procesos de certificación.

Falta de datos reales: la barrera silenciosa

A esta primera limitación se suma otra barrera menos visible pero igual de decisiva: la falta de datos reales para desarrollar y evaluar técnicas de explicabilidad en condiciones operativas. Aunque existen numerosas investigaciones que aplican XAI en aeronáutica y espacio, muchas de ellas dependen en gran medida de simulaciones en lugar de datos recogidos directamente en entornos reales.

Esto ocurre por motivos comprensibles —seguridad, costes, accesibilidad, confidencialidad o rareza de ciertos eventos—, pero tiene consecuencias importantes: limita la capacidad de validar si un método explicativo funciona cuando el sistema se enfrenta a la complejidad, el ruido y la impredecibilidad del mundo real. Por ejemplo, en investigaciones sobre vehículos aéreos no tripulados (UAVs) es frecuente utilizar escenarios simulados; algo similar ocurre en mantenimiento predictivo para vehículos espaciales, donde los datos suelen provenir de simuladores que replican el funcionamiento del sistema; y también en detección de anomalías, donde se emplean datos sintéticos que imitan el comportamiento de las naves en lugar de reflejar condiciones operativas reales.

Aunque las simulaciones han mejorado notablemente en fidelidad, siguen sin capturar del todo fallos raros, degradaciones inesperadas, interferencias, cambios de entorno o patrones que no estaban contemplados en el modelo del simulador. En consecuencia, incluso cuando un enfoque de XAI “funciona” en laboratorio, puede no generalizar bien cuando se despliega en misión.

¿Porque estas limitaciones importan?

En conjunto, estas dos limitaciones explican por qué la explicabilidad en aeronáutica y aeroespacio avanza con cautela: por un lado, existe una presión constante por la precisión en sistemas críticos que empuja hacia modelos complejos; por otro, incluso cuando se proponen técnicas explicativas, la ausencia de datos reales dificulta comprobar si esas explicaciones son verdaderamente útiles y robustas fuera del laboratorio.

Superar estas barreras implica, a la vez, diseñar sistemas donde la explicabilidad esté alineada con necesidades humanas y regulatorias —definiendo explícitamente cuánto entendimiento es necesario para confiar en el sistema— y promover iniciativas que permitan evaluar XAI con datos más cercanos a la operación real, reduciendo la brecha entre lo simulado y lo que finalmente sucede en vuelo o en misión.