Falta de transparencia y confianza

• Los usuarios y organizaciones no pueden explicar por qué la IA tomó cierta decisión.

• Puede generar desconfianza en sectores sensibles como salud, justicia o finanzas.

Errores difíciles de detectar

• Si el modelo se equivoca, no es sencillo identificar la causa ni corregirla.

• Riesgo de reproducir sesgos ocultos en los datos de entrenamiento.

Responsabilidad legal y ética

• En caso de un fallo (ej. diagnóstico médico incorrecto o discriminación en un crédito), es complicado asignar responsabilidades.

• Puede chocar con normativas que exigen explicaciones claras (como la Ley de IA en la UE o el GDPR con el “derecho a explicación”).

Impacto social y reputacional

• Si la gente percibe que la IA es injusta u opaca, las organizaciones pueden perder reputación.

• Puede provocar rechazo social hacia la adopción de IA.

IA explicable (XAI – Explainable AI)

• Usar modelos o técnicas que permitan interpretar las decisiones.

• Ejemplo: aplicar LIME o SHAP para mostrar qué variables influyeron en la predicción.

Supervisión humana (Human-in-the-loop)

• Incluir revisión y validación por expertos antes de que la IA tome decisiones críticas.

• Ejemplo: en medicina, que el diagnóstico automático sea revisado por un doctor.

Auditorías y trazabilidad

• Guardar un registro de cómo y con qué datos se entrenó el modelo.

• Realizar auditorías internas y externas para detectar sesgos o errores.