Sesgo de datos (entrenamiento en condiciones ideales que no reflejan la realidad diversa de los estudiantes).

Sesgo socioeconómico (afectación a quienes no contaban con infraestructura tecnológica adecuada).

Porque los algoritmos fueron diseñados bajo supuestos irreales: buena conectividad, ambientes silenciosos, iluminación estable y comportamientos homogéneos (mirar siempre a la cámara).

No se contempló la diversidad de condiciones socioeconómicas, culturales y físicas de los estudiantes.

Sesgo de datos: El sistema fue entrenado con bases de datos que no eran representativas. Si el conjunto de datos de entrenamiento tiene más imágenes de un grupo demográfico que de otro, el sistema tendrá un peor rendimiento con las minorías. Esto se agrava con imágenes de baja calidad, ángulos complicados, o mala iluminación, que son comunes en grabaciones de vigilancia.

Sesgo de rendimiento: Como consecuencia del sesgo de datos, el sistema era menos preciso al identificar a personas de ciertos grupos demográficos, especialmente minorías raciales. El resultado es que estos grupos tienen una mayor probabilidad de ser identificados incorrectamente, generando los temidos falsos positivos.

Sesgo de automatización: Los oficiales de policía confiaron demasiado en el resultado de la máquina. En lugar de usar la coincidencia como una pista para una investigación exhaustiva, la trataron como la prueba principal, ignorando la necesidad de corroboración humana. Esta confianza ciega en la tecnología es un grave error.

2. De gobernanza: Establecer regulaciones claras y transparentes sobre el uso de tecnologías de reconocimiento facial.

3. Normativa: Implementar políticas de supervisión humana y verificación de resultados antes de tomar acciones basadas en el reconocimiento facial.

Estudiantes con condiciones de vivienda precaria (espacios pequeños, compartir cuartos).

Personas con mala conexión a internet.

Estudiantes con discapacidades (ej. movimientos involuntarios, dificultades visuales).

Favorecidos:

Estudiantes con recursos tecnológicos y ambientes de estudio estables.

Impacto en derechos: vulneración del derecho a la educación y a la equidad académica, generando sanciones injustas y exclusión.

Sociales: aumento de la desigualdad en el acceso a la educación.

Tecnológicos: sobreconfianza en sistemas automatizados no transparentes (“caja negra”).

Psicológicos: estrés, ansiedad y pérdida de confianza en las instituciones educativas.

Entrenar los algoritmos con datos más diversos (diferentes condiciones de iluminación, conexión, contextos culturales).

Medidas de gobernanza/normativas:
2. Establecer protocolos de supervisión híbrida (IA + revisión humana obligatoria antes de sancionar).

Medidas educativas/sociales:
3. Garantizar alternativas inclusivas a la vigilancia remota (exámenes orales, proyectos, evaluaciones abiertas).