Pruebas de robustez en scoring financiero: qué se mide y qué queda fuera

Aquí reunimos cómo se verifica la eficacia de las defensas frente a ataques adversarios: tasa de detección de entradas manipuladas, degradación del rendimiento bajo presión, falsos positivos sobre tráfico legítimo y tiempo en detectar derivas. Cada resultado se acompaña de sus condiciones de prueba, la versión del modelo evaluada y los supuestos del conjunto de datos. Lo que no se ha probado también forma parte de la evidencia, y lo decimos.

Métrica no es promesa Cuando hablamos de tasa de detección de entradas manipuladas o de degradación del rendimiento bajo ataque, nos referimos a valores obtenidos en un conjunto de prueba concreto, con una versión de modelo concreta. Un número alto en ese contexto no se traslada automáticamente a producción, donde la distribución de solicitudes cambia y los atacantes adaptan su estrategia. La métrica describe un comportamiento observado, no una propiedad permanente del sistema.
Caso ilustrativo frente a hallazgo verificado Los ejemplos que usamos para explicar un vector de ataque están construidos o anonimizados y se presentan como tales. No son incidentes reales atribuibles a una entidad concreta. Un hallazgo verificado, en cambio, requiere fuente identificable, condiciones de reproducción y revisión por parte de alguien ajeno al equipo que lo propone. Mezclar ambos planos es la forma más rápida de convertir una demostración didáctica en una afirmación que no se sostiene.
Deriva y falsos positivos El tiempo de detección de derivas y la tasa de falsos positivos en tráfico legítimo se miden sobre ventanas temporales acotadas. Un detector que apenas marca solicitudes sospechosas puede parecer preciso y, al mismo tiempo, dejar pasar perturbaciones pequeñas. Por eso publicamos ambas cifras juntas: aislar una sola invita a conclusiones equivocadas sobre la utilidad real del sistema.
Lo que no hemos probado No hemos evaluado estos enfoques frente a atacantes con acceso interno al pipeline de datos, ni en escenarios donde el modelo se reentrena con frecuencia sin auditoría por segmentos. Tampoco cubrimos marcos regulatorios específicos por jurisdicción. Señalar estos huecos es parte de la evidencia: un panel de validación honesto incluye la lista de supuestos que no se han puesto a prueba.
Trazabilidad de la versión Cada resultado que mostramos va acompañado de la versión del modelo, la fecha de validación y quién aprobó su paso a producción. Sin ese registro, comparar dos mediciones separadas en el tiempo es un ejercicio inútil, porque no sabemos si el cambio proviene de una defensa nueva o de un reentrenamiento no documentado.

Pruebas de robustez en scoring financiero: qué se mide y qué queda fuera

Qué entra y qué no entra en esta evidencia