Los algoritmos y el problema de la "caja negra"

Por Edmund Ang*

(*) Fire & Risk Engineer, and PhD Researcher at Hazelab Imperial College London


"Todo está en el algoritmo" - una frase común y popular utilizada cuando se habla de tecnologías capaces de tomar decisiones clave. Muchos saben que, en los servicios de software, tales como los motores de búsqueda, los asistentes inteligentes y otros, se encuentra integrado un algoritmo. Lo que no es tan obvio es que, cada vez más frecuentemente, equipos críticos para la seguridad, por ejemplo, sistemas de detección de intrusos, detectores de humo multicriterio o sistemas de detección de incendios por vídeo, cuentan con un algoritmo para desarrollar correctamente sus funciones.
Estas tecnologías inteligentes se basan en algoritmos para reducir los falsos positivos, por ejemplo, las alarmas de incendio falsas debidas al polvo, y los falsos negativos, es decir, la no identificación de un incidente real. Por ejemplo, la mayoría de los sistemas modernos de detección de humo por aspiración se basan en un algoritmo que procesa las señales de los sensores LED e infrarrojos para determinar si se trata de una alarma real o falsa.
Aunque me entusiasman las posibilidades de combinar algoritmos con tecnologías de hardware avanzadas, me preocupa que éstas se conviertan en una “caja negra” para los usuarios finales y sus creadores. Mi primera preocupación es la creciente complejidad. Utilizando el sistema de detección por aspiración como ejemplo, aunque el proceso de toma de decisiones para diferenciar una alarma verdadera o falsa parece sencillo, la realidad es cualquier cosa menos eso. El sistema tiene que ser lo suficientemente robusto como para poder diferenciarlo en muchos entornos bajo diferentes escenarios. Si en el futuro se utiliza un algoritmo basado en el aprendizaje automático, esto aumentará exponencialmente las complejidades, y nadie entenderá completamente la causa y el efecto de un escenario debido a la naturaleza evolutiva del aprendizaje automático. Otro ejemplo, en otro tipo de industria, son las caídas repentinas del mercado financiero en los últimos años, atribuidas al despliegue de algoritmos de negociación en las operaciones de alta velocidad.
En segundo lugar, no existe un método de prueba estandarizado. En la actualidad, cada fabricante mantiene su propio diseño, y no existe un método de prueba estandarizado para comprobar la solidez del algoritmo ante diversos escenarios y casos límite. Por lo tanto, no existe la deseada consistencia en las expectativas sobre el desempeño de estos sistemas. En tercer lugar, los algoritmos son principalmente de fuente cerrada. Reconociendo la necesidad de mantener las propiedades intelectuales de una empresa, la mayoría de los algoritmos emparejados con las tecnologías de hardware están patentados u ocultos. Esto significa que sólo los propietarios con acceso al código fuente tienen una oportunidad razonable de entender y probar el algoritmo.

Si no se controla la situación actual, pronto nos encontraremos con el problema de la “caja negra”, en el que nadie entiende del todo, la tecnología en cuestión, y sólo podremos confiar, aunque sea a ciegas y sin ninguna garantía verificable, en que el sistema es lo suficientemente robusto como para que no se produzca un fallo catastrófico como los que se han visto en otras industrias.
Dicho esto, en esta coyuntura, en comparación con otras industrias, el uso de algoritmos en las tecnologías críticas de seguridad contra incendios es todavía primitivo. Esta es precisamente la oportunidad para que la industria de los incendios establezca una base sólida para asegurar que tenemos una comprensión y un control total sobre el algoritmo que desplegamos hoy, y en el futuro. 

Tengo dos humildes sugerencias.

 En primer lugar, necesitamos adoptar una mentalidad de código abierto. Reconociendo la necesidad de proteger la propiedad intelectual, esta mentalidad puede seguir aplicándose cuando se desarrollan los productos. En este punto del desarrollo, todavía es posible abrir el algoritmo incorporada en las tecnologías críticas de seguridad con suficientes detalles para garantizar que, la comunidad de ingenieros e investigadores más amplia, pueda ayudar a examinar y probar estos algoritmos.
Mientras que un fabricante puede probar los casos generales, es imposible identificar todos los casos límite de estos algoritmos. 

En segundo lugar, es necesario desarrollar un método de prueba y divulgación de algoritmos acordado por la industria para ofrecer igualdad de condiciones a todos los fabricantes. El sector de la protección de incendios, en colaboración con los laboratorios de pruebas y los organismos de normalización, debe desarrollar un método de pruebas para las tecnologías críticas de seguridad en las que un algoritmo sea una parte crucial para garantizar la funcionalidad del sistema. Esto es para garantizar la consistencia de las expectativas sobre el desempeño de estos sistemas. Además, la industria debe acordar colectivamente un método estandarizado de divulgación de algoritmos para garantizar que los profesionales que utilizan estos sistemas puedan entender el proceso de toma de decisiones de los algoritmos. 

Soy consciente de que el esfuerzo necesario para aplicar las sugerencias anteriores es enorme. Sin embargo, estoy convencido de que, si todos nos unimos, la inteligencia colectiva del sector de los incendios prevalecerá.