sistemas de inteligencia artificial

Los sistemas de Inteligencia Artificial ya se ven amenazados

Es sabido hoy día que los sistemas de Inteligencia Artificial y el Machine Learning son tecnologías necesarias en el desarrollo de cualquier negocio. Pero, como siempre ocurre, cualquier tecnología que se haga masiva es estudiada por los ciberdelincuentes para encontrar vulnerabilidades y explotar las posibilidades de ataque.

Estas soluciones usan una variedad de algoritmos y métodos estadísticos que analizan conjuntos de datos para identificar patrones. La base de estos métodos abre la puerta a nuevos tipos de ataques.

Tipos de ataques conocidos contra sistemas de Inteligencia Artificial

    • El envenenamiento de datos:  persigue manipular los datos utilizados en los modelos de entrenamiento de sistemas de IA. Estos modelos aprenden a reaccionar gracias a la información introducida desde conjuntos de millones de datos para generar lo que se llama “verdad fundamental”. Los atacantes pueden añadir información errónea en las verdades fundamentales e incorporarla en los procesos de entrenamiento.

Manipular el proceso de entrenamiento puede llevar al modelo a reaccionar de forma incoherente ante ciertos datos. Por ejemplo, puede permitir a un malware activarse en el sistema como si se tratase de una aplicación legítima. Un ejemplo de este envenenamiento lo observamos hace no mucho en el bot de Twitter Tay.

  • Otro tipo de ataque cada vez más común en sistemas de Machine Learning es el de evasión. Los atacantes buscan burlar el sistema de predicción del modelo mediante pequeñas perturbaciones que confunden al modelo para que clasifique erróneamente algunos datos. Por ejemplo, basta con cambiar algunos píxeles de una imagen, en muchas ocasiones imperceptibles para el ojo humano, para que el sistema de reconocimiento falle y la clasifique siguiendo una taxonomía incorrecta.

En conclusión, el objetivo de cualquier organización que quiera proteger sus activos de IA o ML tendría que ser no tanto frustrar el 100% de los ataques, sino aumentar las trabas para el delincuente que quiera encontrar rutas viables para atacar y además, ser capaces de entender cuándo el sistema está siendo atacado. Y para ello es fundamental contar con herramientas XDR y con indicadores de ataque, así como con profesionales humanos que sean capaces de reconocer cualquier ataque desde el inicio.

Related posts