Las vulnerabilidades para aplicaciones de IA y ML se están disparando

El número de Días Cero relacionados con la IA se ha triplicado desde noviembre de 2023, según los últimos hallazgos de la comunidad de cazadores de Protect AI de más de 15.000 mantenedores e investigadores de seguridad.
Solo en abril de 2024, ya se han descubierto la friolera de 48 vulnerabilidades en proyectos de software de código abierto (OSS) ampliamente utilizados, como MLFlow , Ray y Triton Inference Server .
Esta cifra representa un aumento del 220% con respecto a las 15 vulnerabilidades reportadas por primera vez en noviembre, señala el informe.
Entre estas vulnerabilidades, una amenaza particularmente frecuente destacada por el informe es la ejecución remota de código (RCE), que permite a un atacante ejecutar comandos o programas en la computadora o servidor de una víctima sin necesidad de acceso físico a él. El atacante puede tomar el control total del sistema comprometido , lo que podría provocar acceso no autorizado, filtraciones de datos, compromiso del sistema e incluso toma de control total del sistema.
Las aleccionadoras estadísticas de Protect AI subrayan la escala y la velocidad cada vez mayores del problema del día cero de IA/ML y sugieren una necesidad creciente de medidas de seguridad mejoradas en los entornos de desarrollo de IA.
Viejas vulnerabilidades, nuevas prácticas
Desde la perspectiva de Marcello Salvati, investigador senior de amenazas de Protect AI, en el informe había varias vulnerabilidades interesantes relacionadas con las herramientas de IA/ML.
“Si tuviera que nombrar un par que se destaque, probablemente sería PyTorch Serve RCE y BentoML RCE”, dijo Salvati. Ambos permiten a los atacantes obtener RCE en el servidor que ejecuta estos proyectos populares.
PyTorch y BentoML también son servidores de inferencia, lo que significa que están diseñados para estar expuestos a los usuarios para que utilicen modelos AI/ML. “Este factor hace que estas vulnerabilidades sean extremadamente fáciles y valiosas de explotar para un atacante”, explicó Salvati.
La mayor sorpresa del informe es la cantidad de vulnerabilidades de aplicaciones web básicas descubiertas en estos proyectos de IA/ML. “Este tipo de vulnerabilidades rara vez se ven en la mayoría de las aplicaciones web hoy en día debido a la prevalencia de prácticas de codificación segura y marcos web con barreras de seguridad ‘integradas'”, dijo Salvati.
El resurgimiento de este tipo de vulnerabilidades indica que la seguridad es una ocurrencia tardía en las herramientas relacionadas con AI/ML, dijo Salvati. Esto va en contra de todas las lecciones que se han aprendido durante la última década.
Herramientas de LLM una debilidad de seguridad
Desde la perspectiva de Protect AI, a medida que las herramientas LLM se vuelven más populares, los proyectos inmaduros en materia de seguridad se están implementando a un ritmo acelerado. Las organizaciones pueden sentirse obligadas a adoptar proyectos de seguridad basados en LLM debido a presiones competitivas o al deseo de mantenerse a la vanguardia en el panorama de amenazas en constante evolución.
Sin embargo, la rápida adopción de estos proyectos genera preocupaciones sobre la madurez de la seguridad. En su prisa por implementar herramientas LLM, las organizaciones pueden pasar por alto aspectos cruciales de la seguridad, como evaluaciones integrales de riesgos, protocolos de prueba sólidos y el cumplimiento de las mejores prácticas de la industria.
Como resultado, existe el riesgo de implementar soluciones que no estén adecuadamente reforzadas contra amenazas emergentes o que carezcan de salvaguardas para proteger datos y activos confidenciales. Las organizaciones deben priorizar la madurez de la seguridad junto con la innovación.
Adoptar privilegios mínimos y confianza cero
La adopción de la IA avanza a una velocidad vertiginosa (algunos dirían que imprudente). Para que las organizaciones y los equipos de seguridad se protejan contra una amenaza que se expande y madura rápidamente, Salvati dijo que la adopción de seguridad de aplicaciones web estándar es algo en juego.
“Aquí se aplica el concepto de privilegio mínimo, al igual que la adopción de modelos de seguridad, incluido Zero Trust”, explicó Salvati. “Lo más importante es capacitar a sus desarrolladores e ingenieros de inteligencia artificial en prácticas de codificación segura y principios básicos de seguridad”. Las auditorías de seguridad internas de las nuevas herramientas y bibliotecas de IA/ML antes de su implementación también reducen el riesgo.
Teniendo en cuenta la tasa de aceleración en este espacio de IA/ML, es extremadamente difícil hacer predicciones dentro de 12 a 24 meses. “Lo único de lo que estoy seguro es que las empresas sufrirán ataques más a menudo como consecuencia de adoptar ‘a toda máquina’ esta herramienta”, advirtió Salvati.
La IA como debilidad y ventaja
Informes anteriores han indicado que la adopción de GenAI por parte de actores maliciosos está generando nuevos riesgos de seguridad para las organizaciones, aunque la misma tecnología podría usarse de manera defensiva .
De hecho, incluso mientras los equipos de seguridad de TI luchan con las nuevas vulnerabilidades que trae la adopción de la IA, la implementación de herramientas cibernéticas basadas en la IA también podría ayudar a las organizaciones que luchan por hacer frente a las crecientes amenazas .
Fuente: securityboulevard