Encuesta: Casi el 80% de los líderes de IT vieron resultados negativos en la empresa debido a la IA

La empresa de gestión de datos Komprise enfatiza la importancia de restringir los datos confidenciales de la IA generativa y monitorear su uso no autorizado.

Una mayoría significativa (casi el 80%) de los líderes de TI dicen que sus organizaciones han sufrido consecuencias negativas debido al uso de herramientas de IA generativa por parte de los empleados, según un nuevo informe de la empresa de gestión de datos Komprise.

El estudio, realizado en abril por una empresa externa, encuestó a 200 directores y ejecutivos de TI de empresas estadounidenses con más de 1000 empleados. Los resultados subrayan la urgencia de que los departamentos de TI vigilen la IA oculta, es decir, el uso no autorizado o no autorizado de herramientas de IA dentro de la empresa.

«Usar GenAI es increíblemente fácil», declaró Krishna Subramanian, cofundador de Komprise, en un correo electrónico a TechRepublic. «Eso significa que también es increíblemente fácil poner en riesgo a la empresa, a sus clientes y a sus empleados».

¿Cuáles son los resultados adversos del uso de IA generativa por parte de los empleados?

Según la encuesta:

• El 46% de los líderes de TI informaron resultados generados por IA falsos o inexactos.
• El 44% citó filtraciones de datos confidenciales en modelos de IA.
• De aquellos que experimentaron problemas, el 13% informó que las consecuencias afectaron directamente sus finanzas, la confianza de los clientes o la reputación de la marca.

Además, el 79% de los líderes de TI informaron que sus organizaciones experimentaron resultados negativos, incluidos resultados inexactos y filtraciones de información de identificación personal, después de enviar datos corporativos a IA.

Como resultado, los líderes de TI están preocupados por lo que Komprise denomina “IA no autorizada ni gestionada”. La privacidad y la seguridad encabezan la lista de preocupaciones, con el 90 % de los encuestados preocupados por la IA en la sombra desde esta perspectiva. De ellos, el 46 % afirmó estar “extremadamente preocupado”.

Para mitigar los riesgos, el 75% de los líderes de TI planean adoptar plataformas de gestión de datos, mientras que el 74% está invirtiendo en herramientas de descubrimiento y monitoreo de IA para rastrear el uso de IA generativa en sus redes.

Cómo preparar datos no estructurados para IA de forma segura

Un componente clave para utilizar la IA generativa de forma segura es asegurarse de saber qué datos están expuestos al modelo.

Al preparar grandes cantidades de datos empresariales para alimentar la IA, el 73 % de los equipos de TI lo hacen clasificando los datos confidenciales y luego automatizando el flujo de trabajo para restringir su uso por parte de la IA. Las soluciones de gestión de datos no estructurados que utilizan etiquetas y palabras clave pueden aprovechar estas palabras clave para ordenar los datos.

Otras tácticas comunes para preparar datos no estructurados son:

• Herramientas de escaneo y clasificación automatizadas.
• Almacenamiento de datos en bases de datos vectoriales para búsqueda semántica y RAG (recuperación-generación aumentada).
• Uso de otras tecnologías para flujos de trabajo automatizados y auditorías de datos de IA.

¿Qué más pueden hacer los equipos de TI para reducir el riesgo de la IA en la sombra?

Los líderes de TI podrían querer restringir el uso de herramientas de IA dentro de la organización. Sin embargo, otros podrían querer limitar los conjuntos de datos que se pueden usar para la inferencia o el entrenamiento de IA.

Entre el 74 % y el 75 % de las organizaciones recurren a herramientas de gestión de datos y de descubrimiento o monitorización de IA para comprender mejor qué tipo de IA se utiliza en su empresa. Otro 55 % utiliza herramientas de gestión de acceso y prevención de pérdida de datos simultáneamente con la formación de los empleados. Las herramientas de gestión de datos son una opción popular para auditar y gestionar flujos de trabajo, lo que reduce la fuga de datos.

“El departamento de TI realmente necesita liderar la educación, la capacitación y las políticas”, afirmó Subramanian. “Deben ir de la mano. Los empleados deben comprender los riesgos para poder usar la IA de forma segura y no exponer datos corporativos confidenciales y privados a aplicaciones públicas de IA”.

Alrededor del 24 % de los encuestados afirmó contar con un equipo que evalúa soluciones de IA, pero aún no ha implementado directrices ni controles. Solo el 1 % admitió no haber tomado medidas para abordar los riesgos de la IA en la sombra.

Fuente: techrepublic