Aumentan las amenazas de seguridad en IA: protégete contra las inyecciones de prompts

Las organizaciones en Estados Unidos y Europa se enfrentan a una realidad alarmante: las aplicaciones de inteligencia artificial se han convertido en objetivos principales para los ciberdelincuentes, y la mayoría de los equipos de seguridad carecen de la visibilidad necesaria para proteger estos sistemas de manera efectiva.

Puntos clave

1. Los ataques de inyección de prompts dominan el panorama de amenazas de IA. El 76% de las organizaciones señala los ataques de inyección de prompts como su principal preocupación de seguridad en IA, superando al código vulnerable y los intentos de jailbreaking. Los equipos de seguridad deben desarrollar capacidades especializadas de detección y prevención diseñadas específicamente para contrarrestar estas técnicas de manipulación.
2. La IA en la sombra genera brechas críticas de visibilidad. El 63% de los profesionales de seguridad no puede identificar dónde operan los LLM dentro de sus organizaciones, lo que crea puntos ciegos que impiden una protección efectiva. Es fundamental implementar procesos de descubrimiento y marcos de gobernanza para rastrear la adopción de IA en todos los departamentos y sistemas.
3. La integración de seguridad ocurre demasiado tarde en el desarrollo. Solo el 43% de las organizaciones construye aplicaciones de IA con capacidades de seguridad desde el inicio, mientras que el 34% involucra a los equipos de seguridad antes de que comience el desarrollo. Involucrar a seguridad desde etapas tempranas mediante prácticas shift-left puede evitar vulnerabilidades en lugar de requerir costosas correcciones tras la implementación.
4. La adopción de IA supera las capacidades de seguridad. El 61% de las nuevas aplicaciones empresariales ya incorpora componentes de IA, y el 70% de las API relacionadas con IA acceden a datos sensibles. La velocidad de adopción de IA sigue superando la capacidad de los equipos de seguridad para implementar controles y monitoreo adecuados.
5. Barreras culturales dificultan la colaboración en seguridad. El 74% de las organizaciones indica que los desarrolladores ven la seguridad como un obstáculo para la innovación en IA en vez de un facilitador. Superar esta brecha cultural requiere demostrar cómo las prácticas de seguridad respaldan la innovación segura y la ventaja competitiva.

Una encuesta integral a 500 profesionales y responsables de seguridad revela que los ciberataques dirigidos a aplicaciones de IA están aumentando a un ritmo preocupante. La investigación, realizada por Traceable by Harness, expone brechas significativas en la forma en que las organizaciones construyen, implementan y protegen sistemas impulsados por IA.

Las inyecciones de prompts lideran las amenazas de seguridad

La encuesta identifica tres vectores de ataque dominantes dirigidos a sistemas de IA. Las inyecciones de prompts en modelos de lenguaje grande encabezan la lista con un 76%, representando la amenaza más común que enfrentan las organizaciones hoy. Estos ataques manipulan las entradas de los LLM para extraer información confidencial o generar resultados dañinos que eluden los controles de seguridad previstos.

El código vulnerable en LLM sigue de cerca con un 66%. Muchos modelos de lenguaje generan código a partir de ejemplos obtenidos en la web, incluyendo implementaciones defectuosas que contienen debilidades de seguridad. Cuando los desarrolladores incorporan este código generado por IA sin una revisión adecuada, introducen vulnerabilidades en los sistemas en producción.

El jailbreaking de LLM completa el top tres de amenazas con un 65%. Estos ataques buscan eludir las barreras de seguridad integradas en los modelos de lenguaje, lo que puede llevar a que generen contenido inapropiado, peligroso o malicioso.

La IA en la sombra genera desafíos de visibilidad sin precedentes

Quizá el hallazgo más preocupante de la encuesta se centra en la conciencia organizacional. Un impactante 63% de los profesionales de seguridad admite que no tiene forma de identificar dónde operan los LLM en su organización. Este punto ciego genera un riesgo considerable, ya que los equipos de seguridad no pueden proteger sistemas que no pueden ver.

Tres cuartas partes de los encuestados esperan que la IA en la sombra—la implementación no autorizada de herramientas de IA sin supervisión de TI—supere los problemas de seguridad previamente causados por la adopción de TI en la sombra. Esto representa una escalada significativa en la gestión de riesgos de la cadena de suministro, ya que los sistemas de IA suelen procesar datos sensibles y tomar decisiones de alto impacto.

Casi tres cuartas partes de las organizaciones (72%) reconocen que la IA en la sombra representa una brecha enorme en su postura de seguridad. La naturaleza descentralizada de la adopción de IA, combinada con la facilidad de integración de capacidades de IA mediante APIs, ha creado un entorno donde las aplicaciones que usan LLM proliferan más rápido de lo que los equipos de seguridad pueden rastrearlas.

Las aplicaciones de IA marcan un nuevo territorio para los ciberdelincuentes

La gran mayoría de los encuestados (82%) reconoce que las aplicaciones de IA constituyen una nueva frontera para los ciberdelincuentes. Este reconocimiento refleja una realidad contundente: los enfoques tradicionales de seguridad suelen ser insuficientes frente a amenazas específicas de IA.

El 75% de los profesionales de seguridad admite que los riesgos y amenazas de seguridad en IA representan desafíos nunca antes enfrentados. Las características únicas de los sistemas de IA—sus salidas probabilísticas, dependencias complejas de datos de entrenamiento y nuevas superficies de ataque—exigen que los equipos de seguridad desarrollen nuevas habilidades y estrategias.

Adam Arellano, Field CTO de Traceable by Harness, señala un problema fundamental: muchas aplicaciones de IA no se construyen ni se implementan siguiendo prácticas de seguridad de aplicaciones ya establecidas. Esta brecha entre la velocidad de innovación en IA y la madurez en seguridad crea oportunidades para la explotación.

Los desarrolladores crean IA sin la participación de seguridad

La encuesta revela patrones preocupantes en la integración de seguridad en los procesos de desarrollo de IA. Solo el 43% de los encuestados confirma que los desarrolladores de aplicaciones construyen sistemáticamente aplicaciones de IA con capacidades de seguridad desde el inicio. Esto significa que más de la mitad de los proyectos de IA carecen de seguridad desde el diseño.

La comunicación entre los equipos de desarrollo y seguridad resulta aún más problemática. Poco más de un tercio (34%) de los equipos de seguridad se entera de los proyectos de IA antes de que los desarrolladores comiencen a construir las aplicaciones. Esta participación tardía limita la capacidad de seguridad para influir en decisiones de arquitectura que podrían evitar vulnerabilidades.

Más de la mitad (53%) de los encuestados informa que los equipos de seguridad reciben notificación antes de que las aplicaciones se implementen en entornos de producción. Sin embargo, el 14% indicó que sus equipos solo se enteran de nuevas aplicaciones de IA después de la implementación o tras un incidente de seguridad, demasiado tarde para evitar posibles filtraciones.

Persisten brechas críticas de visibilidad en los componentes de IA

La encuesta destaca dos áreas específicas donde las organizaciones carecen de visibilidad esencial. La mayoría de los equipos de seguridad (63%) no puede acceder a información en tiempo real sobre la lista de materiales de software de los componentes de IA, conocidos como AI-BOMs. Sin este inventario, los equipos no pueden evaluar qué componentes de IA contienen vulnerabilidades conocidas o requieren actualizaciones.

De manera similar, el 60% carece de visibilidad sobre las salidas de los modelos LLM. Este punto ciego impide que los equipos de seguridad detecten cuándo los modelos generan respuestas problemáticas, ya sea por prompts maliciosos, manipulación del modelo o comportamientos no deseados.

La fricción cultural retrasa la integración de seguridad

Casi tres cuartas partes (74%) de los encuestados indican que los desarrolladores de aplicaciones ven los temas y preocupaciones de seguridad como obstáculos para la innovación en IA. Esta percepción genera fricción que puede desalentar a los desarrolladores de involucrar a los equipos de seguridad desde las primeras etapas del desarrollo.

Esta brecha cultural debilita los esfuerzos de seguridad. Cuando los desarrolladores ven la seguridad como un impedimento en vez de un facilitador, pueden evitar involucrar a los equipos de seguridad hasta que surgen problemas. Superar esta barrera requiere demostrar cómo las prácticas de seguridad pueden impulsar la innovación en vez de frenarla.

La adopción de IA avanza más rápido que las capacidades de seguridad

El ritmo de adopción de IA agrava estos desafíos de seguridad. El 61% de las nuevas aplicaciones empresariales ya incorpora componentes de IA desde su diseño inicial. Esto significa que las organizaciones están integrando funcionalidades de IA en la mayoría de sus nuevos sistemas, ampliando drásticamente la superficie de ataque.

El 70% de los encuestados señala que las APIs utilizadas para invocar LLM acceden a datos sensibles. Este hallazgo resalta la importancia del tema: las fallas de seguridad en IA pueden exponer información confidencial, datos de clientes, propiedad intelectual y otros activos críticos.

Arellano enfatiza que la pregunta ya no es si ocurrirán incidentes de ciberseguridad relacionados con aplicaciones de IA, sino qué nivel de gravedad alcanzarán. El ritmo de desarrollo de aplicaciones de IA sigue superando la capacidad de los equipos de seguridad para protegerlas de manera efectiva.

El código generado por IA crea ciclos de vulnerabilidades

La mayoría de los LLM actuales utilizados para generación de código fueron entrenados con ejemplos extraídos de la web. Estos datos de entrenamiento inevitablemente incluyen implementaciones defectuosas con vulnerabilidades de seguridad. Cuando los LLM generan código basándose en estos patrones, pueden reproducir o crear debilidades similares.

Sin prácticas recomendadas establecidas para gobernar las herramientas de codificación con IA, el aumento en la generación de código se traduce directamente en más vulnerabilidades. Las organizaciones deben identificar y corregir estas debilidades antes de que los atacantes las exploten, una carrera que los equipos de seguridad tienen dificultades para ganar.

El desafío se intensifica porque los ciberdelincuentes ahora usan herramientas de IA para descubrir vulnerabilidades más rápido que nunca. Los adversarios pueden aprovechar la automatización para identificar y explotar debilidades a velocidad de máquina, reduciendo el margen de tiempo para que los equipos de seguridad respondan.

Avanzar a pesar de la incertidumbre

Las organizaciones no pueden simplemente abandonar las aplicaciones de IA a pesar de estas preocupaciones de seguridad. La tecnología ofrece demasiados beneficios y la presión competitiva hace que la adopción sea inevitable. Como señala Arellano, el genio no volverá a la botella.

Los equipos de seguridad deben enfocarse en pasos prácticos para mejorar su postura. Fomentar que los desarrolladores de aplicaciones sean más rigurosos es un buen punto de partida. Analizar el código generado por IA en busca de vulnerabilidades antes de implementarlo en producción permite detectar muchos problemas antes de que generen riesgos de IA.

Las organizaciones deben establecer procesos claros para involucrar a los equipos de seguridad desde el inicio de los proyectos de IA. Cuando los profesionales de seguridad participan en las discusiones de diseño, pueden guiar a los arquitectos hacia implementaciones seguras e identificar posibles problemas antes de que comience el desarrollo.

Crear inventarios integrales de los componentes de IA y el uso de LLM en toda la organización proporciona visibilidad esencial. Los equipos de seguridad no pueden proteger sistemas cuya existencia desconocen. Auditorías regulares y procesos de descubrimiento ayudan a mantener la conciencia a medida que surgen nuevas aplicaciones de IA.

Desarrollar habilidades especializadas en seguridad de IA será fundamental. Los equipos de seguridad necesitan comprender cómo funcionan los ataques de inyección de prompts, cómo proteger las APIs que invocan LLM y cómo validar las salidas de los modelos de IA. Los programas de formación y certificación enfocados en seguridad de IA pueden ayudar a construir estas capacidades.

Las organizaciones también deben fomentar una mejor colaboración entre los equipos de desarrollo y seguridad. Replantear la seguridad como un facilitador de la innovación segura en vez de un obstáculo puede reducir la fricción y animar a los desarrolladores a involucrar proactivamente a los profesionales de seguridad.

Prepararse para amenazas crecientes

Los equipos de ciberseguridad deben prepararse para el peor escenario mientras trabajan en mejorar sus defensas. Los datos de la encuesta sugieren que los incidentes de seguridad relacionados con IA seguirán aumentando tanto en frecuencia como en gravedad. Las organizaciones necesitan planes de respuesta a incidentes diseñados específicamente para abordar compromisos en aplicaciones de IA.

Estos planes deben considerar las características únicas de los incidentes de IA. Por ejemplo, una inyección de prompt exitosa podría no dejar evidencia forense tradicional, por lo que los equipos de seguridad deben analizar registros de LLM y patrones de comportamiento del modelo para entender lo ocurrido.

Las organizaciones también deben establecer políticas claras para el uso de IA. Estas políticas pueden ayudar a prevenir la IA en la sombra al crear vías aprobadas para que los equipos accedan a capacidades de IA manteniendo la supervisión de seguridad. Cuando los empleados pueden acceder fácilmente a herramientas de IA autorizadas, tienen menos incentivos para adoptar soluciones no aprobadas.

Las evaluaciones de seguridad regulares de las aplicaciones de IA ayudan a identificar debilidades antes de que los atacantes las descubran. Estas evaluaciones deben analizar tanto los componentes de IA como la infraestructura que los respalda, incluyendo APIs, almacenes de datos y puntos de integración.

El camino a seguir requiere equilibrar innovación y seguridad. Las organizaciones no pueden permitir que las preocupaciones de seguridad bloqueen por completo la adopción de IA, ya que eso sacrificaría ventajas competitivas y valor de negocio. Sin embargo, tampoco pueden avanzar sin considerar los riesgos que estos sistemas introducen.

Los resultados de la encuesta dejan claro que la mayoría de las organizaciones actualmente carece de prácticas de seguridad adecuadas para aplicaciones de IA. Cerrar esta brecha requiere compromiso del liderazgo, inversión en herramientas y formación, y un cambio cultural que acerque a los equipos de desarrollo y seguridad. Las organizaciones que logren superar estos desafíos estarán en posición de aprovechar los beneficios de la IA gestionando eficazmente sus riesgos.