Debemos usar IA para proteger la IA en aplicaciones de modelos lingüísticos de gran escala

Zhou Hongyi, miembro del 14º Comité Nacional de la Conferencia Consultiva Política del Pueblo Chino y presidente de la empresa china de ciberseguridad del Grupo 360. Foto: VCG

A medida que la tecnología de inteligencia artificial (IA) de China avanza rápidamente, los modelos de lenguaje grandes (LLM) son un "arma de doble filo", que aportan tanto ganancias de eficiencia como desafíos que deben verse racionalmente, dijo un conocido empresario chino al margen de las Dos Sesiones en curso.

"La IA está remodelando cada industria, y los modelos nacionales como DeepSeek están impulsando la innovación tecnológica y el crecimiento económico de China", dijo Zhou Hongyi, miembro del 14º Comité Nacional de la Conferencia Consultiva Política del Pueblo Chino (CPPCC) y fundador de 360 ​​Group, al Global Times el domingo. Los modelos de IA especializados se implementarán en los gobiernos y las empresas como agentes inteligentes, integrando bases de conocimiento internas para impulsar la transformación digital y la eficiencia, dijo.

Zhou dijo que los desafíos como las alucinaciones y la seguridad del contenido no pueden abordarse con soluciones de seguridad tradicionales. "Cualquier vulnerabilidad de seguridad en el modelo subyacente, la base de conocimiento o el agente inteligente dentro de los sistemas gubernamentales o corporativos podría desencadenar riesgos sistémicos en todo el entorno de producción", dijo.

Hay crecientes preocupaciones sobre las alucinaciones de la IA, donde los LLM generan información articulada pero engañosa, dijo Zhou, advirtiendo que en la formulación de políticas, la interpretación legal y las decisiones comerciales, tales errores podrían plantear riesgos de seguridad si los resultados engañosos influyen en los procesos críticos.

Sin embargo, "las alucinaciones no son solo un defecto sino un rasgo inherente de la IA. Un modelo sin alucinaciones no sería inteligente", dijo Zhou, señalando que esta capacidad de establecer conexiones inesperadas es crucial. Por ejemplo, puede ayudar a imaginar nuevas moléculas de medicamentos o estructuras de proteínas, impulsando la innovación más allá de los métodos tradicionales.

Las alucinaciones de la IA se pueden mitigar mediante técnicas como la generación aumentada por recuperación (RAG), que corrige los resultados mediante la referencia cruzada de bases de conocimiento profesionales e información en línea en tiempo real.

Zhou recomendó una estrategia regulatoria flexible que tolere ciertos errores en lugar de penalizar rápidamente a los modelos de IA por errores menores. Propuso dar a las empresas más tiempo para corregir sus errores, fomentando así una innovación y una competencia sólidas. Este enfoque podría permitir que más empresas emulen los logros de DeepSeek.

Además de las alucinaciones, la seguridad de la base de conocimientos y la seguridad de los agentes inteligentes son otras dos preocupaciones de seguridad importantes en la implementación de la IA, según Zhou.

Agregó que los activos de datos básicos de los gobiernos y las empresas se almacenan en bases de conocimiento internas, que, sin las protecciones adecuadas, podrían ser explotadas para extraer información confidencial a través de interacciones de IA.

"Por ejemplo, si se ingresan documentos críticos en una base de conocimiento para entrenar una IA, existe el riesgo de que el modelo pueda revelar inadvertidamente todo lo que ha aprendido, lo que permitiría el acceso no autorizado a datos confidenciales", dijo Zhou.

Zhou detalló cómo los agentes inteligentes están ampliamente integrados en los sistemas de TI de los gobiernos y las empresas, lo que los hace susceptibles a ataques cibernéticos que podrían provocar interrupciones significativas. Estas interrupciones podrían ir desde el envío de correos electrónicos dañinos hasta la detención de las líneas de producción, lo que podría conducir a graves consecuencias.

El ciclo de vida de un modelo de IA, que incluye la preparación, el entrenamiento y la implementación de los datos, presenta múltiples puntos de vulnerabilidad. Los atacantes pueden explotar estas fases para interrumpir las operaciones, eludir las medidas de seguridad o iniciar acciones no autorizadas, lo que resulta en interrupciones del servicio. Además, la apertura de los LLM ha aumentado sus riesgos de envenenamiento de datos, ataques de puerta trasera y manipulación adversaria, lo que agrava los desafíos de seguridad.

Zhou pidió que se reformen los marcos de seguridad con IA, y abogó por un enfoque de "utilizar IA para proteger la IA". Propuso utilizar modelos de IA de seguridad para construir sistemas que abarquen modelos básicos, bases de conocimiento y agentes inteligentes, garantizando una transformación digital segura para los gobiernos y las empresas.

Subrayó la necesidad de avanzar en la innovación y la implementación de tecnologías de seguridad, y pidió políticas para apoyar a las empresas líderes con soluciones de "seguridad más IA" para modelos básicos, bases de conocimiento y agentes inteligentes. Al aprovechar los modelos de IA de seguridad, estas empresas pueden acelerar la investigación e integrar la seguridad en todo el ciclo de vida de la IA.