Investigadores de Tencent pusieron a prueba las capacidades de navegar por internet y responder preguntas de modelos de IA de terceros durante unas pruebas en su nube en las que debían contestar a preguntas cotidianas, como por ejemplo, identificar la entrada más concurrida del zoo de Chengdú.
Para estas evaluaciones, los agentes usaron la aplicación de mapas Amap, un servicio similar a Google Maps pero para el mercado chino y desarrollado por Alibaba con cerca de mil millones de usuarios. En un momento dado, los agentes se desviaron de las directrices de la prueba y empezaron a buscar la manera de acceder a información en Amap que no estaba disponible de manera pública.
Según explican los investigadores de ciberseguridad del grupo Swarmcham, los agentes usaron su capacidad para moverse por internet para localizar claves y código de seguridad previamente filtrados que les permitieran acceder a Amap, pero las protecciones ‘antibot’ del servicio lograron rechazar sus avances.
Desde Swarmcham aseguran que los agentes realizaron más de 2.600 intentos para acceder a Amap, entre el 28 de septiembre y el 8 de octubre, pero lo hicieron de manera individual --por eso los llama flota-- y no como un enjambre, a diferencia de otros ataques que se han conocido, como el de Hugging Face, en el que los agentes de IA basados en los modelos de OpenAI actuaron de manera coordinada.
“Los resultados de nuestra investigación demuestran la dificultad de alinear un modelo”, ya que pueden “desviarse espontáneamente del guion” en tareas sencillas, como han advertido los investigadores de Swarmcham. “Gestionar un gran número de agentes es una proeza de ingeniería y un problema emergente en materia de alineación de modelos”, apostillan.
💬 Debate de la Comunidad 0