Antes de desplegar un agente de IA en producción, hay que intentar romperlo. No de forma casual, sino sistemáticamente, con las mismas técnicas que usaría un actor malicioso. Para eso sirve el red-teaming. El problema es que la mayoría de equipos no saben cómo hacerlo, no tienen los recursos para contratar expertos, y tampoco existe un estándar de referencia.
Fabraix Playground apunta a ese hueco: es un entorno open source publicado en GitHub que permite probar las defensas de agentes de IA mediante ataques adversariales en tiempo real, con una mecánica comunitaria donde los participantes proponen escenarios, otros intentan romperlos, y los resultados —incluyendo los ataques que funcionaron— se comparten públicamente para que todos mejoren sus defensas.
¿Qué es el red-teaming de IA?
El concepto viene de la ciberseguridad clásica: el “equipo rojo” juega el rol del atacante para estresar las defensas del sistema. Aplicado a agentes de IA, evalúa si el agente mantiene sus objetivos bajo instrucciones contradictorias, si se pueden extraer datos del contexto mediante ingeniería de prompts, si un atacante puede redirigir el comportamiento del agente en conversaciones largas, o si los guardrails aguantan variantes de prompts que los intentan eludir.
IA para el Resto de Nosotros
La nueva versión de mi curso estrella para aprender a usar la IA de forma práctica, simple y útil en tu día a día. Comienza el 24 de marzo.
→ Inscríbete hoy 🚀Lo que distingue esto del testing convencional es el adversario activo: no se trata de verificar que el sistema hace lo correcto en casos esperados, sino de descubrir qué pasa cuando alguien está activamente tratando de hacerle hacer lo incorrecto. Con agentes de IA esto es especialmente crítico porque —a diferencia de una API tradicional— los vectores de ataque son semánticos, no sintácticos. No se puede aplicar un firewall de reglas fijas contra prompt injection.
Cómo funciona Fabraix
El modelo de la plataforma tiene tres fases:
Propuesta de escenarios: Cualquier miembro puede proponer un reto adversarial. Por ejemplo: “un agente que protege una clave de API y no debe revelarla bajo ninguna circunstancia”. Los retos se votan por relevancia y dificultad.
Ejecución de ataques: Los participantes intentan evadir las restricciones del agente usando las técnicas que consideren más efectivas: prompt injection, jailbreak adversarial, ataques multi-turno que acumulan confianza antes de redirigir, o fuzzing semántico.
Divulgación abierta: Los ataques que funcionaron, los prompts usados, y las correcciones aplicadas se comparten con toda la comunidad. La idea es que el ecosistema aprenda colectivamente, igual que funciona la divulgación responsable en ciberseguridad.
Por qué ahora y por qué importa
El timing tiene sentido. Meta publicó su “Regla de Dos” para seguridad de agentes, OpenAI adquirió Promptfoo para integrar red-teaming en su core, y el AI Act europeo ya exige documentación de pruebas de seguridad para sistemas de alto riesgo. El red-teaming pasó de ser una práctica de nicho a un requisito emergente. El problema es que todavía no existe una forma estandarizada de hacerlo, especialmente para equipos pequeños.
Las alternativas actuales son: contratar expertos de seguridad ofensiva (caro, lento), usar herramientas automáticas como Garak de NVIDIA o Azure AI Red Teaming Agent (potentes pero especializadas), o simplemente no hacerlo y esperar (lo que hace la mayoría). Fabraix propone un cuarto camino: aprender haciendo, en comunidad, con casos reales aportados por practitioners que enfrentan los mismos problemas.
Para founders que construyen productos con agentes de IA, los vectores más relevantes a cubrir son:
- Prompt injection indirecto: cuando el agente procesa documentos externos que pueden contener instrucciones maliciosas
- Exfiltración de contexto: cuando alguien puede extraer datos del system prompt o de conversaciones previas
- Escalada de privilegios: cuando el agente puede ser convencido de ejecutar acciones fuera de su scope definido
- Ataques multi-turno: conversaciones largas donde el atacante construye confianza gradualmente antes de redirigir
Los equipos que integren red-teaming en su ciclo de desarrollo antes del lanzamiento no solo reducen el riesgo de incidentes en producción: también tienen una ventaja concreta para ventas enterprise, donde los clientes grandes cada vez más exigen evidencia de pruebas de seguridad como condición para contratar. El ejemplo de McKinsey dejó claro que la seguridad de agentes no es un tema de “después del lanzamiento”.
