Entrenar un modelo de 72.000 millones de parámetros cuesta cientos de millones de dólares, requiere miles de GPUs coordinadas, y está al alcance de cuatro o cinco organizaciones en el mundo. Eso hasta ahora. Un grupo llamado Covenant AI acaba de publicar un modelo de 72B parámetros entrenado sin un solo datacenter centralizado, usando una blockchain como coordinador y 20 grupos de 8xB200 GPUs distribuidos geográficamente. El resultado es COVENANT-72B, y lo que importa no es tanto el modelo sino lo que demuestra.
¿Cómo funciona entrenar un LLM sobre una blockchain?
La parte técnica es genuinamente compleja, pero el concepto central es sencillo: en lugar de que una sola organización posea todos los GPUs, distintos participantes contribuyen con su cómputo y reciben recompensas tokenizadas. Lo que Covenant construyó se llama Gauntlet, un protocolo que corre sobre Bittensor (Subnet 3) y permite que participantes de todo el mundo envíen “pseudo-gradientes” — actualizaciones comprimidas del modelo — sin necesidad de confiar el uno en el otro.
Técnicamente, cada peer ejecuta SparseLoCo, un método de optimización distribuida que comprime las comunicaciones entre nodos. Dentro de cada grupo, las 8 GPUs usan FSDP dinámico para distribuir el modelo localmente. El coordinador en la blockchain valida qué contribuciones son útiles y cuáles no antes de agregar los gradientes globalmente.
IA para el Resto de Nosotros
La nueva versión de mi curso estrella para aprender a usar la IA de forma práctica, simple y útil en tu día a día. Comienza el 24 de marzo.
→ Inscríbete hoy 🚀El modelo resultante, entrenado sobre ~1.1T tokens, alcanza 67.1 en MMLU — comparable a LLaMA-2-70B (65.7) entrenado con el doble de tokens y con infraestructura centralizada de primer nivel. Para un primer experimento a esta escala, eso es sorprendente.
Por qué importa más allá del resultado del benchmark
Los benchmarks del modelo son “buenos para 2023 o 2024, pero algo anticuados en 2026”, como reconoce el propio newsletter de Jack Clark (Import AI 449). Eso es honesto. COVENANT-72B no es un modelo que vayas a usar en producción hoy.
Pero el punto no es el modelo, es la demostración de viabilidad. Los laboratorios de IA operan hoy como lo que el investigador Jack Clark llama “compute singletons” — concentraciones masivas de poder computacional en manos de cuatro o cinco actores. El entrenamiento distribuido vía blockchain es un intento de cambiar esa economía política: si funciona a escala suficiente, rompe la equivalencia entre “tener acceso a frontier AI” y “tener $100M para un cluster de GPUs”.
El precedente más cercano era INTELLECT-1 de Prime Intellect, un modelo mucho más pequeño (10B parámetros). Covenant salta a 72B, lo cual es un orden de magnitud diferente en términos de coordinación y complejidad técnica.
Las limitaciones reales
El protocolo actual tiene dos problemas de fondo. Primero, la latencia de la blockchain introduce overhead que hace el entrenamiento más lento que el centralizado para cómputo equivalente. Segundo, la comunidad de investigación aún debate si este tipo de sistemas puede alcanzar la frontera actual (modelos de 400B+ parámetros) o si tiene un techo técnico inherente.
El informe de Epoch AI citado en Import AI 449 señala que los sistemas distribuidos tienen fricción adicional que los hace “menos eficientes por token” que los centralizados bien optimizados. Eso no desaparece con mejores algoritmos.
Pero en la otra dirección, la concentración de recursos en grandes labs tiene sus propios problemas — velocidades de desarrollo asimétricas, gobernanza opaca, dependencia total de actores privados. COVENANT-72B no resuelve eso todavía, pero abre una línea de investigación con implicaciones que van más allá de la tecnología.
La detección de comportamientos inesperados en LLMs será más relevante aún si el entrenamiento se descentraliza: con menos control sobre el proceso, los mecanismos de evaluación post-training cobran más importancia. El ecosistema distribuido necesita soluciones para esto.
Dónde encontrar el modelo
COVENANT-72B está disponible en Hugging Face bajo una licencia abierta. Si quieres explorar el protocolo de entrenamiento, el paper está en arXiv (2603.08640) y la implementación de Gauntlet es pública en GitHub vía Bittensor.
