El costo invisible de la inteligencia artificial: cuando los tokens se convierten en el verdadero cuello de botella

La nueva realidad de la inteligencia artificial

Durante los últimos dos años, la conversación sobre inteligencia artificial ha girado alrededor de un mismo eje: modelos cada vez más capaces, agentes autónomos y una creciente automatización del trabajo intelectual. Sin embargo, conforme las organizaciones pasan de las pruebas piloto a los despliegues masivos, emerge una variable que hasta hace poco recibía poca atención: el costo de consumir inteligencia artificial.

Los analistas han comenzado a referirse a este fenómeno como "token shock", una expresión que describe la presión presupuestaria que aparece cuando el consumo de tokens crece más rápido de lo que disminuye su precio unitario. En otras palabras, aunque el costo por token siga reduciéndose, las empresas utilizan tantos más tokens que el gasto total continúa aumentando.

Este cambio representa una transición importante. La discusión deja de centrarse en cuánto cuesta entrenar un modelo y pasa a enfocarse en cuánto cuesta mantenerlo funcionando todos los días.

Del costo del modelo al costo de la operación

Durante la primera ola de adopción de IA generativa, muchas organizaciones asumieron que la reducción constante en los precios de los modelos resolvería naturalmente cualquier problema económico. La realidad está demostrando lo contrario.

Cada consulta enviada a un modelo consume tokens. Sin embargo, los nuevos sistemas de IA agéntica ya no ejecutan una única interacción. Un agente puede realizar decenas de consultas internas, analizar documentos completos, recuperar información, ejecutar herramientas externas y volver a consultar al modelo antes de entregar una respuesta.

El resultado es un crecimiento exponencial del consumo computacional.

Un análisis citado por Bernstein, basado en un proyecto desarrollado por EY, encontró que migrar desde consultas tradicionales hacia flujos de trabajo agénticos puede incrementar aproximadamente 30 veces el costo por interacción.

Esto cambia completamente la ecuación financiera.

Lo que parecía una herramienta relativamente económica para algunos cientos de usuarios puede convertirse rápidamente en uno de los principales gastos operativos cuando miles de empleados la utilizan diariamente.

Los primeros síntomas ya son visibles

La presión presupuestaria ya está modificando el comportamiento de algunas de las empresas más grandes del mundo.

Según Bernstein:

Uber agotó en apenas cuatro meses su presupuesto anual destinado a herramientas de programación con IA y posteriormente estableció límites de gasto por empleado.

Walmart restringió el acceso a un agente interno que anteriormente ofrecía consumo ilimitado.

Una importante aseguradora francesa redujo el uso de Claude, de Anthropic, apenas dos meses después de su implementación debido al incremento inesperado de los costos.

Estos casos reflejan un cambio importante.

Hasta hace poco, el debate giraba alrededor de quién adoptaba IA primero. Ahora la discusión comienza a centrarse en quién puede sostener económicamente esa adopción.

El verdadero enemigo es la inferencia

Existe una percepción ampliamente extendida de que desarrollar un gran modelo es el gasto más importante dentro de un proyecto de inteligencia artificial.

Sin embargo, una vez que el modelo entra en producción, el panorama cambia.

Bernstein estima que los costos de inferencia —es decir, ejecutar el modelo para responder solicitudes reales— pueden representar cerca del 80% del costo total durante toda la vida útil de una solución de IA.

Para un director financiero, esta diferencia es crítica.

El entrenamiento es una inversión puntual.

La inferencia es un gasto operativo permanente.

Y como ocurre con cualquier costo recurrente, termina afectando directamente la rentabilidad del negocio.

La respuesta empresarial: menos inteligencia, mejor inteligencia

La reacción del mercado no está siendo abandonar la inteligencia artificial.

Está siendo utilizarla con mayor disciplina.

Cada vez más organizaciones están construyendo arquitecturas donde diferentes modelos participan según la complejidad de la tarea.

Un correo electrónico sencillo no requiere el mismo modelo que una auditoría legal.

Una clasificación documental puede ejecutarse mediante modelos pequeños de código abierto.

Un análisis financiero complejo puede reservarse para modelos de última generación.

Esta estrategia, conocida como model routing, permite optimizar costos sin sacrificar calidad.

Al mismo tiempo, muchas empresas están evaluando infraestructura privada y modelos abiertos para cargas de trabajo repetitivas y de gran volumen, donde el costo por inferencia puede reducirse considerablemente.

La inteligencia artificial empieza a parecerse menos a un producto y más a una infraestructura tecnológica que debe administrarse como cualquier otro recurso empresarial.

Del software ilimitado al consumo medido

Durante décadas, el software empresarial evolucionó hacia modelos de suscripción prácticamente ilimitados.

La IA está recorriendo el camino inverso.

Cada interacción tiene un costo marginal claramente identificable.

Esto explica por qué varios proveedores están abandonando las licencias planas para migrar hacia esquemas de pago por consumo o incluso por resultados obtenidos. HubSpot, por ejemplo, ha comenzado a experimentar con modelos de cobro vinculados al valor generado en lugar del número de tokens utilizados.

El cambio también modifica los incentivos.

Si anteriormente el objetivo consistía en maximizar el uso del software, ahora las organizaciones buscan maximizar el retorno económico de cada consulta realizada al modelo.

No toda pregunta necesita inteligencia artificial.

Y no toda inteligencia artificial necesita el modelo más avanzado disponible.

El reto para las organizaciones

El llamado "token shock" deja una enseñanza relevante.

Muchas compañías iniciaron proyectos de IA midiendo precisión, velocidad o innovación, pero pocas incorporaron métricas financieras suficientemente rigurosas.

Hoy resulta evidente que cualquier estrategia empresarial de inteligencia artificial debería responder preguntas como:

¿Cuál es el costo por proceso automatizado?

¿Qué retorno económico genera cada agente desplegado?

¿Qué tareas justifican utilizar modelos premium?

¿Qué porcentaje del presupuesto tecnológico representa la inferencia?

La tecnología deja de ser únicamente una decisión del área de innovación.

Se convierte en una decisión de asignación de capital.

Y eso modifica completamente las prioridades de los comités ejecutivos.

Una nueva etapa para la inteligencia artificial

La historia reciente de la tecnología muestra que las innovaciones más transformadoras rara vez fracasan por falta de capacidad técnica.

Con frecuencia encuentran sus mayores obstáculos en la economía.

La electricidad, la computación en la nube e incluso internet atravesaron momentos similares, donde el desafío no consistía en demostrar que funcionaban, sino en encontrar modelos sostenibles para operarlas a gran escala.

La inteligencia artificial parece estar entrando en esa etapa.

El "token shock" probablemente no detendrá su expansión, pero sí acelerará una evolución necesaria: pasar de experimentar con IA a gestionarla con criterios financieros.

Las organizaciones que comprendan primero esta transición no necesariamente serán las que utilicen más inteligencia artificial.

Serán aquellas capaces de obtener mayor valor económico con menos consumo computacional.

En la próxima década, esa diferencia podría convertirse en una ventaja competitiva mucho más importante que el modelo de lenguaje elegido.