La economía del token: ¿realmente conviene tener tu propia inteligencia artificial?

Este año no ha sido muy diferente al anterior en temas de inteligencia artificial.

Cada tres o seis meses aparece un nuevo modelo. Más inteligente (según los benchmarks), más peligroso (según algunos laboratorios) y, en ocasiones, más caro.

Y digo que no ha sido muy diferente porque desde el año pasado venimos escuchando prácticamente la misma narrativa.

Pero hay una pregunta que llevo tiempo haciéndome:

Si hace unos meses un modelo como Opus 4.5 era considerado de los mejores del mundo y podía hacer cosas fantásticas, ¿por qué hoy necesitaría pagar por un modelo todavía más caro?

¿No podría descargar un modelo de pesos abiertos, ejecutarlo en mi computadora y conseguir resultados suficientemente buenos?

Después de todo, hoy tenemos modelos abiertos de distintas arquitecturas, tamaños y capacidades. Algunos se acercan al rendimiento de modelos que hace relativamente poco considerábamos extraordinarios.

Entonces, ¿por qué seguimos pagando por utilizar inteligencia artificial?

Y aquí comienza algo que llevo meses investigando:

La economía del token.

El modelo puede ser gratis. Ejecutarlo, no.

Lo primero que descubrí es que descargar un modelo de inteligencia artificial y ejecutarlo de manera útil son dos cosas completamente diferentes.

Existen modelos cuyos pesos puedes descargar gratuitamente. Pero eso no significa que puedas ejecutarlos en cualquier computadora, ni mucho menos que vayan a funcionar a la velocidad que necesitas.

Y aquí aparece nuestra primera limitante: el cómputo.

Algunos modelos grandes necesitan cientos de gigabytes de memoria para funcionar, e incluso pueden superar el terabyte dependiendo de su tamaño y de cómo se ejecuten.

Hay experimentos donde estos modelos se comprimen mediante una técnica llamada cuantización, permitiendo ejecutarlos con menos memoria.

Pero reducir su tamaño no elimina todas las limitaciones.

Puedes conseguir que un modelo funcione en un equipo relativamente económico, pero si solamente genera tres o cinco tokens por segundo, una tarea que requiere una respuesta larga podría tomar varios minutos.

Y si hablamos de agentes de IA que necesitan razonar, consultar herramientas, leer documentos y realizar múltiples operaciones, esos minutos pueden convertirse en mucho más tiempo.

Entonces aparece una pregunta interesante:

¿De qué sirve tener un modelo muy inteligente si tarda demasiado en completar el trabajo?

Aquí empiezan las matemáticas

Imagina que decides invertir 4,000 dólares en una computadora para ejecutar modelos de IA.

Supongamos que consigues correr un modelo suficientemente capaz para tus tareas.

¡Excelente! Ya tienes tu propia infraestructura.

Pero ahora debemos considerar algunas cosas:

¿Cuántos tokens puede generar por segundo?
¿Cuántas personas pueden utilizarlo simultáneamente?
¿Cuánta electricidad consume?
¿Cuántas horas al día estará trabajando?

Y, sobre todo:

¿Cuánto me costaría hacer exactamente lo mismo utilizando una API?

Una API es un servicio que te permite utilizar un modelo de inteligencia artificial sin comprar ni mantener las computadoras que lo ejecutan.

Normalmente pagas por los tokens que consumes.

Un token es una pequeña unidad de texto que el modelo procesa o genera. No equivale exactamente a una palabra, pero podemos utilizarlo como referencia para entender el costo.

Los proveedores suelen cobrar por millón de tokens, diferenciando los de entrada (lo que el modelo recibe y lee) y los de salida (lo que genera).

Por ejemplo, imaginemos tres servicios con los siguientes precios hipotéticos:

Modelo	Entrada por millón	Salida por millón
Modelo de frontera	$10 USD	$50 USD
Modelo intermedio	$2 USD	$10 USD
Modelo económico	$0.20 USD	$1 USD

Las diferencias son enormes.

Y aquí viene algo interesante.

Con los 4,000 dólares de nuestra computadora podríamos comprar:

80 millones de tokens de salida de un modelo que cobrara 50 dólares por millón.
4,000 millones de tokens de salida de uno que cobrara un dólar por millón.

Son cálculos ilustrativos considerando únicamente tokens de salida, pero ayudan a dimensionar la inversión.

Y todavía no hemos pagado la electricidad de nuestra computadora.

¿Y cuánto cuesta la electricidad?

Aquí también hay que hacer cuentas.

Por ejemplo, una RTX 5090 tiene una potencia gráfica nominal de 575 watts.

Si consumiera esa potencia durante 24 horas continuas, utilizaría aproximadamente 13.8 kWh.

Con una tarifa hipotética de 3 pesos mexicanos por kWh, serían alrededor de 41 pesos diarios solamente por la tarjeta gráfica.

No son cientos de dólares al día, pero tampoco es electricidad gratuita.

Y falta considerar el procesador, la memoria, la refrigeración, las pérdidas de la fuente de alimentación y el resto del equipo.

Además, una computadora no necesariamente consume su potencia máxima todo el tiempo.

Por eso, para conocer el costo real necesitamos medir su consumo y su utilización.

Porque aquí hay otra variable que cambia completamente la ecuación:

No cuesta lo mismo mantener una GPU encendida todo el día para procesar diez solicitudes que utilizarla constantemente para atender miles.

Si tienes suficiente demanda, comprar infraestructura propia puede tener sentido.

Pero si solamente la necesitas ocasionalmente, podrías terminar pagando por una capacidad que casi nunca utilizas.

Y ese es uno de los descubrimientos más importantes de esta investigación.

No basta con preguntarse cuánto cuesta una GPU. Hay que preguntarse cuánto cuesta cada tarea que ejecutamos con ella.

¿Y si utilizo una computadora más pequeña?

Aquí fue donde comencé a experimentar personalmente.

Probé ejecutar un modelo Qwen de 0.5B parámetros en un teléfono Honor X7d con 8 GB de RAM.
También ejecuté un modelo Qwen de 7B parámetros en una computadora con un Intel Core i5 de sexta generación y 16 GB de RAM.

Y sí, funcionan.

Pero funcionar no significa necesariamente que sean útiles para cualquier tarea.

En una computadora sin GPU dedicada, la generación puede ser bastante lenta. Y dependiendo de la carga, el procesador puede mantenerse trabajando intensamente durante periodos prolongados.

Con una refrigeración adecuada esto no debería destruirlo, pero sí puede provocar temperaturas elevadas y reducción de rendimiento.

Aquí entendí por qué tantas personas recomiendan utilizar tarjetas gráficas para ejecutar modelos de lenguaje.

Las GPU están diseñadas para realizar muchos cálculos en paralelo, algo especialmente útil para este tipo de modelos.

Pero también tienen una limitante: la memoria de video, conocida como VRAM.

¿Por qué todos hablan de la VRAM?

Cuando buscas información sobre cómo ejecutar modelos locales, constantemente aparecen números como 8, 12, 16, 24 o 48 GB de VRAM.

¿Pero por qué importa tanto?

Una forma sencilla de entenderlo es pensar que el modelo necesita guardar sus parámetros en memoria para utilizarlos durante la inferencia.

Los parámetros son valores que el modelo aprendió durante su entrenamiento.

Normalmente encontrarás modelos identificados como 7B, 14B, 32B o 70B.

La B significa billion, es decir, mil millones.

Un modelo 14B tiene aproximadamente 14 mil millones de parámetros.

Pero eso no significa que necesite exactamente 14 GB de memoria.

Depende de cómo estén representados sus parámetros.

Por ejemplo:

Un modelo de 14B almacenado con 16 bits por parámetro necesita aproximadamente 28 GB solamente para sus pesos.
Si lo cuantizamos a 4 bits, el tamaño teórico de esos pesos baja a unos 7 GB, aunque el archivo y la memoria real necesaria pueden ser mayores.

¿Entonces puedo comprar una GPU de 8 GB y ejecutar ese modelo?

Tal vez.

Pero hay otro detalle.

La memoria que el modelo necesita para recordar

Cuando conversas con un modelo de IA, este necesita procesar el contexto de la conversación.

Para hacerlo eficientemente utiliza una estructura llamada KV cache.

No es exactamente la memoria de la conversación, pero puedes imaginarla como un espacio donde guarda información de los tokens que ya procesó para no repetir ciertos cálculos.

Mientras más largo sea el contexto, más memoria puede necesitar.

Por eso, aunque los pesos de un modelo quepan en tu GPU, todavía necesitas espacio para el KV cache y otros componentes de la inferencia.

Y si quieres atender a varias personas al mismo tiempo, la situación se complica todavía más.

Aquí es donde empieza una carrera bastante curiosa:

Compras una GPU con más memoria para ejecutar un modelo más grande.
Después descubres que necesitas más memoria para utilizar contextos largos.
Luego necesitas atender a varios usuarios.
Y finalmente descubres que también necesitas mejorar la velocidad de respuesta.

Y con esto ya me dolió la cabeza.

Qué complicado, ¿verdad?

Lo interesante es que todavía no hemos hablado de cuánto tiempo necesitarás para configurar, actualizar y mantener toda esa infraestructura.

Entonces, ¿correr modelos locales no es negocio?

La respuesta que encontré es:

Depende.

Y sé que es una respuesta poco emocionante, pero es la más importante de toda esta investigación.

Si tienes miles de solicitudes diarias, un modelo adecuado, hardware bien aprovechado y personal capaz de mantenerlo, ejecutar tus propios modelos puede resultar económicamente conveniente.

Si necesitas trabajar sin conexión a internet, controlar completamente tu infraestructura o experimentar con modelos, también puede tener mucho sentido.

Pero si apenas estás comenzando, tu demanda es variable o necesitas utilizar modelos grandes, las APIs pueden ser una alternativa mucho más económica.

Y aquí aparece algo que al principio no había considerado.

No necesariamente tienes que elegir entre comprar una GPU o pagar siempre por el modelo más caro.

Existen proveedores de inferencia que ejecutan modelos de pesos abiertos y te cobran por su utilización.
También puedes rentar GPUs por hora o utilizar servicios que activan la capacidad de cómputo cuando la necesitas.
Incluso puedes combinar diferentes proveedores y modelos dependiendo de la tarea.

Y esto cambia completamente el problema.

El modelo más barato no siempre es el más económico

Imagina que estás desarrollando una herramienta que necesita leer documentos, extraer información y generar respuestas.

Podrías utilizar un modelo muy potente para hacer absolutamente todo.

Pero ¿realmente necesitas tanta inteligencia para cada operación?

Tal vez un modelo pequeño puede clasificar documentos.
Otro modelo económico puede extraer datos.
Y uno más avanzado puede encargarse de los casos difíciles.

Así, en lugar de utilizar siempre el modelo más caro, seleccionas el adecuado para cada tarea.

Pero hay algo más.

Supongamos que tienes dos modelos.

Uno cuesta diez veces menos que el otro, pero necesita repetir constantemente las tareas porque comete errores.

¿Realmente es más barato?

No necesariamente.

Porque el costo real no es solamente el precio de los tokens.

También importa cuántos intentos necesita, cuánto tarda, cuántos errores produce y cuánto cuesta corregirlos.

Lo que deberíamos optimizar no es únicamente el costo por millón de tokens, sino el costo por tarea completada correctamente.

Y aquí es donde la investigación deja de ser solamente un problema de hardware.

Se convierte en un problema de diseño de producto, arquitectura de software y economía.

¿Y qué pasa con la privacidad de los datos?

Una de las razones más frecuentes para ejecutar modelos locales es evitar enviar información a servicios externos.

Y es una razón completamente válida.

Pero también existen alternativas.

Algunos proveedores de inferencia ofrecen políticas específicas de tratamiento de datos, controles de retención, acuerdos empresariales y opciones de despliegue en regiones determinadas.

Eso no significa que todos cumplan automáticamente con cualquier regulación.

Si una empresa tiene requisitos de privacidad o cumplimiento normativo, necesita revisar las condiciones del proveedor, sus contratos y la arquitectura completa de la solución.

En algunos casos, utilizar un proveedor especializado puede ser suficiente.

En otros, será necesario desplegar los modelos dentro de una infraestructura controlada por la propia organización.

De nuevo, depende del problema que necesitamos resolver.

Entonces, ¿qué alternativa deberías elegir?

Después de todo este recorrido, estas son las conclusiones a las que he llegado:

Si solamente quieres utilizar inteligencia artificial para trabajar, estudiar o desarrollar ideas, probablemente una suscripción sea suficiente.
Si estás desarrollando una aplicación, una API suele ser un excelente punto de partida.
Si necesitas ejecutar modelos ocasionalmente con mayor control sobre la infraestructura, puedes evaluar GPUs bajo demanda.
Si tienes una carga de trabajo constante y suficientemente grande, vale la pena calcular si comprar hardware puede reducir tus costos.
Si necesitas cumplir políticas estrictas de tratamiento de datos, tendrás que evaluar proveedores especializados o infraestructura propia.
Y si lo que quieres es experimentar, aprender o utilizar inteligencia artificial sin conexión, ejecutar modelos locales sigue siendo una opción fascinante.

Pero hay una conclusión que considero todavía más importante:

No necesitas tener tu propio modelo de inteligencia artificial para construir una buena herramienta de inteligencia artificial.

Necesitas comprender qué problema resuelve, qué capacidad requiere, qué nivel de calidad esperas y cuánto puedes pagar por cada operación.

¿Y qué sigue para mí?

Yo voy a seguir experimentando con modelos de IA en hardware limitado.

No porque crea que mañana voy a reemplazar a los grandes laboratorios con una computadora vieja, sino porque quiero descubrir qué tareas podemos resolver con menos recursos.

Me interesa especialmente lo que podemos conseguir con modelos pequeños, cuantización, fine-tuning y dispositivos que normalmente consideraríamos obsoletos.

El fine-tuning, por ejemplo, permite adaptar un modelo a determinadas tareas, aunque también introduce costos y riesgos, como perder rendimiento en otras capacidades si el entrenamiento no se realiza adecuadamente.

Todavía queda muchísimo por experimentar.

Pero esta investigación me dejó algo más valioso que saber qué GPU comprar o qué modelo descargar.

Me enseñó que construir herramientas con inteligencia artificial requiere combinar tres cosas:

Tecnología, para entender qué es posible y cómo implementarlo.
Finanzas, para saber cuánto cuesta y si puede sostenerse económicamente.
Investigación de producto, para descubrir qué necesita realmente el usuario y si la solución genera suficiente valor.

Porque no sirve de mucho construir una herramienta técnicamente impresionante si cuesta demasiado operarla o no resuelve un problema real.

Y tampoco tiene sentido pagar por la inteligencia artificial más potente del mundo cuando una alternativa mucho más económica puede hacer el trabajo.

Al final, la pregunta no es qué modelo es el mejor.

La pregunta es cuál es la manera más eficiente de resolver el problema que tenemos enfrente.

Si te gusta conversar sobre estos temas, escríbeme. Soy un obsesionado al que le encanta hablar de tecnología, experimentar y compartir lo que va descubriendo.

Si estás pensando en construir una herramienta con inteligencia artificial para tu empresa, ya sea interna o para tus clientes, podemos analizar juntos qué necesitas, qué modelos y proveedores conviene utilizar, cuánto costaría operarla y si realmente vale la pena desarrollarla.

Porque implementar inteligencia artificial no debería comenzar comprando servidores ni eligiendo el modelo más caro.

Debería comenzar entendiendo el problema que queremos resolver.

¿Necesitas ayuda con la economía de tu proyecto de IA?

Te ayudo a calcular costos, elegir proveedores y diseñar la arquitectura más eficiente para tu caso real. Sin venderte hardware que no necesitas.

Conoce más