Cómo reducir tu factura de LLM sin perder calidad

La factura de una función con IA tiene una forma poco habitual. No se queda fija como una licencia de software. Crece con cada usuario, cada mensaje y cada párrafo que alguien añade al prompt del sistema. Una función que costaba unos cientos de dólares al mes en la fase beta puede costar varias veces más tras el lanzamiento, y la primera señal suele ser la factura.

Casi todo ese crecimiento se puede evitar. Esta guía explica a dónde va realmente el gasto en LLM, los cinco cambios que más suelen reducirlo y el paso que casi todos los consejos sobre costos se saltan: demostrar que la opción más barata sigue dando a tus usuarios la respuesta correcta.

A dónde va el dinero

Los proveedores de LLM cobran por token, y cobran distinto según el tipo de token. Los tokens de entrada (todo lo que envías) tienen un precio distinto al de los tokens de salida (todo lo que el modelo escribe), y la salida suele costar varias veces más por token. Muchos proveedores también cobran aparte la entrada en caché, las peticiones por lotes y los tokens de razonamiento.

Eso significa que una misma función puede ser barata o cara según detalles que nadie mira. Antes de cambiar nada, desglosa la factura de tres maneras:

• Por función. ¿Qué parte del producto envía las peticiones? A menudo una sola función concentra la mayor parte del gasto.
• Por modelo. ¿Qué modelo atiende cada petición, y de verdad la necesita?
• Por tipo de token. ¿Cuánto es entrada, cuánto es salida y cuánto de la entrada es el mismo texto enviado una y otra vez?

Para hacerlo suele bastar con la exportación de uso de tu proveedor o una muestra de los registros de peticiones. El desglose por sí solo muchas veces señala la solución.

1. Deja de usar el mejor modelo para tareas fáciles

El derroche más común es mandar todas las peticiones al modelo más potente. Clasificar un ticket de soporte, sacar una fecha de un correo o reescribir una frase rara vez lo necesitan. Los modelos más pequeños de la misma familia cuestan mucho menos por token y en tareas acotadas suelen acertar igual.

La solución es el enrutamiento: enviar cada tipo de petición al modelo más barato que la resuelva bien. Puede ser tan simple como elegir un modelo por función o tan elaborado como un pequeño clasificador que decide petición a petición. En cualquier caso, la regla de enrutamiento hay que probarla, como veremos más abajo.

2. Usa la caché de prompts

Muchas funciones envían el mismo bloque largo de texto en cada llamada: un prompt del sistema, un catálogo de productos, un documento de políticas o una serie de ejemplos. Sin caché, pagas ese bloque a precio completo cada vez.

OpenAI, Anthropic y Google ofrecen caché de prompts, que cobra la entrada repetida a una fracción del precio normal. Las reglas cambian según el proveedor. Algunos guardan en caché de forma automática, otros te piden marcar qué guardar, y la caché caduca pasado un tiempo. La regla general vale para todos: pon primero el contenido estable, deja al final lo que cambia y mantén la parte estable idéntica, byte a byte, entre llamadas.

3. Acorta lo que envías

Los prompts tienden a crecer. Cada corrección añade una frase, cada caso límite añade un ejemplo y nadie quita nada. Un prompt que empezó con 300 palabras acaba con 3.000, y cada palabra se cobra en cada llamada.

Revisa el prompt y elimina las instrucciones que el modelo ya cumple sin que se lo pidas, los ejemplos repetidos y el contexto que la petición no usa. Haz lo mismo con los documentos recuperados: enviar los tres pasajes más relevantes en lugar de los veinte primeros puede bajar mucho el costo de entrada, y a menudo mejora las respuestas, porque el modelo tiene menos ruido que filtrar.

4. Agrupa en lotes el trabajo que puede esperar

No todas las peticiones necesitan respuesta en dos segundos. Los informes nocturnos, el etiquetado masivo, los resúmenes atrasados y las rondas de evaluación pueden esperar horas. OpenAI y Anthropic ofrecen procesamiento por lotes a cerca de la mitad del precio normal a cambio de entregar los resultados en un plazo de 24 horas, y Google ofrece un descuento parecido.

Busca en tus registros el trabajo que se ejecuta de forma programada o en bloque. Si ninguna persona está esperando el resultado, es candidato a ir por lotes.

5. Limita y controla la salida

Como los tokens de salida suelen ser los más caros, un modelo que escribe respuestas largas cuando bastaría con una corta sale caro. Fija longitudes máximas razonables, pide salida estructurada cuando solo necesitas unos pocos campos y dile al modelo qué extensión esperas. En los modelos de razonamiento, comprueba si un nivel de razonamiento más bajo da la misma calidad en tu tarea.

El paso que casi todos se saltan: demostrar que la calidad se mantiene

Cada uno de estos cambios puede empeorar las respuestas. Un modelo más pequeño puede pasar por alto un matiz. Un prompt más corto puede perder justo la instrucción que evitaba un fallo conocido. El enrutamiento puede mandar una pregunta difícil por el camino barato. Los paneles de costos te enseñan el ahorro. No te enseñan los tickets de soporte que vienen después.

Así que, antes de cambiar nada en producción, pruébalo:

• Arma un conjunto de pruebas con tráfico real. Toma entre 50 y 150 prompts reales de tus registros, elegidos para cubrir los casos comunes y los difíciles.
• Escribe qué es una buena respuesta. Para cada prompt, o cada tipo de prompt, anota qué debe incluir y qué no debe incluir una respuesta correcta. Sin un criterio escrito, "parece que está bien" se convierte en el listón.
• Pasa cada opción por el conjunto de pruebas. Puntúa la calidad de cada una y anota su costo por cada mil peticiones. Descarta las que fallen, aunque sean más baratas.
• Guarda el conjunto de pruebas. Vuelve a pasarlo cada vez que cambie un prompt, un modelo o un proveedor, para que una actualización futura no deshaga el trabajo sin que nadie lo vea.

Estas pruebas suelen costar unos pocos dólares en llamadas a la API. Son la diferencia entre un ahorro en el que puedes confiar y uno que vuelve en forma de clientes perdidos.

Gratis también puede ser una opción

Para algunas funciones, el modelo más barato es uno que no cobra por petición. Cuando creamos el asistente de compras de Reductivist, funcionaba con la cuota gratuita de Workers AI de Cloudflare, con límites diarios que lo mantenían dentro de ella, así que a la tienda no le cuesta nada mantenerlo. Funciona porque el asistente responde un conjunto acotado de preguntas con los datos de la propia tienda, y el modelo nunca tiene que escribir un precio por sí mismo. No todas las funciones encajan en ese molde, pero encajan más de las que los equipos suponen.

Por dónde empezar

Si solo haces una cosa esta semana, exporta el uso del mes pasado y desglósalo por función y por modelo. Lo más probable es que una o dos funciones expliquen casi toda la factura, y que al menos una use un modelo más grande del que necesita.

Si prefieres que hagamos todo el proceso por ti, nuestro servicio de optimización de costos de LLM empieza con una auditoría que pone una cifra en dólares a cada cambio y luego prueba cada opción con tus propios prompts antes de que nada llegue a producción.