
El almacenamiento en caché de prompts reduce los costos de inferencia de IA hasta un 90 por ciento, y la mayoría de los equipos no lo usan bien
El almacenamiento en caché de prompts puede reducir los costos de la API de LLM entre un 60 y 90 por ciento, pero la mayoría de los equipos de ingeniería estructuran sus prompts de una forma que anula esta ventaja antes de que empiece a funcionar.










