La plataforma Datup soporta varias métricas principales para evaluar la calidad de sus pronósticos. Cada una responde a una pregunta diferente y aporta una perspectiva complementaria. A continuación, las explicamos en detalle para que cualquier persona del equipo pueda interpretarlas y tomar decisiones con ellas.
El WMAPE (por sus siglas en inglés: Weighted Mean Absolute Percentage Error) es la métrica principal que utiliza Datup para responder a la pregunta más básica y directa: ¿qué tan lejos estuvo el pronóstico de la venta real, en términos porcentuales?
La palabra ponderado es fundamental. A diferencia de un promedio simple donde todos los productos pesan lo mismo, el WMAPE le da más importancia a los productos que más se venden. Esto significa que un error en un producto estrella que vende 10.000 unidades pesa mucho más que el mismo error porcentual en un producto que vende 10 unidades. Y eso tiene todo el sentido: el impacto económico de equivocarse en un producto de alta rotación es incomparablemente mayor.
Piensen en una clase de colegio donde el profesor quiere calcular la nota promedio del curso. En un promedio simple, el estudiante que presentó un solo quiz vale lo mismo que el que presentó diez evaluaciones. En un promedio ponderado, el que presentó más evaluaciones tiene más peso en el resultado final. El WMAPE funciona de la misma manera: los productos con mayor volumen de venta real tienen más influencia en la métrica final.
Para cada producto, Datup realiza el siguiente proceso:
Calcula la diferencia absoluta entre lo que se vendió realmente (el target o demanda real) y lo que se había pronosticado. Absoluta significa que no importa si fue por encima o por debajo — solo importa la magnitud del error.
Convierte esa diferencia en porcentaje dividiéndola por la venta real del producto.
Pondera ese porcentaje por el volumen de venta real de cada producto. Así, un producto que representa el 30% de las ventas totales contribuye proporcionalmente más al resultado que uno que representa el 0.5%.
El resultado se expresa como un porcentaje entre 0% y 100%.
En el código de Datup, esta métrica se limita a un máximo de 100% para evitar distorsiones con productos de muy baja demanda. Además, los productos con venta real igual a cero se tratan de forma especial para no generar divisiones imposibles.
¿Cómo interpretarlo?
Valor del WMAPE | Interpretación | ¿Qué hacer? |
0% | Pronóstico perfecto | Situación ideal pero poco realista en la práctica |
1% – 20% | Precisión alta | El pronóstico es confiable para tomar decisiones operativas |
21% – 35% | Precisión aceptable | Funciona bien para planeación táctica, pero vale la pena revisar los productos con mayor desviación |
36% – 50% | Precisión moderada | Se recomienda analizar las causas del error y complementar con juicio experto del equipo comercial |
Más de 50% | Precisión baja | El pronóstico no es confiable por sí solo. Requiere intervención, revisión de datos o ajustes al modelo |
En la plataforma Datup, la precisión (Accuracy) se calcula como el complemento del WMAPE. Es decir: Precisión = 100% − WMAPE. Así, un WMAPE del 25% equivale a una precisión del 75%. Los reportes de eficiencia de Datup clasifican esta precisión en tres niveles: alta (mayor a 90%), media (entre 70% y 90%) y baja (menor a 70%).
El WMAPE traduce un concepto estadístico en un lenguaje que conecta directamente con el negocio. Cuando el reporte dice "la precisión del pronóstico fue del 82%", significa que por cada 100 unidades de demanda real, el pronóstico se desvió en promedio 18 unidades. Eso permite calcular rápidamente el impacto en inventario, en nivel de servicio y en presupuesto.
Además, Datup calcula esta métrica no solo para el pronóstico sugerido por inteligencia artificial, sino también para el pronóstico colaborativo (el que ajustan los equipos de ventas y planeación) y para el pronóstico naive (un método de referencia básico que simplemente repite la demanda del periodo anterior).
El MASE (por sus siglas en inglés: Mean Absolute Scaled Error) es una métrica complementaria que responde a una pregunta diferente: ¿el pronóstico es mejor o peor que simplemente repetir lo que pasó el periodo anterior?
Mientras el WMAPE mide "qué tan grande fue el error", el MASE mide "qué tan bueno es el pronóstico comparado con el método más básico posible". Es como si en una carrera no solo importara el tiempo, sino también si le ganaste al competidor que simplemente caminó.
Imaginen que un vendedor siempre predice que las ventas de mañana serán exactamente iguales a las de hoy. Eso se llama un pronóstico naive (o ingenuo). Es el método más elemental posible: no requiere ningún modelo, ningún análisis, ningún esfuerzo. El MASE compara el error de su pronóstico real contra el error que habría tenido ese método naive. Si su pronóstico no le gana al método naive, algo no está funcionando bien.
El proceso que implementa Datup es el siguiente:
Calcula el error del pronóstico: la diferencia absoluta entre la venta real y el pronóstico, periodo a periodo.
Calcula el error del método naive: la diferencia absoluta entre la venta real de cada periodo y la venta real del periodo inmediatamente anterior. Esto representa lo que habría "adivinado" alguien sin ningún modelo predictivo.
Divide el error del pronóstico entre el error del método naive. Esa proporción es el MASE.
Si la serie histórica de ventas es muy estable (siempre se vende casi lo mismo), el error del método naive será pequeño, y por lo tanto el denominador del MASE será bajo. En ese caso, incluso un error pequeño del pronóstico podría resultar en un MASE alto. Por el contrario, si las ventas son muy volátiles, el denominador será alto y el MASE será naturalmente más bajo. Esto hace que el MASE sea justo al comparar productos con patrones de demanda muy distintos.
Valor del MASE | Valor del MASE | ¿Qué significa en la práctica? |
Menor a 1 | El pronóstico es mejor que el método naive | La herramienta está aportando valor real. El modelo predictivo supera al método más básico |
Igual a 1 | El pronóstico empata con el método naive | El modelo no está agregando valor. Es lo mismo que no tener pronóstico sofisticado |
Mayor a 1 | El pronóstico es peor que el método naive | Señal de alerta. El modelo se equivoca más que quien simplemente repite la última cifra de ventas |
El MASE resuelve un problema que el WMAPE por sí solo no puede: la comparabilidad entre productos con comportamientos de demanda muy diferentes.
Consideren dos productos. El producto A tiene una demanda muy estable: vende 1.000 unidades cada mes con mínima variación. El producto B es altamente estacional: vende 5.000 en diciembre y 200 en febrero. Un WMAPE del 15% en el producto A y un WMAPE del 15% en el producto B no significan lo mismo en términos de dificultad. El producto B es inherentemente más difícil de pronosticar. El MASE pone esa dificultad en contexto, permitiendo saber si el modelo está haciendo un trabajo sobresaliente, aceptable o deficiente dado el nivel de complejidad de la demanda de ese producto específico.
El Bias (o sesgo) responde a una pregunta que las dos métricas anteriores no pueden responder: ¿el pronóstico tiende sistemáticamente a sobreestimar o a subestimar la demanda?
Tanto el WMAPE como el MASE trabajan con valores absolutos, es decir, les da igual si el error fue "por arriba" o "por abajo". El Bias, en cambio, conserva la dirección del error. Eso lo convierte en una herramienta de diagnóstico esencial: no solo dice cuánto se equivocó el pronóstico, sino hacia dónde se equivocó.
Imaginen una báscula que siempre marca 2 kilos de más. Si se pesan diez veces, el promedio del error absoluto será 2 kg, pero lo más importante es que ese error siempre va en la misma dirección: hacia arriba. Eso es un sesgo. Si la báscula a veces marca de más y a veces de menos, los errores se compensan y el sesgo se acerca a cero. El Bias del pronóstico funciona exactamente igual: detecta si hay una tendencia consistente a pronosticar de más o de menos.
Datup implementa tres variantes del Bias, cada una con un propósito diferente:
Bias porcentual — Es la medida relativa que permite comparar entre productos de distintas escalas. La fórmula que utiliza Datup es:
Este cálculo tiene una característica importante: al dividir por la suma de ambos valores (en lugar de solo por la demanda real), la métrica se mantiene acotada y simétrica, evitando valores extremos cuando la demanda real es muy baja. Los valores se limitan entre −1.000 y +1.000 para evitar distorsiones.
Bias en unidades — Es simplemente la diferencia directa:
Dice cuántas unidades de más o de menos se pronosticaron. Es la forma más intuitiva de entender el sesgo.
Bias en valor monetario — Multiplica el sesgo en unidades por el precio unitario:
Traduce el sesgo a dinero, lo cual es fundamental para evaluar el impacto financiero.
Valor del Bias | Dirección | Interpretación | Consecuencia operativa |
Muy negativo (< −40%) | ↓ Subestimación | El pronóstico predice consistentemente menos de lo que se vende | Quiebres de inventario, ventas perdidas, clientes insatisfechos |
Ligeramente negativo (−20% a 0%) | ↓ Subestimación leve | Tendencia moderada a pronosticar por debajo | Riesgo controlable pero conviene monitorear |
Cercano a 0% |
| El pronóstico no tiene sesgo sistemático | Situación ideal. Los errores se distribuyen equitativamente |
Ligeramente positivo (0% a 20%) | ↑ Sobreestimación leve | Tendencia moderada a pronosticar por encima | Ligera acumulación de inventario, generalmente manejable |
Muy positivo (> 40%) | ↑ Sobreestimación | El pronóstico predice consistentemente más de lo que se vende | Exceso de inventario, capital inmovilizado, riesgo de obsolescencia |
En los reportes de eficiencia de Datup, el sesgo se clasifica en 13 rangos que van desde menor a −100 hasta mayor a 100, con incrementos de 20 puntos porcentuales. Esta granularidad permite identificar con precisión la magnitud y dirección del sesgo para cada producto, ubicación y periodo.
El Bias es probablemente la métrica con mayor potencial de acción inmediata para los equipos de planeación y ventas. Veamos dos escenarios reales:
Escenario 1 — Sesgo negativo persistente en una categoría: Si los pronósticos de una categoría completa (por ejemplo, bebidas en temporada de verano) muestran un sesgo negativo sostenido, significa que el modelo está subestimando la demanda de forma sistemática. El equipo de planeación puede decidir aplicar un factor de ajuste hacia arriba para esa categoría hasta que el modelo se corrija, o el equipo comercial puede aportar información cualitativa sobre promociones o tendencias que el modelo no está capturando.
Escenario 2 — Sesgo positivo en productos nuevos: Los productos con poco historial de ventas frecuentemente muestran sesgos positivos porque el modelo, al tener pocos datos, tiende a ser conservador o a sobreestimar basado en productos similares. Identificar este patrón permite al equipo ajustar manualmente esos pronósticos o definir reglas de negocio específicas para lanzamientos.
Ninguna métrica individual cuenta la historia completa. El verdadero poder está en leerlas en conjunto, como un tablero de instrumentos de un avión donde cada indicador aporta información diferente pero complementaria.
Situación | WMAPE | MASE | Bias | Diagnóstico |
Pronóstico excelente | Bajo (< 20%) | < 1.0 | Cercano a 0% | Todo funciona bien. El modelo es preciso, supera al método naive y no tiene sesgo |
Preciso pero sesgado | Bajo (< 20%) | < 1.0 | Positivo alto | El error es pequeño en magnitud pero siempre en la misma dirección. Hay oportunidad de mejorar ajustando la tendencia y estacionalidad |
Impreciso pero equilibrado | Alto (> 40%) | > 1.0 | Cercano a 0% | El pronóstico se equivoca mucho pero a veces por arriba y a veces por abajo. Los históricos de demanda pueden corresponder a comportamientos sin patrones significativos. Es necesario soportar las decisiones en los intervalos de pronóstico |
Impreciso y sesgado | Alto (> 40%) | > 1.0 | Negativo alto | La peor combinación: el modelo se equivoca mucho y siempre en la misma dirección. Los históricos de demanda corresponden a comportamientos sin patrón alguno. Es necesario soportar las decisiones en los intervalos de pronóstico o colaborar |
Modelo sin valor agregado | Moderado | ≈ 1.0 | Variable | El modelo no aporta más que el método naive. Vale la pena revisar si los datos de entrada son suficientes o si el producto tiene patrones que el modelo no captura |
Revisen primero el WMAPE global para tener una foto rápida de la precisión general del pronóstico.
Consulten el Bias para entender si los errores están cargados hacia un lado. Un Bias alto es más accionable que un WMAPE alto porque indica una dirección clara de ajuste.
Usen el MASE cuando necesiten comparar la calidad del pronóstico entre productos con patrones de demanda muy distintos o cuando quieran justificar el valor del modelo frente a métodos más simples.
Analicen las métricas por categoría, por ubicación y por periodo, no solo el agregado general. Los promedios pueden esconder problemas específicos en segmentos del portafolio.
Combinen la lectura de las tres métricas para llegar a diagnósticos completos antes de tomar decisiones de ajuste.
