«Si apago esto, ¿dejo de vender?»: pruebas de apagado en lugar de más dashboards

Definición: una prueba de apagado (holdout test o geo holdout) consiste en pausar un canal de marketing en un segmento controlado —una región, un grupo de clientes, un período— y medir el impacto real en las ventas de ese segmento versus un grupo de control donde el canal sigue activo.

Por qué funciona mejor que un modelo

Los modelos de atribución distribuyen crédito según reglas. Las pruebas de apagado miden incrementalidad real: ¿cuánto de lo que vendo se debe a este canal, versus lo que vendería de todas formas?

Si pausas Meta Ads en una ciudad y la facturación de esa ciudad no cambia, Meta no estaba generando ventas incrementales. Estaba capturando compras que habrían ocurrido de todas formas —compradores que ya tenían intención de compra y usaban el anuncio como acceso directo.

Cómo diseñar una prueba de apagado

• Segmento de prueba: una región geográfica, un grupo de códigos postales o un cohort de clientes donde pausas el canal
• Segmento de control: un segmento comparable donde el canal sigue activo en las mismas condiciones
• Duración mínima: 2-4 semanas para absorber la variabilidad natural de la demanda
• Métrica principal: facturación total del segmento de prueba vs. control (no el ROAS de la campaña)

Y tres cosas que invalidan la prueba:

• No pausar el canal para toda la tienda simultáneamente: necesitas un grupo de control
• No hacer la prueba en temporada alta o eventos atípicos (Black Friday, lanzamientos)
• No medir solo las conversiones reportadas por la plataforma: mira la facturación real de Shopify

Qué aprendes con una prueba de apagado

La prueba responde una pregunta que los modelos de atribución no pueden: ¿si dejo de invertir en este canal, cuánto menos vendo? La respuesta puede ser:

• Vendo significativamente menos: el canal tiene impacto incremental real, vale la inversión
• Vendo igual: el canal captura demanda existente pero no la genera, revisar estrategia
• Vendo más: raro pero posible si el canal generaba ruido que afectaba la experiencia

La variante más simple: MER antes y después

Si no tienes capacidad de hacer un holdout geográfico, la versión más simple es pausar el canal y mirar el MER semanal. Si el MER sube con la misma facturación y menos inversión, el canal no era tan incremental como parecía. Si el MER baja porque la facturación cae, el canal sí aportaba.

Esta versión tiene menos rigor estadístico pero es accesible para cualquier equipo sin infraestructura de experimentación.

Qué exigirle a una agencia

Si una agencia gestiona tu inversión publicitaria, estas son las preguntas que deberían poder responder:

• Cruce mensual entre el ROAS reportado y la facturación real de Shopify en el mismo período
• MER por semana, no solo ROAS por campaña
• Al menos una prueba de apagado por semestre para cada canal importante
• Estimación honesta de ventas incrementales vs. ventas capturadas

Y lo que no hay que aceptar:

• No aceptar solo el ROAS de la plataforma como evidencia de resultados
• No comparar el ROAS de diferentes plataformas como si fueran comparables
• No hacer cambios en el presupuesto basados solo en los dashboards de las plataformas

Conclusión

La pregunta “si apago esto, ¿dejo de vender?” es la más honesta que puedes hacerle a tu inversión publicitaria. Y la única forma de responderla con certeza es probarlo. Los modelos de atribución son estimaciones; los experimentos son evidencia.

Para entender el contexto: MER: el número que no te miente da la métrica de referencia para leer los resultados del apagado, y La trampa de los modelos de atribución explica por qué los dashboards solos no son suficientes.