Pruebas A/B sin plataforma: método mínimo

En corporativo se decide por sensación con frecuencia. El asunto de un mail interno, el orden de un formulario, el formato de una reunión, una plantilla nueva o un cambio de proceso. Sin un método, caes en dos extremos: implementas a ciegas y corriges tarde, o creas un comité que no decide nunca. Un A/B test va más allá de la herramienta; es una disciplina: comparas dos alternativas con una métrica y una regla de decisión. Eso puedes hacerlo hoy, con planillas, mensajería y formularios.

Este enfoque mejora la calidad de tus acuerdos y eleva tu práctica de liderazgo. Además, acelera ajustes en iniciativas de gestión del cambio sin sobrecargar al equipo. La promesa no es perfección estadística, es aprender lo suficiente para moverte con seguridad.

Paso 1: métrica única y observable

Empieza por elegir el número que de verdad importa para este experimento. Evita frases bonitas como “más engagement”. Define algo que puedas observar sin ambigüedad. Ejemplos útiles:

• Porcentaje que responde en 24 horas.
• Porcentaje que completa un formulario.
• Tiempo medio para cerrar un caso.
• Porcentaje que llega preparado a la reunión.
• Porcentaje de tareas con dueño y fecha al final de la semana.

Aplica una regla frugal: una sola métrica por experimento. Si eliges tres, confundes el aprendizaje. La métrica debe poder registrarse con trazabilidad en una planilla o extraerse de tus herramientas actuales. Escribe la definición exacta antes de empezar. Indica ventana temporal, población incluida y cómo se cuenta cada caso.

Sugerencia práctica: crea una fila de “definiciones” en tu hoja. Allí detalla nombre de la métrica, fórmula, fuente de datos y frecuencia de captura. Así evitas discusiones semánticas cuando lleguen los resultados.

Paso 2: cambia una sola cosa relevante

La comparación A frente a B debe enfocarse en una diferencia concreta. Si mueves veinte variables al mismo tiempo, el resultado no te dirá qué funcionó. Ideas para aislar una modificación con impacto:

• Asunto del mail: claro y directo versus uno que apela a curiosidad.
• Llamado a la acción: uno directo versus uno con contexto previo.
• Orden de campos en un formulario.
• Plantilla de respuesta corta versus extensa.
• Reunión con agenda enviada el día anterior versus sin agenda previa.

Describe la hipótesis en una frase simple: “Creemos que un asunto claro eleva la respuesta en 24 horas”. Eso te obliga a ser específico. Documenta qué versión es A y cuál es B. Guarda los textos o capturas. Si tu hipótesis gana, podrás adoptarla y escalarla. Si pierde, aprenderás algo concreto para la próxima iteración.

Consejo: evita cambios cosméticos y apunta a una palanca que afecte la conducta clave. Si la métrica es “porcentaje de completitud”, el orden de campos suele pesar más que el color del botón.

Paso 3: separa grupos de forma simple

Necesitas dividir la muestra sin sesgos obvios. No asignes a dedo. Tres métodos prácticos cubren la mayoría de escenarios:

1. Split por lista

   • Toma la lista de destinatarios y separa por par e impar, o por apellido A–M y N–Z.
   • Es rápido y razonable. No es perfecto, pero corta el favoritismo.

2. Split por tiempo

   • Semana 1 aplicas la variante A, semana 2 aplicas la B.
   • Mantén todo lo demás lo más constante posible.
   • Riesgo conocido: si el contexto cambia (cierre de mes, feriados, crisis), el test se contamina. Anótalo.

3. Split por equipo o célula

   • Equipo 1 usa A, equipo 2 usa B durante dos semanas.
   • Los equipos pueden diferir en habilidad. Compensa alternando las variantes en un segundo ciclo si es posible.

Escribe cómo separaste. Guarda la lista usada o el criterio. Si te cuestionan el resultado, tendrás respaldo del proceso, no solo del número final.

Paso 4: decide con umbrales antes de medir

Aquí fallan la mayoría. Define la regla de decisión antes de mirar los datos. Establece un umbral que evite que el “me gusta más” mande. Ejemplos útiles:

• Si B mejora al menos 10 por ciento la tasa de respuesta, adoptamos B.
• Si la diferencia es menor a 5 por ciento, preferimos la opción más simple de operar.
• Si empeora el tiempo de ciclo, descartamos la variante automáticamente.

Sé explícito con los empates, las diferencias pequeñas y los efectos secundarios. Si la variante que sube respuestas empeora el tiempo de cierre, decide cuál métrica priorizas en este experimento. Escribe tu regla en la planilla, en la primera fila. Comparte esa regla con las personas que participan. Eso alinea expectativas y limpia la conversación.

Medición práctica y errores a evitar

Puedes medir sin plataforma especializada si cuidas la trazabilidad. Cuatro escenarios típicos y cómo instrumentarlos:

• Email
  • Envía dos versiones a listas distintas (según tu split). Mide respuestas en 24 horas. Si tu herramienta permite clicks, regístralos. Si no, cuenta respuestas manualmente.
• Mensajería (WhatsApp, Teams, Slack)
  • Publica dos mensajes en grupos similares. Cuenta respuestas o reacciones dentro del plazo definido.
• Formulario
  • Genera dos enlaces separados (A y B) al mismo formulario con orden de campos distinto. Compara la tasa de completitud.
• Proceso operativo
  • Lleva una planilla con tres columnas: fecha, variante (A o B), resultado de la métrica. Agrega una cuarta columna para notas de contexto (feriados, caídas de sistema).

Errores comunes que distorsionan el aprendizaje:

• Cambiar la variante a mitad de camino por ansiedad.
• Medir muy pocos casos y cantar victoria por dos respuestas de diferencia.
• Testear en un contexto agitado que introduce ruido fuerte.
• No documentar qué cambiaste, y después olvidar por qué ganó una opción.

Cómo evitarlos:

• Fija un tamaño mínimo de observaciones antes de concluir.
• Bloquea el calendario de la prueba y evita solaparla con campañas grandes.
• Usa una bitácora breve por experimento: objetivo, métrica, hipótesis, split, regla de decisión, resultados, decisión tomada, próximos pasos.

Cuando cierras el ciclo, haz un pequeño resumen y compártelo con el equipo. Refuerzas el hábito de decidir con evidencia y nutres tu biblioteca de aprendizajes. Eso fortalece tu práctica de liderazgo y da lenguaje común para futuros cambios en tu organización de cambio.

Ponte en marcha esta semana con tres movimientos concretos:

1. Elige un punto de fricción real. Piensa en un formulario largo, un mail que nadie responde, una plantilla confusa o una reunión improductiva.
2. Diseña A y B cambiando una sola cosa y define una métrica única. Escribe tu regla de decisión con umbrales claros.
3. Corre el test con un split simple por siete días. Par e impar funciona. Al final, decide según la regla que fijaste. Documenta y comparte.