¿Regalar laptops a los estudiantes aumenta sus calificaciones, su probabilidad de ir a la universidad, o su posterior salario? ¿Es efectivo incentivar a los padres a vacunar a sus hijos a través de pagos condicionados? ¿Se puede reducir la probabilidad de que delincuentes menores de edad violen la ley de nuevo exponiéndolos a experiencias de criminales en prisiones reales? ¿Es más efectivo impulsar programas de promesas de abstinencia o de educación sexual para disminuir los embarazos adolescentes y las enfermedades de transmisión sexual?
Las interrogantes anteriores son preguntas complejas pero muy relevantes, ya que sus respuestas tienen implicaciones sustanciales para la implementación de políticas públicas y privadas. Durante las últimas décadas, frente a situaciones en que el sentido común podría equivocarse y en las que el precio de un error es alto, ha ocurrido un auge en la simple, pero poderosa, práctica de hacer ensayos de control aleatorio (RCT, por sus siglas en inglés).
La premisa de un ensayo de control aleatorio es sencilla. Si decidimos implementar una política pública para el 100% del territorio nacional, nos enfrentamos al problema de que no sabemos qué hubiese pasado en un mundo sin la política. Este mundo alternativo o contrafactual (como se llama en estadísticas) es sumamente importante para evaluar el impacto de una medida. Solamente contrastando un mundo con y sin la política podemos conocer su verdadero impacto.
Aquí entra el ensayo de control aleatorio: Implementemos aleatoriamente la política a cada uno de los municipios del país y luego comparemos el efecto. Si la asignación fue verdaderamente aleatoria, la diferencia en resultados será igual al impacto de la medida.
Un beneficio agregado de los ensayos de control aleatorio es que no hay que tomar un país completo como muestra. Se pueden escoger aleatoriamente 100 escuelas para recibir entrenamiento especial en sus profesores, y luego proceder a medir los resultados. Las conclusiones que de este estudio se derivarían serían igual de sólidas estadísticamente a un estudio de mayor escala, aunque se obtendrían a un precio significativamente menor. Divide et Vinces.
Esta reducción de costos hace posible evaluar, en escenarios pequeños y poco costosos, diversas propuestas de políticas públicas y contrastar sus resultados con la rigurosidad científica que se merece cualquier decisión del Estado que utilice fondos públicos.
La metodología de ensayos de control aleatorio no solamente tiene aplicaciones en el mundo de las políticas públicas, sino también sobre las decisiones de las empresas. Google es conocido por realizar este tipo de pruebas aleatorias: sin que la mayoría de sus usuarios lo sepan, la ventana de resultados que vemos al utilizar Google varía constantemente para evaluar el comportamiento de los usuarios (por color, tamaño de letras, orden de resultados, entre otros elementos). Amazon hace lo mismo, alterando el orden y configuración de su página web para incentivar más compras.
Los supermercados pueden probar la efectividad de cambios en el posicionamiento de los productos en los estantes, así como los bancos pueden probar si un correo, mensaje de texto o una llamada es más efectiva para recordar que se acerca el día de pago de una tarjeta de crédito. Las posibilidades son muchas, y el potencial aumento en la rentabilidad definitivamente alto.
Sobre las preguntas al inicio de este artículo, existe evidencia de que regalar laptops no es tan efectivo como se pensaba, y los pagos condicionados sí aumentan la probabilidad de vacunar a los hijos. Exponer a jóvenes delincuentes a la realidad de los criminales adultos en prisión parecería aumentar su probabilidad de delinquir de nuevo. Finalmente, a pesar de que las promesas de abstinencia son vistas de manera positiva, la experiencia con ensayos de control aleatorio indica que la educación sexual es clave en lograr reducciones en los embarazos y en las enfermedades de transmisión sexual en jóvenes adolescentes.
En este momento es propicio hacer una confesión. Todas las personas que llegaron a este artículo haciendo clic desde un correo recibido por ser parte de nuestro grupo de suscriptores (al que puede suscribirse pulsando aquí), fueron sujetas a un experimento aleatorio. La mitad recibió un correo con características distintas a la otra mitad. Esta segmentación, aunque simple, tiene el potencial de alterar la probabilidad de que alguien tome cinco minutos de su tiempo, haga clic en el link a nuestra página, y aprenda sobre los efectos transformadores de los ensayos de control aleatorio en su vida, su trabajo y su gobierno.
Resultados del experimento:
El resultado de esta prueba de correos con características diferenciadas (en este caso el asunto del correo), es que una de las opciones (título “Divide et Vinces”) generó una tasa de apertura de correos 14% mayor con un 99% de confianza estadística. Aunque la prueba parece simple, su resultado es significativo e importante, y prueba el poder de un ensayo de control aleatorio (el contraste de muestras seleccionadas al azar es incuestionable). En la medida que el Estado y las empresas incorporen estas prácticas en sus procesos de decisión, lograrán mejores y más significativos resultados.
Las interrogantes anteriores son preguntas complejas pero muy relevantes, ya que sus respuestas tienen implicaciones sustanciales para la implementación de políticas públicas y privadas. Durante las últimas décadas, frente a situaciones en que el sentido común podría equivocarse y en las que el precio de un error es alto, ha ocurrido un auge en la simple, pero poderosa, práctica de hacer ensayos de control aleatorio (RCT, por sus siglas en inglés).
La premisa de un ensayo de control aleatorio es sencilla. Si decidimos implementar una política pública para el 100% del territorio nacional, nos enfrentamos al problema de que no sabemos qué hubiese pasado en un mundo sin la política. Este mundo alternativo o contrafactual (como se llama en estadísticas) es sumamente importante para evaluar el impacto de una medida. Solamente contrastando un mundo con y sin la política podemos conocer su verdadero impacto.
Aquí entra el ensayo de control aleatorio: Implementemos aleatoriamente la política a cada uno de los municipios del país y luego comparemos el efecto. Si la asignación fue verdaderamente aleatoria, la diferencia en resultados será igual al impacto de la medida.
Un beneficio agregado de los ensayos de control aleatorio es que no hay que tomar un país completo como muestra. Se pueden escoger aleatoriamente 100 escuelas para recibir entrenamiento especial en sus profesores, y luego proceder a medir los resultados. Las conclusiones que de este estudio se derivarían serían igual de sólidas estadísticamente a un estudio de mayor escala, aunque se obtendrían a un precio significativamente menor. Divide et Vinces.
Esta reducción de costos hace posible evaluar, en escenarios pequeños y poco costosos, diversas propuestas de políticas públicas y contrastar sus resultados con la rigurosidad científica que se merece cualquier decisión del Estado que utilice fondos públicos.
La metodología de ensayos de control aleatorio no solamente tiene aplicaciones en el mundo de las políticas públicas, sino también sobre las decisiones de las empresas. Google es conocido por realizar este tipo de pruebas aleatorias: sin que la mayoría de sus usuarios lo sepan, la ventana de resultados que vemos al utilizar Google varía constantemente para evaluar el comportamiento de los usuarios (por color, tamaño de letras, orden de resultados, entre otros elementos). Amazon hace lo mismo, alterando el orden y configuración de su página web para incentivar más compras.
Los supermercados pueden probar la efectividad de cambios en el posicionamiento de los productos en los estantes, así como los bancos pueden probar si un correo, mensaje de texto o una llamada es más efectiva para recordar que se acerca el día de pago de una tarjeta de crédito. Las posibilidades son muchas, y el potencial aumento en la rentabilidad definitivamente alto.
Sobre las preguntas al inicio de este artículo, existe evidencia de que regalar laptops no es tan efectivo como se pensaba, y los pagos condicionados sí aumentan la probabilidad de vacunar a los hijos. Exponer a jóvenes delincuentes a la realidad de los criminales adultos en prisión parecería aumentar su probabilidad de delinquir de nuevo. Finalmente, a pesar de que las promesas de abstinencia son vistas de manera positiva, la experiencia con ensayos de control aleatorio indica que la educación sexual es clave en lograr reducciones en los embarazos y en las enfermedades de transmisión sexual en jóvenes adolescentes.
En este momento es propicio hacer una confesión. Todas las personas que llegaron a este artículo haciendo clic desde un correo recibido por ser parte de nuestro grupo de suscriptores (al que puede suscribirse pulsando aquí), fueron sujetas a un experimento aleatorio. La mitad recibió un correo con características distintas a la otra mitad. Esta segmentación, aunque simple, tiene el potencial de alterar la probabilidad de que alguien tome cinco minutos de su tiempo, haga clic en el link a nuestra página, y aprenda sobre los efectos transformadores de los ensayos de control aleatorio en su vida, su trabajo y su gobierno.
Resultados del experimento:
El resultado de esta prueba de correos con características diferenciadas (en este caso el asunto del correo), es que una de las opciones (título “Divide et Vinces”) generó una tasa de apertura de correos 14% mayor con un 99% de confianza estadística. Aunque la prueba parece simple, su resultado es significativo e importante, y prueba el poder de un ensayo de control aleatorio (el contraste de muestras seleccionadas al azar es incuestionable). En la medida que el Estado y las empresas incorporen estas prácticas en sus procesos de decisión, lograrán mejores y más significativos resultados.