El “A mí me funciona” y la falacia de la regresión a la media.

Una ciudad, harta de salir en los periódicos como una de las localidades con mayor número de accidentes de tráfico, decide buscar una solución urgente. Para ello convoca un concurso en el que se seleccionan cuatro proyectos. El que parece más prometedor consiste en la colocación de cámaras de tráfico disuasorias. La metodología es simple. Se realiza una estadística para identificar los puntos en los que el número de accidentes durante el pasado trimestre fue muy superior a la media. Se detectan unos 50 puntos. Unos metros por delante de esos “puntos negros”, se colocan cámaras bien visibles. La pretensión es que la amenaza de la multa disuada a los conductores de apretar el acelerador. El primer trimestre de prueba arroja un resultado excelente: se ha reducido la siniestralidad en todos y cada uno de esos puntos, siendo la reducción de un 36%. El alcalde da el visto bueno al proyecto, se firma el contrato y se amplía el presupuesto, ya que la efectividad se ha visto corroborada por los datos.

Todo realmente muy lógico y razonable ¿verdad? ¿O se está incurriendo en una falacia? Podéis releer y repensar el párrafo de arriba antes de seguir.

En el párrafo superior hay una falacia...
En el párrafo superior hay una falacia…

Pues bien: podría ser que las cámaras de tráfico realmente sean efectivas y hayan colaborado en ese 36% de reducción. Pero también es cierto que los resultados se podrían explicar por pura mediación del azar. Y ahora muchos dirán… es cierto que por azar, una cierta variación en el número de accidentes es posible. Pero ese azar se contrarrestrará naturalmente debido a que hemos escogido un alto número de puntos. En algunos puntos de esos 50 la siniestralidad subirá y en otros bajará, y en total el azar se compensará. Suena lógico, pero estamos pasando por alto un detalle muy importante.

La clave para detectar falacia, para los que aún no hayáis podido descubrirla, está en la selección de los puntos. Es fácil pasarla por alto, habrá mucha gente que no la haya detectado incluso sabiendo que había una falacia en el razonamiento, lo cual da una idea de lo fácil que es incurrir en ella.

Vamos a explicarla: Imaginemos que dividimos una red de carreteras por tramos. Y para simplificar el razonamiento, imaginemos que todos los tramos son a priori igual de peligrosos. Calculamos la media de accidentes con los datos de un trimestre y resulta ser de 30 accidentes por tramo. Si analizamos la curva de la probabilidad, vemos que tiene la esperable forma de campana de Gauss, donde la mayoría de tramos se acercan a esa media de 30 accidentes, y una minoría de tramos alejada del centro de la gráfica contiene valores extremos. Por ejemplo el tramo A tiene 5 accidentes y el tramo B, 60 accidentes, ambos siendo casos extremos. Recordemos que hemos supuesto que todos los tramos son igual de peligrosos, así que esa variación sería fruto exclusivo del azar y no de la peligrosidad del tramo concreto.

Y ahi viene la clave para entender la falacia. En este experimento mental nuestro, ¿cuál creéis que será la progresión de los accidentes en los tramos A y B en futuros trimestres? Lo más probable es que se dé un fenómeno de regresión a la media, así que el tramo A probablemente aumente la siniestralidad hasta acercarse a los 30 accidentes de media y el tramo B reduzca la siniestralidad por el mismo motivo. Poniendo ejemplos sencillos, si un día hace una temperatura récord de 40 grados, lo más probable es que el día siguiente bajen las temperaturas. Si en nuestro día de buena suerte en las tragaperras ganamos una cantidad anormalmente elevada, lo más probable es que mañana ganemos una cantidad inferior.

¿Y qué ha hecho el equipo del proyecto ganador? ¡Seleccionar todos los tramos B de nuestro ejemplo! Han seleccionado los puntos más extremos de la gráfica de la campana de Gauss, los que tienen más probabilidad de reducirse por el efecto de la regresión a la media. Es verdad que en nuestro experimento mental se da la situación anormal de que todos los tramos tienen igual peligrosidad, pero sirve para detectar la falacia que consiste en ignorar el papel de la regresión a la media.

Aclaración: es fácil confundir la regresión a la media con la “falacia del jugador”. La falacia del jugador consiste en pensar que si una moneda se lanza diez veces y sale cara, la probabilidad de que salga cruz en la siguiente tirada es mayor del 50%, lo cual es falso. Prefiero no explicar la diferencia entre ambas aquí por temas de espacio.

¿Y esto qué tiene que ver con el “A mí me funciona”?

Los escépticos tienen que lidiar mucho con el pseudoargumento de “A mí me funciona” cuando se habla de pseudomedicinas, tales como la homeopatía, las flores de Bach, etc. Una buena réplica es hablarles del efecto placebo. Pero a esta réplica habitual se le podría añadir la falacia de la regresión a la media, pues se aplica muchísimo a estos casos.

Gran cantidad de enfermedades son autolimitantes, es decir, que se resuelven espontáneamente. Un catarro típicamente tiene un inicio con síntomas débiles, que se agudizan, para luego al cabo de unos días espontáneamente debilitarse y finalmente remitir totalmente. Otras muchas enfermedades cursan en brotes, como puede ser un dolor de espalda, que viene y se va. Ambos tipos de enfermedades son ejemplos perfectos para crear falacias de regresiones a la media. Una persona enferma de catarro, ve como sus síntomas empeoran, y precisamente en los días de máximo malestar acude a algún especialista (en medicina o en timar a la gente) y ve como en los días siguientes tiende a mejorar, atribuyendo la mejoría a la intervención. Es un ejemplo claro de falacia de regresión a la media: se toma como referencia el caso extremo, susceptible de regresar a la media en un breve periodo de tiempo.

Este artículo nos lo envía Antonio S. Licenciado en Psicología. Antonio ya había colaborado anteriormente en Naukas con su artículo “Correlación no implica causalidad“.

Bibliografía: “Mala ciencia” de Goldacre y “El tigre que no está” de Blastland y Dilnot.


24 Comentarios

Participa Suscríbete

reilly81reilly81

Qué rabia me da que bajo el título de “medicina alternativa” se aprovechen de los pobres ingenuos que están desesperados por curarse y creerse lo que sea. Por culpa de todos esos trileros de la salud quizás estén perdiendo credibilidad métodos alternativos que realmente funcionen.

En cualquier caso ojito con las medicinas alternativas…
http://trtrcamp.tumblr.com/post/80188728319/164

AlbertoAlberto

“…quizás estén perdiendo credibilidad métodos alternativos que realmente funcionen”. Aun compartiendo el sentido general de tu comentario, matizar que los “métodos alternativos” no funcionan. Hay medicina, y cosas que no son medicina. Y la medicina comprende los métodos que funcionan, lo “alternativo” lleva implícito en su nombre que no funciona. La medicina “alternativa” que funciona es simplemente medicina, pierde la “alternatividad”, es medicina que avanza, que va incluyendo nuevas terapias.

gabrielgabriel

En el experimento mental funciona la regresión a la media. Pero en la vida real? Cuando se identifican los 50 puntos más peligrosos se asume que son realmente los más peligrosos, así que no se espera que regresen a la media. El problema es no tener un grupo control?

nicknick

Yo no me creo la homeopatía por razones que no hace falta explicar. La ciudad en la que vivo es un paraíso de homeópatas. Está tan socialmente aceptada que no hay farmacia en la que no te la ofrezcan como alternativa y los nº de telefono de los medicos que se dedican a ella corren por las agendas de las madres.
El caso es que siendo mi hija todavía casi un bebé, se mareaba en el coche como es preceptivo. En una de esas farmacias ofrecieron a su madre un remedio homeopático contra el mareo infantil. Oiga! funcionaba! pudimos viajar sin olor a vómito.
La niña no hablaba aún, por lo que el efecto placebo no podía actuar.

ahí lo dejo

pacopaco

¿Cómo que no podía actuar el efecto placebo? Eso es uno de los argumentos que se usa desde la homeopatía sin pensar lo que se dice.Lo mismo pasa con los animales ¿cómo que las mascotas no sufren efecto placebo? Todos los experimentos muestran que tanto a animales,como a bebes y niños les afecta el efecto placebo. En esta web tienes algunas reseñas,usa el buscador. Me llama la atención ese argumento porque,a simple vista, no hay nada más sugestionable que un bebé por la actitud de sus padres, o un niño(que después de un piñazo de campeonato se “cura” con un ¡Cura sana…!) o una mascota con los cariños del amo.

Emilio MolinaEmilio Molina

El efecto placebo funciona en bebés e incluso en animales cuando han sido sometidos previamente a “manipulaciones” que les han hecho sentirse mejor, por lo que sus cerebros generan el placebo al relacionar las manipulaciones con la expectativa de sentirse mejor (te dejo de deberes buscar las fuentes, estoy perezoso hoy).

Aparte de eso, yo me he mareado en coche toda mi infancia. A veces bastaba parar un poco, cambiar de posición o (mi truco favorito, que ¡a mí me funcionaba!) sacar la punta de los dedos por la ventanilla.

A todo esto, yo entraba a comentar que en un curso online de francés (estoy viviendo en Francia desde hace poco y aquí no hay farmacia sin homeopatía, remedios naturales y psicopatías de todos los calibres) había un diálogo en la sección “en el médico”. Era así de irrisorio (traduzco al castellano de memoria):
-Doctor, tengo algunas molestias estomacales, con algo de diarrea y vómitos. ¿Puede recetarme algo?
-Claro que sí, aquí tiene este medicamento homeopático. Tómeselo y en unos cuantos días se encontrará usted mejor.
-Y, ¿no tendrá efectos secundarios?
-En absoluto. Es medicina natural.

(crí, crí, crí, bola del desierto rodando…)

El tema de la regresión a la media y otros muchos problemas cognitivos del estilo están muy estupendamente contados (sin desmerecer esta entrada, que me ha encantado) en “How do we know what it isn’t so”, de Thomas Gilovich. Muy recomendable.

----

A mi me pasó algo similar. En lugar de homeopatía me dieron un puñadito de ositos de gominola porque “son una nueva marca de medicinas especial para niños que son como los ositos de las chucherías”

Mano de santo oiga. Mi hijo es aún muy pequeño pero como llegado el caso funcione habré mejorado los resultados de los ositos un100%

TheTouristTheTourist

Mi sobrino, siendo bebe también vomitaba en el automóvil, hasta que un día ya no lo hizo mas.

Y no le dimos nada.

PabloPablo

Después de leer el caso planteado, efectivamente, no supe cuál era el fallo. Pero tengo la impresión de que estás incurriendo en una falacia también.
No es hasta que empiezas a resolverlo que planteas que “imaginemos que todos los tramos son igual de peligrosos”.

Si no me dicen que estamos hablando de un mundo puramente aleatorio yo voy a tomar siempre mi punto de vista como partida, y creo que es lo que se espera del lector en estos artículos, que actúe como siempre para al final ser sorprendido, como en un truco de magia, descubriendo que lo que da por hecho no siempre es correcto.
Pero no vale cambiar las reglas a medio partido.
Dices que que la clave está en la selecciónd de los puntos; en un mundo no puramente aleatorio y con un método que actúa sólo en puntos concretos ¿qué puntos esperas que se escojan si no los de mayor siniestralidad?

Igualmente gracias por el texto y espero haberme quedado con la moraleja estadística. Nunca hay que dar todo por sentado y estos artículos ayudan a estar en guardia.
Un saludo

Emilio MolinaEmilio Molina

Pablo, el mundo puede ser bastante aleatorio, pero hay enfermedades cuyo curso común es empezar a encontrarse mal, tener un “bajón”, y poco a poco recuperarte. Si te tomas un medicamento (o cualquier chuche cara) en el momento de bajón, vas a asociar (erróneamente o no) que te estás poniendo mejor por lo que te has tomado, sin darte cuenta de que, quizá, te estarías poniendo mejor aunque no te hubieras tomado nada, o incluso a pesar de lo que te estás tomando.

Hay otros ejemplos como la puntuación de los estudiantes en los exámenes (tras una notaza es más fácil que vaya una nota que no sea tan buena, o al contrario, tras un 0 redondo, es más probable sacar una nota más “normal”).

Por eso, si te pones una piedra de playa en la cabeza después de haber sacado un 0 en un examen, no te sorprendas de sus poderes si en el siguiente examen tienes un 2, un 3, o un 5. Es de lo que trata esta entrada: un experimento que valide o invalide una propuesta ha de hacerse teniendo muy en cuenta el factor del retorno a la media.

usuariousuario

Un punto negro es un tramo de la red de carreteras en el que se produce un gran número de accidentes de tráfico cada año. Estadísticamente superior a la media por efecto de las características propias de ese tramo, no por un error de medida al azar. Esto es, ese punto negro tiene una medida de número de accidentes superior a la media, cada vez que se mide.

Dejo esto claro, porque leyendo tu artículo y viendo el segundo ejemplo del catarro, me parece mucho más afortunado que el primero, que creo que es un ejemplo equivocado y no ayuda a aclarar el mensaje general del artículo, con el que estoy de acuerdo.

MmonchiMmonchi

Llevas razón, pero el enunciado aclara que se han tomado los puntos de mayor siniestralidad de un trimestre. Esos no tienen por qué ser puntos negros, en los que se toman periodos largos.

A mí me parece que explica muy bien la falacia.

AlbertoAlberto

La asumpción de que todos los tramos tienen igual peligrosidad es irreal. Si el tramo B tiene más accidentes, es casi seguro que es porqué es realmente más peligroso, no porqué se encuentra a un extremo de la gaussiana y regresará a la media.

LeandroTOLeandroTO

Macho, es un ejemplo en el que se inventa la metodología del estudio. No es un estudio real, solo ejemplifico la falacia. Evidentemente un estudio bien hecho no será tan simple. ¿Quieres que cojamos un estudio estadistico de verdad donde se de el caso para que toda la gente que no sabe de estadistica acabe por no comprender la falacia o simplemente no acabe de leer el articulo?

Creo que deberías distinguir cual es la intención del artículo. No intenta demostrar la incompetencia de nuestras instituciones a la hora de realizar un estudio de siniestralidad. Sino ejemplificar de una forma clara (no tiene porque ser con datos reales) en que consiste esa falacia.

Emilio MolinaEmilio Molina

Bien, pues supón que para ese mismo tramo a lo largo del año, de enero a junio ha habido 50 accidentes, de junio a septiembre 150, octubre y noviembre 50 y diciembre 100. Por los desplazamientos de vacaciones y demás, vaya. Y que hacemos la prueba de nuestro fantástico sistema tomando como referencia los 150 accidentes de septiembre. ¡En octubre podríamos presentar a los medios la fantástica caída de la cifra de accidentes al 30%!

¿Mejor?

Aprovecho el comentario para recomendar moderación en la velocidad, abstención con el alcohol, y llevar siempre el cinturón de seguridad puesto, además de evitar las distracciones.

Ramiro

Pero quizás el engaño mas grande, aun si el sistema funcionara y no fuera falaz, es que todos estos métodos no solucionan el problema. Pueden poner (en el caso de accidentes de tránsito): cámaras, mas policía, dispositivos de reducción de velocidad, sensores, etc que el problema seguirá siendo el mismo: la educación del conductor. Si no se solucionan las causas y factores que producen conductores peligrosos el problema mutará a otra cosa, pero seguirá sin solucionarse.

NaNNaN

No entiendo la parte:

Dividimos una red de carreteras por tramos a priori igual de peligrosos. Calculamos la media de accidentes de un trimestre y es de 30 accidentes por tramo. La curva de la probabilidad es una campana de Gauss de media 30 accidentes.

¿Por qué? Dividir la red de carreteras en tramos “igual de peligrosos” es dividir un dado en caras equiprobables, un accidente equivale a tirar el dado. Si tiro un dado de 10 caras 300 veces y la media de veces que aparece cada cara será 30. Lógicamente hay dispersion en el número de caras que aparece, pero no es una Gaussiana.

Un saludo

carloscarlos

Pues a lo mejor algo se me escapa, pero en el caso que se explica yo veo “la falacia del jugador”.

Emilio MolinaEmilio Molina

En la falacia del jugador, uno piensa que las probabilidades de algo van a cambiar de acuerdo con resultados anteriores, aunque se trate de sucesos independientes.

Aquí el problema es que estamos hablando de tomar como referencia probabilidades en los extremos de la curva, usando luego la observación de que las siguientes observaciones están más “en la media” para validar o invalidar una propuesta.

DarylDaryl

Pillaito por los pelos el ejemplo inicial. Más bien parece el típico chiste de fisicos ¡imaginemos que todas la vacas son redondas! o el argumentario del alcade-concejal corrupto para darle la concesión a la empresa amiga.

Ni como experimento mental vale puesto que parte de muchos “trucos” parevios: estadisticas de un solo trimestre en vez de años, causa única -exceso de velocidad- excluyendo otras como baches, poca visibilidad o mala señalización, pero como concepto puede valer.

El problema esta en las otras explicaciónes como atribuir determinado resultado al “efecto placebo”. Es cierta, pero es una coletilla demasiado facil y tan difusa que no termina por ser un argumento consistente contra el maguferio.

El efecto placebo es eso, un efecto, una consecuencia, un posteriori, con altas dosis de aleatoriedad. Sabemos que se da pero se nos escurre entre los dedos.

Más o menos podemos saber a priori que porcentaje de exito puede tener un calmante de dolor conocido pero no sabemos cual será el exito de la pastilla rellena de harina de maiz : depende de quien lo administre, de su empatia, simpatia, facciones o de la milonga que cuentes (¡es usado en la clinica Mayo! o para los que Mayo es el mes de las flores ¡es usado en los hospitales americanos!).

Incluso la misma medicación real hace más efecto a determinados pacientes si la enfermera van con una sonrisa en la cara o el enfermero se parece a Crhistian Galvez que cuando son administradas por gente escapada de la banda de Dillinger. Todavia no estan bien comprendidos todos los mecanismos psicológicos y neurologicos implicados y cual es el “interruptor” que los activa.

Y es este desconocimiento junto a la fuerte aleatoriada es la que hace que no podamos meter el efecto placebo en un frasco y regular su aplicación.

Pere Vilás

Una falacia es algo falso con apariencia de verdadero. Encuentro el ejemplo un poco rebuscado ya que el lector en principio no puede conocer la bondad de la muestra y por lo tanto, no puede descubrir el argumento falaz.
De todas formas, cuando hablamos de medias siempre tenemos que dar el dato de dispersión precisamente para evitar situaciones como esta.
Te animo a seguir con los artículos de estadística. Saludos.

Emilio MolinaEmilio Molina

Deberías firmar para la campaña AllTrials promovida por gente como Goldacre para que las farmacéuticas publiquen los resultados completos de sus ensayos médicos y evitar ese tipo de injerencias que nos perjudican a todos: http://www.alltrials.net/

Aparte de eso, es una lástima que la mayoría del corpus de investigaciones desmientan que la homeopatía funcione, por mucho empeño en que se ponga en que no es así. Hace décadas que se viene esperando a la validación por parte de estudios independientes y sin conflicto de intereses del funcionamiento de la homeopatía (no del placebo, que está claro que funciona y muy bien). Aún así, incluso sin pruebas de que sea efectiva más allá del placebo (y con gran número de evidencias en sentido contrario), les ha faltado tiempo para comercializarla “y seguir haciendo ensayos, a ver si eso…”. Al menos, un medicamento no sale a la calle si no pasa ciertos controles de eficacia (y sí, yo también voto para que sean más estrictos y transparentes y no se las arreglen para sacar cualquier cosa que sea mínimamente más efectiva que el placebo o puedan aprovecharse de tendencias como la del retorno a la media).

CocoCoco

La homeopatía va muy bien para la gente sana. Y la acupuntura, y las flores de Bach, y la Bioenergética y un curandero que hay en Sierra Nevada. Pero si tienes una lesión degenerativa, no te la quita ni Dios!

Deja un comentario

Tu email nunca será mostrado o compartido. No olvides rellenar los campos obligatorios.

Obligatorio
Obligatorio
Obligatorio

Puedes usar las siguientes etiquetas y atributos HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>