Antes de citar un estudio querido, realiza esta autopsia de cinco puntos

Algunos hallazgos sobreviven porque son verdaderos. Otros sobreviven porque son convenientes. La diferencia importa cuando un resultado ya ha entrado en tu plan de estudios, en las suposiciones operativas de tu equipo o en tu red de citas. Un estudio querido puede sentirse como infraestructura: una vez que se enseña, se cita y se reutiliza, cuestionarlo cuesta tiempo, credibilidad y comodidad. Ese es exactamente el momento en que se necesita una autopsia.

Un artículo de Psychological Science informó de un fracaso en la replicación del Estudio 2 del influyente artículo sobre procrastinación/plazos de Ariely y Wertenbroch. El artículo original había sido ampliamente utilizado y citado, con más de 2.100 citas en Google Scholar y su uso como lectura obligatoria en cursos de economía y psicología

El hallazgo era intuitivo: los plazos pueden cambiar el comportamiento. También era ampliamente útil: los gestores, estudiantes y profesores podían usarlo para estructurar el trabajo. La intuición no es prueba. La utilidad no es prueba. Un resultado puede ser valioso en la práctica y, aun así, basarse en datos que no sobrevivirían a una inspección cuidadosa.

Lo que encontró la autopsia

Data Colada describió el efecto de los plazos reportado como improbablemente grande, con un Cohen's d de 2,5 para el rendimiento en la corrección de pruebas

Los datos también contenían patrones sospechosos. Data Colada encontró observaciones duplicadas en la condición Last Day Deadline, donde 18 de 20 participantes tenían otro participante con conteos de correcciones idénticos en las tres tareas de corrección de pruebas. No es automáticamente fraude, pero es el tipo de patrón que exige una explicación, y se vuelve mucho más difícil de explicar cuando los datos no son transparentes.

Data Colada concluyó que los datos de los Estudios 1 y 2 habían sido manipulados, y Ariely y Wertenbroch solicitaron la retractación del artículo de Psychological Science mientras el proceso estaba en curso. Esto no es una historia sobre una mala idea. Es una historia sobre una idea útil que fue sostenida por datos que no pudieron resistir el escrutinio.

Autopsia de cinco puntos para un estudio

Antes de citar de nuevo un estudio querido, realiza estas cinco comprobaciones. No son un sustituto de la revisión por pares, pero sí son un sustituto de la nostalgia.

1. ¿Es el tamaño del efecto plausible para el dominio? Pregúntate si la magnitud es coherente con lo que sabes sobre el resultado.
2. ¿Están disponibles los datos brutos, el código y las decisiones de análisis? Un resultado es más fácil de confiar cuando el camino desde las observaciones brutas hasta la afirmación final es visible. Si solo está disponible el artículo, anota esa limitación. Si faltan datos, código o notas de análisis, trata el resultado como provisional, no como canónico.
3. ¿Sobreviven los duplicados, los valores atípicos o los patrones sospechosos a la inspección? Busca valores repetidos, distribuciones imposibles, anomalías a nivel de condición y participantes demasiado similares para ser creíbles. No necesitas ser un detective de datos para preguntarte si el patrón tiene una explicación plausible.
4. ¿Lo ha replicado un grupo independiente? La replicación no es una votación. Es una prueba de si el resultado aparece fuera del laboratorio original, la muestra y las decisiones analíticas. Un solo fracaso en la replicación no es una sentencia de muerte, pero es una señal fuerte para frenar.
5. ¿Qué incentivos hicieron difícil cuestionar el resultado? Pregúntate quién se beneficia de que el hallazgo permanezca incuestionado: departamentos, planes de estudio, marcos de gestión, libros populares o las propias reputaciones de los investigadores. Los incentivos no demuestran fraude, pero explican por qué un resultado débil puede convertirse en un muro portante.

Estas comprobaciones son especialmente importantes cuando el estudio ya está integrado en la enseñanza o la práctica. Un artículo canónico puede convertirse en una especie de hecho social. Una vez que es lectura obligatoria, se cita en revisiones o se usa para justificar una política, el coste de cuestionarlo aumenta. Eso no es una razón para dejar de cuestionar. Es una razón para cuestionar con más cuidado.

Qué hacer de manera diferente

Si has citado, enseñado o actuado sobre un estudio querido, no finjas que la autopsia no era necesaria. Las personas que lo usaron no fueron tontas por confiar en un resultado que parecía plausible y estaba ampliamente respaldado. Para los investigadores, el paso práctico es crear un pequeño expediente de evidencia para cualquier estudio en el que planees apoyarte: tamaño del efecto, disponibilidad de datos, estado de replicación y críticas conocidas. Para los editores, pide a los autores que distingan los hallazgos establecidos de los populares pero controvertidos. Para los gestores, trata un estudio único como un insumo, no como una política. Si un hallazgo es central para una decisión, exige al menos dos líneas independientes de evidencia o una declaración clara de incertidumbre.

Si has citado, enseñado o construido una política de plazos sobre este artículo, márcalo como controvertido, añade una advertencia y exige una segunda línea independiente de evidencia antes de apoyarte en él de nuevo.