¿Existe alguna investigación/estudio/encuesta/… que haya intentado estimar cuántos resúmenes de artículos leen los investigadores médicos cuando preparan una revisión sistemática clínica?
Aunque esto sea sólo una respuesta parcial, podría ayudar a “comprender mejor el proceso de creación de revisiones sistemáticas”, como se indica en los comentarios.
Una respuesta obvia a dar aquí es: Hay que leer todos los resúmenes, una vez que los artículos aparecen como “positivos” dentro de la estrategia de (re)búsqueda de la literatura. Después de todo, hay que evaluar su inclusión o exclusión.
Si la pregunta original pretende preguntar por el número medio de estudios realmente utilizados, es decir, un número duro de trabajos incluidos en la revisión, entonces la respuesta es bastante diferente:
De Terri Pigott: Advances in Meta-Analysis, Springer, 2012:
Otra pregunta común es: ¿Cuántos estudios necesito para realizar un meta-análisis? Aunque mis colegas y yo hemos respondido a menudo “dos” Valentine et al. 2010 ), la respuesta más completa reside en la comprensión de la potencia de las pruebas estadísticas en el meta-análisis. En este libro adopto el enfoque de que la potencia de las pruebas en el metaanálisis, al igual que la potencia de cualquier prueba estadística, debe calcularse a priori, utilizando supuestos sobre el tamaño de un efecto importante en un contexto determinado, y los tamaños de muestra típicos utilizados en un campo determinado. Una vez más, un conocimiento profundo de la literatura de investigación es fundamental para que un revisor pueda hacer suposiciones razonables sobre los parámetros necesarios para la potencia.
Por lo tanto, depende de lo bien estudiado e investigado que esté un campo o una cuestión de investigación para seleccionar los artículos revisados. Los temas muy de moda y con controversia tendrán cientos o miles para elegir, los nichos de interés, los temas poco rentables quizás sólo unos pocos. Solicitar una estadística en todos estos campos de revisiones sistemáticas clínicas es totalmente posible. Pero uno de los problemas asociados a los meta-análisis es el llamado problema de la basura en la basura: una empresa de este tipo -de no sólo “estimar cuántos resúmenes de artículos leen los investigadores médicos cuando preparan una revisión sistemática clínica…” sino incluso calcular con precisión ese número- podría correr el peligro de producir cifras sin sentido, sólo útiles para los periodistas o los políticos.
Un artículo que proporciona precisamente un meta-meta-análisis de este tipo sí que enumera el número solicitado en la pregunta para el subcampo de la psicología: 51 (rango 5-81). (doi: 10.1080/0027317100368018 [ A Meta-Meta-Analysis: Revisión empírica de la potencia estadística, las tasas de error de tipo I, los tamaños de los efectos y la selección de modelos de los metanálisis publicados en psicología. (https://www.ncbi.nlm.nih.gov/pubmed/26760285)) Pero también pone de manifiesto los problemas inherentes a dicho enfoque de forma bastante acertada:
- Tamaños de los efectos y heterogeneidad en el metaanálisis
- Elección del modelo: Los modelos de efectos fijos se utilizaron con mucha más frecuencia que los modelos de efectos aleatorios, a menudo sin declarar abiertamente que se estaba utilizando dicho modelo. Por otro lado, los modelos de efectos aleatorios se utilizaron con mayor frecuencia a lo largo del tiempo. Los estudios futuros deberían implementar de forma más rutinaria los modelos de efectos aleatorios, dada su mayor validez desde el punto de vista de la inferencia.
Por último, es importante tener en cuenta que el uso de modelos de efectos aleatorios reducirá la potencia de las pruebas de significación en la mayoría de los casos (es decir, cuando la varianza entre estudios es mayor que cero).
De forma más general, podríamos evitar la confianza ciega en las revisiones o en el meta-análisis en general. En la actualidad, el campo de la medicina se esfuerza por reconstruir sus conocimientos sobre una base de evidencia, lo cual es, por supuesto, muy bienvenido. Pero al perseguir este objetivo con una concentración excesivamente confiada en los datos cuantitativos y los modelos matemáticos, un niño en la bañera podría resultar herido. Nombrar, utilizar o simplemente creer en cualquier tipo de “estándar de oro” (o, de forma diversa, incluso de platino) será demasiado en un lado extremo. Esto se representa de la siguiente manera:
El mayor problema de ese cuadro es que “el filtro” está bastante mal definido y regularmente se eligen estudios con mayor poder estadístico o mayor significación para ser incluidos. Aunque parezca lógico al principio, esto viola principios filosóficos, por principio, como el Principio de Carnap de la Evidencia Total “. Este razonamiento mecanicista introduce por tanto su propio conjunto de sesgos sistemáticos.
Para hacer frente a varios de estos peligros, escollos y deficiencias conocidos, la declaración PRISMA es una iniciativa para, al menos, estandarizar los enfoques y documentar de forma transparente el procedimiento elegido para este tipo de análisis.
Más problemas epistemológicos se condensan en Stegenga: "Is meta-analysis the platinum standard of evidence?” (2011):
[…] los meta-análisis no logran restringir adecuadamente las evaluaciones intersubjetivas de las hipótesis. Esto se debe a que las numerosas decisiones que deben tomarse al diseñar y realizar un meta-análisis requieren un juicio personal y experiencia, y permiten que los sesgos personales y la idiosincrasia de los revisores influyan en el resultado del meta-análisis. El fracaso de La objetividad explica, al menos en parte, el fracaso de Constraint: es decir, la subjetividad requerida para el meta-análisis explica cómo múltiples meta-análisis de la misma evidencia primaria pueden llegar a conclusiones contradictorias con respecto a la misma hipótesis. Sin embargo, mi discusión sobre las muchas decisiones particulares que deben tomarse al realizar un meta-análisis sugiere que tales mejoras sólo pueden llegar hasta cierto punto.
Para al menos algunas de estas decisiones, la elección entre las opciones disponibles es totalmente arbitraria; las diversas propuestas para mejorar la transparencia de la información de los meta-análisis son incapaces, en principio, de arbitrar entre estas opciones arbitrarias. En términos más generales, esta réplica de los defensores del meta-análisis -que no deberíamos descartar del todo la técnica- exagera la fuerza de la conclusión que he defendido, que no es que el meta-análisis sea en principio un mal método para amalgamar pruebas, sino que el meta-análisis no debería considerarse el mejor tipo de prueba para evaluar las hipótesis causales en medicina y ciencias sociales. No he argumentado que el meta-análisis no pueda proporcionar ninguna prueba convincente, sino que, en contra de la opinión estándar, he argumentado que el meta-análisis no es el estándar de platino de las pruebas.
