Herramienta: AMSTAR - Assessment of Multiple SysTemAtic Reviews. Complementado con SIGN  
Uso: Valorar calidad de revisiones sistemáticas.  ¿Es esta revisión sistemática bien conducida?  
Comentario: Un metaanálisis no es sinónimo de validez, es simplemente una técnica estadística que puede ser bien o mal utilizada.  
Instrucciones: Para cada una de estas preguntas, el instrumento pide que usted indique si la respuesta es positiva, negativa, si no se puede responder (por ejemplo, porque los datos o la claridad con que está expuesta la metodología de la revisión no lo permiten), o si el criterio en cuestión no es aplicable a esta revisión en particular. Más que aplicarlo a la manera de una lista de chequeo, la idea es que usted tenga presentes estos criterios cuando lea una revisión, y en base a ellos se forme una opinión sobre la confiabilidad de la misma. Las preguntas son las siguientes. ¿Hace este estudio esto?
1. ¿Fue un diseño “a priori”?
  La pregunta de investigación y los criterios de inclusión deben ser establecidos antes de iniciar la revisión. El artículo se refiere a una pregunta claramente formulada.  
2. ¿Al menos dos personas seleccionan los estudios y extraen la información?
  Deben existir al menos dos extractores independientes de los datos y un procedimiento para llegar a consenso en caso de que existan desacuerdos. Se ha visto que existe baja correlación en el análisis crítico de estudios publicados, es decir: distintos revisores pueden llegar a diferentes conclusiones sobre la calidad de un estudio. También se ha establecido que el renombre o la respetabilidad de los autores de los estudios primarios o de la revista en que apareció publicado influyen sobre su evaluación. Por estas razones, siempre es deseable que el análisis crítico de los artículos haya sido hecho por dos o más revisores independientes. En la mayoría de las revisiones de buena calidad, este antecedente está consignado en la sección "métodos". Idealmente además, el análisis debiera ser ciego a la identidad de los autores. Este último aspecto se cumple con menos frecuencia.  
3. ¿La estrategia de búsqueda es suficientemente amplia y rigurosa?
  La búsqueda debe realizarse en al menos dos fuentes electrónicas. El informe debe señalar los años que abarcó la búsqueda y las bases de datos utilizadas (ej. EMBASE, MEDLINE, Lilacs). Las palabras clave y términos MeSH deben estar expuestos y cuando sea posible, debe estar disponible la estrategia de búsqueda. Las búsquedas deben ser complementadas con consulta a registros especializados o expertos en el campo de estudio, y por la revisión de las listas de referencias en los estudios encontrados. La literatura gris cuenta como complementario.  
4. ¿El tipo y estado de publicación NO se uso como criterio de inclusión?
  Los autores debieran declarar que ellos buscaron trabajos sin fijarse en el estado de ubicación, el idioma del artículo, etc. Se debe dar SI, por ejemplo si se busco en literatura gris o en trabajos no publicados. SIGLE database. No aplica para metaanálisis prospectivos pues en ellos hay claros criterios de inclusión.  
5. ¿Se provee una lista de los estudios incluidos y excluidos?
  Debe entregarse una lista de los estudios incluidos y excluidos. Considere la correspondencia de los estudios seleccionados con el tema investigado, teniendo presente nuevamente las poblaciones, la exposición o intervención y los desenlaces. Tenga presente además los diseños de investigación utilizados en los estudios primarios: la posibilidad de encontrar resultados contradictorios aumenta si se incluyen estudios de distinto diseño. Lo deseable es que se haya seleccionado los diseños más robustos para investigar el tema en cuestión. Por ejemplo: ensayos clínicos aleatorizados para las intervenciones terapéuticas o preventivas, cohortes prospectivas para tópicos relacionados con factores pronósticos; descartando en general los estudios de diseño más débil.  
6. ¿Se entregan las características de los estudios?
  Debe incluirse en forma completa, en tablas, la información esencial de los estudios originales, tal como el tipo de participantes, las intervenciones y los desenlaces evaluados en cada estudio.  
7. ¿Se evaluó y documentó la calidad científica de los estudios?
  Se deben describir los métodos de evaluación a priori. Existen diversas guías y escalas de puntaje publicadas, que permiten hacer una valoración crítica de los estudios obtenidos de la literatura, identificando en ellos posibles fuentes de sesgos. La mayoría de estas escalas no ha sido validada como instrumento, es decir, no se ha demostrado empíricamente que un determinado puntaje se asocia a un cierto margen de error en los resultados del estudio. Pese a esto, existe un marco teórico sólido y una evidencia suficiente de que la calidad de los estudios influye sobre los resultados, como para avalar su aplicación. Así, constituye un elemento a favor de cualquier revisión, el hecho de que los autores hayan utilizado criterios explícitos de evaluación de la calidad metodológica. Como ejemplo, en estudios sobre terapia: que se haya verificado si se aplicó o no un método de aleatorización, si se hizo enmascaramiento (doble ciego), si se encubrió la asignación de los pacientes a los grupos de tratamiento y control, etc.  
8. ¿Se utilizó adecuadamente la calidad de los estudios en la formulación de conclusiones?
  Los resultados del rigor metodológico y calidad científica deberían considerarse en el análisis y las conclusiones de la revisión, y declararse explícitamente en la formulación de recomendaciones.  
9. ¿Fueron apropiados los métodos para combinar los hallazgos de los estudios?
  Para los resultados agrupados, se debe realizar un test para evaluar su homogeneidad (ejemplo: prueba de Chi cuadrado para homogeneidad, I²), para asegurar que los estudios son combinables. La heterogeneidad en los resultados de los estudios primarios puede explicarse por distintas razones:
- Por efecto del azar (para ello se utilizan los “test de homogeneidad”, que evalúan si las diferencias en los efectos observados entre los distintos estudios difieren mas allá de lo que uno pudiera esperar simplemente por azar)
- Por diferencias en los diseños de investigación, o
- Por variaciones en los componentes básicos del estudio: población (ejemplo: poblaciones de edades distintas), intervención (ejemplo: el fármaco se usó por un tiempo o a una dosis distinta entre un estudio y otro), o en la forma de medir los resultados. La revisión debiera analizar cada uno de estos factores.
Si la heterogeneidad existe, debe utilizarse un modelo de efecto aleatorio y/o debe considerarse la pertinencia clínica de combinarlos (ejemplo: ¿Es prudente (razonable) combinar? O sea, ¿no son peras y manzanas?).
 
10. ¿Se evaluó la probabilidad de sesgo de publicación?
  Una evaluación del sesgo de publicación debe incluir una combinación de apoyos gráficos (tales como “funnel plot”) y/o pruebas estadísticas (ejemplo: test de regresión de Egger). Si bien esto es lo óptimo, sobre todo si uno sospecha que podría haber un cúmulo importante de estudios no publicados en el tema, a los que no se pudo acceder con la búsqueda; en la práctica son pocas las revisiones que lo evalúan formalmente.  
11. ¿Fueron declarados los conflictos de interés?
  Las fuentes de ayuda económica deben estar claramente reconocidas, tanto en la revisión sistemática como en los estudios incluidos en ella. Es importante verificar también que las conclusiones de los autores deriven directamente de los resultados de la revisión, y que no se planteen como ciertas asociaciones que no hayan sido debidamente demostradas, ni que, existiendo suficiente evidencia como para sostenerlas, la magnitud de las mismas sea distorsionada –exagerada por un uso abusivo o poco preciso del lenguaje.  
  AMSTAR:
Referencias: 1. Araujo M. Las revisiones sistemáticas (II) Medwave 2011 Dec;11(12) doi: 10.5867/medwave.2011.12.5273  
  2. Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, Porter AC, Tugwell P, Moher D, Bouter LM. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007 Feb 15;7:10.  
  3. Scottish Intercollegiate Guidelines Network. CRITICAL APPRAISAL: NOTES AND CHECKLISTS. [Internet] http://www.sign.ac.uk/methodology/checklists.html  
Recopilado por: Grupo Reumatología. Universidad Nacional de Colombia. 2015