SciELO - Scientific Electronic Library Online

 
vol.70 issue3 author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Revista da Associacao Paulista de Cirurgioes Dentistas

Print version ISSN 0004-5276

Rev. Assoc. Paul. Cir. Dent. vol.70 n.3 Sao Paulo Jul./Sep. 2016

 

Artigo original (convidado)

 

Avaliação da qualidade dos relatos de revisões sistemáticas publicadas em periódicos nacionais ortodônticos

 

Evaluation of the quality of report of systematic reviews published in Brazilian orthodontic periodicals

 

 

Murilo Fernando Neuppmann FeresI; Carlos Flores-MirII; Maurilo de Mello LemosIII; Marina Guimarães RoscoeIV

 

I Doutor - Professor Universidade Guarulhos
II Doutor - Universidade de Alberta - Canadá
III Doutor - Universidade Guarulhos
IV Doutora - Universidade Guarulhos




Endereço para correspondência

 

 


 

RESUMO

As revisões sistemáticas e meta-análises provêm o maior nível de evidência científica e, por este motivo, é necessário que estes estudos sejam reportados com extremo rigor metodológico. Objetivo: Avaliar a qualidade dos relatos de revisões sistemáticas publicadas em periódicos nacionais da área de Ortodontia. Material e métodos: Por meio do uso da palavra-chave "revisão", e utilização de filtros apropriados, realizaram-se buscas manual e eletrônica por revisões sistemáticas publicadas entre 2000 e 2015 em periódicos ortodônticos brasileiros. Os resultados da busca foram examinados e selecionados, conforme critérios de elegibilidade pré-estabelecidos. A qualidade do relato das revisões selecionadas foi avaliada segundo instrumentos AMSTAR (Assessment of Multiple Systematic Reviews) e PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-analyses). Resultados: A busca deu origem a 267 estudos, dos quais 39 foram incluídos para análise. Foi observado que as falhas mais comuns se relacionaram à ausência de buscas abrangentes, falha no relato da listagem de artigos excluídos e de variáveis de interesse, relato incompleto ou extração inadequada de dados e a não utilização de instrumentos de avaliação de qualidade. A qualidade no relato não esteve associada ao periódico, mas revisões publicadas em inglês parecem demonstrar maior qualidade. Apesar de a qualidade de relato ter melhorado desde 2000, não se nota tendência de evolução ao longo dos últimos anos. Conclusões: A qualidade dos relatos de revisões sistemáticas publicadas em periódicos ortodônticos nacionais pôde ser considerada de baixa a moderada. Por este motivo, estas ainda são passíveis de melhora significativa.

Descritores: ortodontia, revisão sistemática, publicações periódicas.


 

ABSTRACT

Systematic reviews and meta-analyses provide the best scientific evidence. Therefore, it is necessary that these studies be accurately reported. Objective: The aim of this study was to evaluate the quality of the report of systematic reviews published in Brazilian periodicals on Orthodontics. Material and methods: With the use of the key word "review", and appropriate search filters, electronic and manual searches were performed in order to locate systematic reviews that were published between 2000 and 2015 in Brazilian periodicals in Orthodontics. Resultant records were examined and selected, according to pre-defined eligibility criteria. The quality of the reports was evaluated after the application of AMSTAR (Assessment of Multiple Systematic Reviews) and PRISMA (Preferred Reporting Items for Systematic Reviews and Meta -analyses) assessment tools. Results: Initial search resulted in 267 studies, out of which 39 were included for the analysis. It was observed that the most frequent flaws were: non-comprehensive searches, failure to cite excluded studies and the outcomes of interest, incomplete report or inappropriate data extraction, and failure to use quality assessment tools. The overall quality of the report was not associated to the journal of publication, but reviews published in English language seemed to present higher quality. Even though the quality of report improved since 2000, such trend appeared to weaken over the last years. Conclusions: The quality of the report of systematic reviews published in Brazilian periodicals on Orthodontics was considered as sub-optimal. Therefore, these studies are still likely to be significantly improved.

Descriptors: orthodontics, systematic reviews, periodicals.


 

 

RELEVÂNCIA CLÍNICA

A qualidade do relato de revisões sistemáticas em periódicos nacionais ortodônticos deve ser melhorada, tendo em vista a frequente utilização deste tipo de estudo para a tomada de decisões clínicas.

 

INTRODUÇÃO

Nas últimas décadas um novo estilo de estudo bibliográfico, a revisão sistemática (RS), começou a ganhar força entre o meio cientifico, em detrimento da conhecida revisão narrativa da literatura. As revisões narrativas compilam estudos sobre um tópico geral e descrevem a história de seu desenvolvimento, sem necessariamente descrever as estratégias de busca e seleção dessa literatura, sendo eventual a crítica das evidências colhidas.1 Por outro lado, a RS tem como objetivo responder questões sobre um tópico específico, por meio da aplicação de métodos científicos de coleta, análise crítica e síntese dos estudos.2,3 Além disso, ainda temos a meta-análise, que compreende o uso de técnicas estatísticas para integrar os resultados dos estudos colhidos em uma RS2 podendo assim ser chamadas de RSs quantitativas. Nem sempre se justifica o uso de metodologias estatísticas para combinar os dados coletados, sendo então as RSs denominadas, neste caso, de qualitativas. A RS qualitativa faz uma síntese dos estudos selecionados de maneira discursiva, mas considera, na síntese, o uso de critérios previamente validados de qualidade científica atribuídos a cada evidência.3

As RSs, meta-análises, bem como os guias de conduta clínica, originários destas mesmas revisões, provêm o maior nível da evidência científica e devem ser fundamentais fontes na determinação das nossas tomadas de decisões clínicas.4 Além de um delineamento adequado, é necessário que as RSs sejam também reportadas com rigor metodológico,5 para que os leitores possam efetivamente julgar as informações contidas nas mesmas. Por este motivo, alguns instrumentos têm sido desenvolvidos com o intuito de padronizar, melhorar a qualidade do relato e do conteúdo das RSs.6-8 No entanto, há evidências suficientes demonstrando que importantes informações, em geral, são reportadas de maneira inadequada, o que diminui a potencial utilidade das RSs.9-15

Desta forma, o objetivo deste trabalho foi avaliar a qualidade dos relatos de revisões sistemáticas publicadas em periódicos nacionais da área de Ortodontia, tendo em vista que publicações brasileiras nesta área ainda não receberam a devida atenção. Além disso, este estudo visa estabelecer análises relativas à eventual influência de fatores como ano e periódico de publicação na qualidade do relato.

 

MATERIAIS E MÉTODOS

Todos os periódicos nacionais na área de Odontologia foram inicialmente identificados por meio de acesso ao Portal de Revistas em Ciências da Saúde (http://portal.revistas.bvs. br) com a adição dos seguintes filtros ("Assunto": "Odontologia") e ("País de publicação": "Brasil"), presentes no link "Pesquisa avançada".

A lista resultante de periódicos totalizou 128 títulos, dos quais dois autores independentes (MFNF, MGR) selecionaram manualmente todos aqueles periódicos nacionais que tratassem específica e exclusivamente da área de Ortodontia. A partir desta seleção foi criada uma lista de periódicos nacionais, ditos "ortodônticos", com as seguintes informações: título, período de publicação e bases de indexação (Quadro 1). Outras informações, como os endereços eletrônicos, bem como as bibliotecas que disponibilizam as versões impressas ou eletrônicas dos periódicos, foram coletadas com o objetivo de futura consulta e aquisição do material para este e futuros trabalhos similares.

Todos os periódicos listados acima apresentaram indexação na base de dados eletrônica Lilacs (http://lilacs.bvsalud. org), seja esta correspondente ao período total ou parcial de sua publicação. Deste modo, inicialmente foi realizada uma busca abrangente, na base Lilacs, por revisões sistemáticas e meta-análises por meio do uso da palavra-chave "revisão" e dos filtros assunto da revista ("Odontologia") e ano de publicação (2000 a 2015).

Os jornais resultantes da busca manual previamente realizada sobre a lista total de periódicos odontológicos nacionais (Ortodontia, Ortodontia Gaúcha, Jornal Brasileiro de Ortodontia e Ortopedia Facial, Revista Dental Press de Ortodontia e Ortopedia Facial, Revista Clínica de Ortodontia Dental Press, Ortho Science: Orthodontics Science and Practice, Dental Press Journal of Orthodontics) também foram adicionados como um dos filtros ("Revista") na referida busca.

A busca foi realizada com a utilização dos filtros acima destacados. Como forma de se certificar que nenhum outro periódico nacional ortodôntico deixasse de ser considerado, a mesma busca foi repetida, mas, desta vez, sem a adição de cada periódico, mas com a inclusão de um novo filtro. A busca filtrada pelo "Assunto da Revista" ("Ortodontia"), deu origem aos mesmos resultados.

Após as buscas eletrônicas, foi realizada busca manual nos sites dos respectivos periódicos para compreender o período não coberto pela indexação na base Lilacs. As buscas foram realizadas em março de 2016, e seus resultados foram examinados por dois pesquisadores independentes (MFNF e MML). O rastreamento inicial, por título e resumo, teve como objetivo pré-selecionar os estudos com indícios de serem considerados RSs. Os examinadores avaliaram os registros considerando os seguintes critérios para pré-seleção:

• presença do termo "revisão sistemática";

• presença do termo "meta-análise";

• utilização de termos ou palavras-chave para a realização da busca;

• utilização de bases de dados científicas para a realização da busca;

• utilização de técnicas sistematizadas para coleta de dados;

 

 

 

• utilização de técnicas sistematizadas para agrupamento e análise de dados; ou

• utilização de instrumento para avaliação da qualidade dos estudos selecionados.

Caso o estudo apresentasse pelo menos um dos critérios especificados acima, ou se um dos examinadores apresentasse dúvidas referentes à elegibilidade de determinado artigo, este era selecionado para a etapa seguinte do processo de seleção, de leitura integral. Nesta, os pesquisadores obtiveram os estudos pré-selecionados em formato eletrônico ou impresso para checagem dos critérios de elegibilidade na versão completa da publicação. Além da presença dos requisitos supracitados, os avaliadores também consideraram a presença da seção "Material e Métodos" no corpo do texto como um critério de inclusão adicional. O estudo era finalmente selecionado caso o mesmo satisfizesse, no mínimo, três critérios de inclusão de todos os referidos. Em caso de discordância na fase de seleção final, os examinadores debateram os critérios até alcançar consenso quanto à inclusão ou exclusão.

Após a seleção final, dois examinadores independentes (MFNF e MGR) avaliaram os estudos eleitos quanto à qualidade do relato da revisão por meio dos instrumentos AMSTAR (Assessment of Multiple Systematic Reviews) (Quadro 2)7 e PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-analyses) (Quadro 3).8 Durante a avaliação da qualidade do relato das revisões selecionadas, eventuais discordâncias entre os examinadores foram resolvidas através de discussão até o consenso.

Os dados resultantes da avaliação foram então reunidos e analisados descritivamente por meio das frequências absoluta e relativa dos itens presentes em cada um dos instrumentos. Além de terem seu relato avaliado, outros dados gerais, tais como, ano de publicação, título do periódico, assunto tratado e idioma de publicação foram coletados, reunidos e analisados descritivamente.

Além disso, foram realizadas análises inferenciais para avaliar a associação estabelecida entre a pontuação aferida por ambos os instrumentos e o título do periódico (Dental Press Journal of Orthodontics e Revista Dental Press de Ortodontia e Ortopedia Facial versus remanescentes), bem como em relação ao idioma de publicação (inglês versus português). Uma avaliação gráfica foi também realizada, tendo em vista a análise da evolução das pontuações obtidas ao longo dos anos.

 

RESULTADOS

A busca inicial deu origem a 267 estudos. Na análise inicial de títulos e resumos, foram pré-selecionados 47 manuscritos. Após a leitura na íntegra destes documentos, foram incluídos 38 estudos para análise final (Figura 1).16-53 Os estudos excluídos, bem como as razões de sua exclusão, estão presentes na Tabela 1.

Os estudos selecionados foram publicados no período de 2002 a 2015, sendo a maioria deles (n=28/38) publicada nos últimos cinco anos do período coberto por este estudo (2011- 2015). O idioma de publicação mais frequentemente observado foi o inglês (n=21/38), e a maior parte das revisões foi publicada no periódico Dental Press Journal of Orthodontics (n=23/38). As distribuições dos artigos selecionados em relação aos periódicos estão presentes na Figura 2. Dos assuntos abordados, mereceu maior destaque a avaliação de modalidades de tratamento em Ortodontia (n=14/38) ou em áreas correlatas (n=10/38). As distribuições dos manuscritos quanto ao tópico principal estão presentes na Figura 3.

 

 

 

 

 

AMSTAR (Tabela 2)

A frequência de requisitos atendidos no AMSTAR variou de zero16,46,47 a nove.42 O valor médio de requisitos que receberam resposta "sim" foi de 2,42 (±1,92), o que corresponde a 26,74% do total.

De acordo com a avaliação fornecida pelo instrumento AMSTAR, nenhum dos estudos selecionados relatou a pré-existência de um protocolo (Questão 1), o que é indicado para ser realizado antes da condução do estudo. Além disso, somente três revisões42,45,50 informaram a atuação de dois examinadores para seleção de estudos e extração de seus dados (Questão 2).

Quinze foram as pesquisas que realizaram uma busca abrangente da literatura.17,19-23,29-31,38,42,45,48,50,52 As remanescentes (n=23)16,18,24-28,32-37,39-41,43,44,46,47,49,51,53 deixaram de realizar verificação de fontes de evidências suplementares (Questão 3), e/ ou de cobrir a literatura cinza (n=33) (Questão 4).16,18-21,23-29,31-41,43-47,49-53

 

 

 

 

 

 

 

Apenas cinco manuscritos 28,29,35,42,45 forneceram a listagem completa de artigos excluídos (Questão 5), muito embora a maioria dos artigos incluídos tenha sido expressamente citadas, além de ter tido suas características apresentadas de maneira satisfatória na maior parte das vezes (n=33) (Questão 6).17,18,20-29,31-45,48-53

A avaliação da qualidade da evidência colhida foi relatada por uma minoria de estudos (n=15) (Questão 7),31,23,28,29,35,38,41-43,45,48,50-53 o que, por consequência, reduziu também o número de estudos (n=14) que fez uso destes instrumentos de avaliação para formulação de suas conclusões (Questão 8).21,23,28,29,35,38,41-43,45,48,50,52,53

 

 

 

Dada à grande heterogeneidade encontrada dentre os estudos incluídos em cada uma das revisões, apenas um deles desenvolveu metodologias próprias de meta-análises.42 Sendo assim, este foi também o único a receber avaliações nas questões 9 e 10, que foram positivas.42 Por fim, nenhum dos estudos relatou presença ou ausência de conflito de interesses (Questão 11).

PRISMA (Tabela 3)

Em relação ao PRISMA, observou-se grande variação em relação ao número de critérios atendidos. Do total de 27 itens, os artigos selecionados atenderam de seis16,24,46 a 24 pré-requisitos, 42 com média de 12,63 (±3,64) de critérios satisfeitos. Este índice corresponde a 59,70% do total.

Grande parte das revisões incluídas (n=27) identificou o caráter sistemático em seu título (Tópico 1),17-23,25,27-30,32-34,36,38,39,41-45,50-53 e adotou o modelo estruturado de resumo (n=28),20,23,25,27-34,36-46,48-53 como descrito no Tópico 2. Muito embora um número ligeiramente menor de estudos (n=26) tenha relatado seu objetivo adequadamente (Tópico 4),17,18,20-23,28,31-36,38,39,41-45,48-50 este número ainda correspondeu à maioria dos estudos aqui incluídos.

A descrição do contexto ou base lógica de justificativa configurou-se entre um dos critérios plenamente satisfeitos pela totalidade dos estudos incluídos (Tópico 3). Por outro extremo, um dos itens não cobertos por nenhum dos trabalhos selecionados se refere ao registro do protocolo (Tópico 5).

Em se tratando do relato de Material e Métodos, todas as revisões descreveram adequadamente as fontes examinadas (Tópico 7), e grande parte (n=34) relatou satisfatoriamente a estratégia de busca (Tópico 8),17-23,25-29,31-46,48,50-53 os critérios de elegibilidade utilizados (n=32) (Tópico 6),17,18,20-23,25-29,31-45,47,48,50-53 e o processo adotado para a seleção dos estudos (n=25) (Tópico 9).16,20-23,26-29,31-36,39,41,43-45,47,50-53

 

 

 

 

 

Em contrapartida, poucos foram os estudos (n=8) que descreveram adequadamente os itens e variáveis/desfechos de interesse (Tópico 11)22,31,38,42,43,48,49,52 e o processo utilizado para a sua extração (n=7) (Tópico 10).22,31,32,42,43,49,50 A minoria (n=14) descreveu a utilização de instrumentos de avaliação da qualidade dos estudos (Tópico 12)21,23,29,35,38,41-43,45,48,50-53 e apenas dois estudos relataram, de maneira objetiva, o desfecho de maior interesse (Tópico 13).38,42

Dentre os manuscritos selecionados, apenas um42 desenvolveu metodologias de meta-análise. Portanto, os remanescentes não foram avaliados quanto aos tópicos 14, 15 e 16, que dizem respeito exclusivamente às revisões sistemáticas associadas a meta-análises. A meta-análise aqui incluída42 obteve avaliação positiva para os três tópicos referidos.

Em se tratando da qualidade do relato dos Resultados, especificamente da descrição do fluxo de estudos avaliados ao longo do processo de seleção, boa parte das revisões (n=27) deixaram de reportar, ou reportaram de maneira incompleta, as razões de exclusão dos estudos considerados (Tópico 17).16-19,21-27,30-35,37,39-41,43,44,46,47,49,51 A minoria dos trabalhos (n=15) apresentou resultados referentes à análise de qualidade de pesquisas (Tópico 19).21,23,28,29,35,38,41-43,45,48,50-53 Entretanto, observou- se, de maneira frequente, adequada apresentação dos dados extraídos (n=32) (Tópico 18)17,18,20-29,31-45,48,50-53 e o relato resumido destes resultados (n=34) (Tópico 20).17-45,48,50-53

Mais uma vez, os tópicos 21, 22 e 23, referentes ao relato de resultados provenientes de meta-análises, não foram aplicados às RSs qualitativas consideradas aqui. A meta-análise selecionada obteve, novamente, avaliação positiva nos três tópicos em questão.42

Tendo em vista o relato da Discussão dos manuscritos aqui apresentados, a grande maioria (n=28) apresentou, de maneira satisfatória, suas próprias limitações e/ou as provenientes do rol de estudos selecionados por cada uma delas (Tópico 25).16-18,20,22,26-28,31-35,38-45,47-50,52,53 A totalidade dos manuscritos resumiu adequadamente as evidências disponíveis na seção de Discussão (Tópico 24) e as sintetizou apropriadamente em Conclusões (Tópico 26).

Por fim, nenhum dos estudos relatou informações acerca da presença/ ausência de financiamentos destinados à pesquisa (Tópico 27).

Em análise comparativa estabelecida entre as publicações Dental Press e as remanescentes não foram observadas diferenças significativas em relação às pontuações obtidas em AMSTAR (2,27±1,56 e 2,75±2,66, respectivamente) ou PRISMA (13,00±2,84 e 11,83±5,14, respectivamente) (T-Student, p=0,571 e p=0,474, respectivamente).

Em relação ao idioma, não foram encontradas diferenças significativas entre publicações em inglês e português (2,71±2,14 e 2,06±1,67, respectivamente), tendo em vista a pontuação aferida em AMSTAR (T-Student, p=0,298). No entanto, considerando o instrumento PRISMA, houve diferença significativa (T-Student, p=0,011), com pontuações maiores obtidas pelas publicações em inglês (13,95±3,59) em relação àquelas publicadas em português (11,00±3,20).

Tendo em vista o desempenho das RSs ao longo do tempo, o gráfico abaixo (Figura 4)demonstra que, segundo ambos os instrumentos, as RSs possuem, atualmente, melhor qualidade de relato do que o observado no período inicial coberto por este estudo. No entanto, nota-se uma melhora apenas discreta na qualidade dos relatos ao longo dos últimos anos. Tal tendência indica ainda uma margem de melhora para as RSs publicadas em periódicos brasileiros de Ortodontia.

 

 

 

DISCUSSÃO

As RSs e meta-análises são consideradas ferramentas ideais para resumir as evidências disponíveis de maneira relativamente precisa e confiável. Tendo a importância das RSs em perspectiva, publicações anteriores mensuraram a qualidade do seu relato em periódicos de diversas áreas da saúde 54-56 inclusive na Odontologia.11-15 No que diz respeito à área específica da Ortodontia, estudos também contemplaram este objetivo e avaliaram a qualidade do relato de RSs publicadas em revistas internacionais.57-60 De uma maneira geral, tais estudos57-60 obtiveram achados semelhantes ao nosso no que se refere às áreas mais frequentemente deficientes; muito embora, o número de requisitos atendidos por RSs e meta-análises internacionais seja, em média, maior.

Após aplicação dos instrumentos AMSTAR e PRISMA e avaliação detalhada das revisões publicadas em revistas ortodônticas brasileiras, os autores desta pesquisa observaram que a qualidade dos relatos de RSs pôde ser considerada de baixa a moderada, com atendimento de 26,74% e 59,70% dos requisitos dos instrumentos AMSTAR e PRISMA, respectivamente. As RSs publicadas em periódicos internacionais alcançaram, em média, taxas de aproveitamento de 56,36%58 e 64,10%59, respectivamente. Estes estudos58,59 reuniram revisões publicadas entre 2000 e 2011, e consideraram os periódicos American Journal of Orthodontics and Dentofacial Orthopedics, Angle Orthodontist, European Journal of Orthodontics, Journal of Orthodontics, e Orthodontics and Craniofacial Research. A leitura comparativa destes dados indica uma qualidade de relato mais baixa das publicações nacionais, aqui analisadas, frente às internacionais. 58,59 Tal diferença pode estar relacionada ao fato de a maioria destas publicações estrangeiras exigir o relato de RSs submetidas de acordo com o instrumento PRISMA, o que não ocorre para os periódicos nacionais. Esta exigência, comum em boa parte dos periódicos internacionais, automaticamente resulta em maiores pontuações, pois demanda que os autores, ao relatarem sua RS, utilizem e citem estas ferramenta como referência.

A introdução dos requisitos de PRISMA como norma editorial já demonstrou estar correlacionada ao aumento da qualidade metodológica e de relato das RSs publicadas em revistas médicas.61 Tendo em vista a melhoria das nossas publicações, os autores deste trabalho recomendam a adoção deste parâmetro pelas revistas brasileiras como regra direcionada às futuras submissões de RSs.

Através da aplicação dos critérios presentes nos instrumentos de avaliação, notou-se que as RSs publicadas em periódicos ortodônticos nacionais possuem relatos adequados acerca dos aspectos presentes nas seções iniciais do manuscrito, tais como título, resumo, objetivo e introdução. Tal achado está em concordância com o de Flemming et al.,58 indicando que as RSs publicadas em revistas nacionais, assim como em internacionais, costumam atender satisfatoriamente os requisitos introdutórios recomendados.

Em se tratando da seção de materiais e método, as RSs aqui reunidas normalmente apresentaram citações objetivas das fontes pesquisadas, relatos razoavelmente claros a respeito das estratégias de buscas e dos critérios de elegibilidade adotados, assim como observado previamente para periódicos estrangeiros.57,58 No entanto, mesmo que bem descritas, as buscas realizadas pelas RSs nacionais não puderam ser consideradas abrangentes, já que a grande maioria dos manuscritos pesquisados não contempla a busca por documentos complementares ou relacionados à literatura cinza, como também indicam Papageorgiou et al.,60 quando avaliaram meta-análises publicadas em periódicos internacionais. Em nossa opinião, trata-se de um aspecto digno de preocupação, já que negligenciar outras fontes de evidência poderia aumentar a possibilidade de se omitir informações relevantes, resultando em conclusões imprecisas.57

Apesar de o processo de seleção de documentos ter sido, na maioria das vezes, objetivamente descrito pelas RSs aqui reunidas, pouca atenção foi dada à citação dos estudos excluídos e respectivas razões, o que está em conformidade com achados prévios.60 Da mesma forma, os procedimentos destinados à extração de dados foram, por muitas vezes, descritos de maneira inadequada. O relato da utilização de dois examinadores independentes, por exemplo, não foi um achado comum durante a avaliação das revisões aqui selecionadas, tampouco daquelas publicadas em periódicos internacionais.57,60 A utilização de dois examinadores é altamente recomendável, pois diminui a possibilidade de erros durante a seleção e coleta dos dados de interesse.

Outro aspecto a ser relacionado a este respeito refere-se à ausência ou inadequação do relato das variáveis de interesse, um comum achado em RSs internacionais.58 A não observância deste requisito implica em dificuldades para o leitor, durante a tentativa de traduzir os dados colhidos para sua prática. Isto porque quando dados referentes principalmente à população, intervenção e desfechos não são relatados de maneira objetiva, cria-se uma barreira impedindo que o prático faça a correspondência entre a população e intervenção pesquisadas para o cenário de atuação individual.

Um achado global diz respeito ao não registro das RSs nacionais, assim como largamente observado pelas revisões internacionais. 57-60 Além de evitar duplicidade de RSs, a publicidade a priori da metodologia da RS em bases de dados como PROSPERO (International Prospective Register of Systematic Reviews)62 evita o risco de introdução posterior de vieses (post-hoc bias).58,59

Um aspecto comumente negligenciado nas revisões nacionais diz respeito à ausência de instrumentos de avaliação da qualidade metodológica, sendo este achado relativamente mais comum em publicações nacionais do que em internacionais.58-60 As pesquisas podem variar consideravelmente em seu rigor metodológico, e falhas no desenho ou na condução de uma pesquisa podem resultar em significativa perda de validade interna.63,64 A razão primordial de se avaliar qualitativamente as evidências colhidas em uma RS justifica-se pela atribuição de devida importância a ser dada para cada achado em específico. Quando este requisito básico não é atendido, incorre-se no risco de supervalorização de dados originários de estudos falhos e consequente indução a interpretações errôneas das evidências.64

Outra observação que demanda maior atenção refere-se à pequena quantidade de meta-análises reunidas aqui nesta revisão, o que garantiu à única referência selecionada42 a melhor avaliação dentre todas. Tanto o instrumento AMSTAR quanto o PRISMA apresentam perguntas e requisitos especificamente concebidos para meta-análises, o que naturalmente prejudica a pontuação de RSs qualitativas.

Apesar de as RSs constituírem uma das modalidades que provêm a melhor qualidade de evidência científica, a avaliação realizada em RSs publicadas em periódicos ortodônticos nacionais demonstrou, em geral, que estes trabalhos possuem qualidade de relato baixa ou moderada e que, por isso, ainda são passíveis de melhora significativa.

A falta de qualidade destes relatos não parece estar associada ao periódico da publicação. Além disso, ainda é importante ressaltar que, apesar de termos atualmente relatos de maior qualidade, a sua evolução tem demonstrado evidências de desaceleração ao longo dos últimos anos. Em nossa opinião, este é mais um motivo que reforça a recomendação editorial de instrumentos como AMSTAR e PRISMA como requisitos mandatórios. Nossa impressão é a de que o primeiro impulso de qualidade tenha sido decorrente do contato inicial de pesquisadores com alguns aspectos metodológicos que envolvem a confecção de uma RS, dado no início dos anos 2000. A crescente evolução da qualidade destes estudos deveria ser, a partir de agora, pautada pela adoção definitiva de parâmetros mais claros e objetivos de relato, tendo em vista a consolidação de um padrão de qualidade compatível com aqueles observados em publicações internacionais.

Não raro, a qualidade das evidências coletadas por RSs é essencialmente baixa; e mesmo nestas condições, este tipo de estudo constitui-se um essencial instrumento de reconhecimento de falhas metodológicas65 e direcionamento para futuras pesquisas.66 Ainda que as evidências colhidas, por si, sejam de baixa qualidade, os autores de RSs, conscientes da importância de seus esforços e conhecedores dos meios recomendados, devem garantir que o relato e a qualidade metodológica de seus próprios estudos estejam satisfatoriamente adequados. Tendo esta necessidade em vista, este trabalho destacou as falhas mais comuns relacionadas ao relato destes estudos na área ortodôntica, listadas a seguir:

• não registro da RS;

• ausência de buscas abrangentes, com negligência da literatura cinza;

• ausência da listagem de artigos excluídos com as devidas justificativas;

• ausência de relato de variáveis de interesse;

• relato incompleto ou extração inadequada de dados, sem menção ao uso de dois examinadores; e

• não utilização de instrumentos de avaliação de qualidade.

Obviamente, faz-se necessário pontuar que o atendimento a estes requisitos por futuras RSs não deve garantir, exclusivamente, a excelência das próximas publicações. Uma RS próxima da perfeição deve não só apresentar um formato adequado, mas também trazer consigo a percepção crítica dos autores sobre a literatura revisada, com a provisão de novas ideias e direcionamentos.67

 

REFERÊNCIAS

1. Throckmorton T, Windle PE. Evidenced-based case management practice, part 1: the systematic review. Prof Case Manag. 2009;14(2):76-81.         [ Links ]

2. Higgins JPT, Green S, eds. Glossary. In: Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0. Updated March 2011. The Cochrane Col- 19 laboration. 2011. Available at: http://hand book.cochrane.org/. Accessed April 2012.

3. Pai M, McCulloch M, Gorman JD, Pai N, Enanoria W, Kennedy G, Tharyan P, Colford JM Jr. Systematic reviews and meta-analyses: an illustrated, step-by-step guide. Natl Med J India. 2004;17(2):86-95.

4. Chalmers I, Dickersin K, Chalmers TC. Getting to grips with Archie Cochrane's agenda. BMJ. 1992 3;305(6857):786-8.

5. Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med. 2009 Jul 21;6(7):e1000097.

6. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF. Improving the quality of reports of meta-analyses of randomised controlled trials: the QUOROM statement. Quality of Reporting of Meta-analyses. Lancet. 1999 27;354(9193):1896-900.

7. Shea BJ, Grimshaw JM, Wells GA, Boers M, Andersson N, Hamel C, Porter AC, Tugwell P, Moher D, Bouter LM. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007 15;7:10.

8. Moher D, Liberati A, Tetzlaff J, Altman DG; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Int J Surg. 2010;8(5):336-41.

9. Dixon E, Hameed M, Sutherland F, Cook DJ, Doig C. Evaluating meta-analyses in the general surgical literature: a critical appraisal. Ann Surg. 2005;241(3):450-9.

10. Wen J, Ren Y, Wang L, Li Y, Liu Y, Zhou M, Liu P, Ye L, Li Y, Tian W. The reporting quality of meta-analyses improves: a random sampling study. J Clin Epidemiol. 2008;61(8):770-5.

11. Major MP, Warren S, Flores-Mir C. Survey of systematic review authors in dentistry: challenges in methodology and reporting. J Dent Educ. 2009;73(4):471-82.

12. Faggion CM Jr, Liu J, Huda F, Atieh M. Assessment of the quality of reporting in abstracts of systematic reviews with meta-analyses in periodontology and implant dentistry. J Periodontal Res. 2014;49(2):137-42.

13. Polychronopoulou A. The reporting quality of meta-analysis results of systematic review abstracts in periodontology and implant dentistry is suboptimal. J Evid Based Dent Pract. 2014;14(4):209-10.

14. Smaïl-Faugeron V, Fron-Chabouis H, Courson F. Methodological quality and implications for practice of systematic Cochrane reviews in pediatric oral health: a critical assessment. BMC Oral Health. 2014 9;14:35.

15. Wasiak J, Shen AY, Tan HB, Mahar R, Kan G, Khoo WR, Faggion CM Jr. Methodological quality assessment of paper-based systematic reviews published in oral health. Clin Oral Investig. 2016;20(3):399-431.

16. Almeida EN, Sardinha AMCI, Paixão HH, Bueno CES, Wassall T. Qual a melhor evidência científica do efeito da pasta de dente fluoretada na redução da cárie dentária na ortodontia. Ortodontia. 2002;35(2):131-5.

17. Almeida SPTMA, Paixão RF, Vieira GO. Influência do tipo de aleitamento, hábitos de sucção e má-oclusão: revisão sistemática da literatura. J Bras Ortodon Ortop Facial. 2005;10(57):275-289.

18. Holanda ALF, Ferreira MA, Alves MSCF, Lima K. Influência da amamentação natural e artificial no desenvolvimento de hábitos bucais e maloclusões: revisão sistemática. Ortodon Gaúch. 2006;10(2):129-135.

19. Olibone VLL, Guimarães AS, Atta JY. Influência do aparelho propulsor Twin Block no crescimento mandibular: revisão sistemática da literatura. Rev Dent Press Ortodon Ortopedi Facial. 2006;11(1):19-27.

20. Fonseca MMC, Vasconcelos ERC, Ribeiro AA, Lima KC, Praxedes-Neto OJ. Influência do clareamento dentário com peróxido de carbamida a 10 por cento na colagem de braquetes ortodônticos: uma revisão sistemática. Rev Clín Ortodon Dental Press. 2008;7(4):56-61.

21. Caldas SGFR, Ribeiro AA, Santos-Pinto L, Martins LP, Matoso RM. Efetividade dos aparelhos intrabucais de avanço mandibular no tratamento do ronco e da síndrome da apneia e hipopneia obstrutiva do sono (SAHOS): revisão sistemática. Rev Dent Press Ortodon Ortopedi Facial. 2009;14(4):74-82.

22. Perrone APR, Mucha JN. O tratamento da Classe III: revisão sistemática: parte 1: magnitude, direção e duração das forças na protração maxilar. Rev Dent Press Ortodon Ortopedi Facial. 2009;14(5):109-117.

23. Silva MM, Caldas SGFR, Ribeiro AA, Lima KC, Florêncio-Filho C. Tratamento da má-oclusão de classe III por meio da tração reversa da maxila: revisão sistemática. Ortodontia. 2009;42(5):422-427.

24. Dias-Ribeiro E, Gaetti-Jardim EC, Rocha JF, Garcia-Filho A, Sant'Ana E. Análise do grau de satisfação dos pacientes submetidos à cirurgia ortognática: revisão de literatura. Ortho Sci Orthod Sci Pract. 2010;3(11):263-267.

25. Machado E, Machado P, Cunali PA, Grehs RA. Ortodontia como fator de risco para disfunções temporomandibulares: uma revisão sistemática. Dental Press J Orthod. 2010;15(6):e1-e10.

26. Machado E, Machado P Cunali PA, Dal Fabbro C. Bruxismo do sono: possibilidades terapêuticas baseadas em evidências. Dental Press J Orthod. 2011a;16(2): 58-64.

27. Machado E, Grehs RA, Cunali PA. Imaginologia da articulação temporomandibular durante o tratamento ortodôntico: uma revisão sistemática. Dental Press J Orthod. 2011b;16(3): 54-56.

28. Sampaio LP, Raveli DB, Santos-Pinto A, Landázuri DRG, Raveli TB. Avaliação das alterações dentárias e esqueléticas induzidas pelo uso do aparelho de Herbst no tratamento da classe II na dentadura mista: revisão sistemática. Ortodontia. 2011;44(3):226-234.

29. Tiago CM, Gurgel JA. Expansão rápida da maxila assistida cirurgicamente: revisão sistemática sobre as alterações dentárias, esqueléticas e a estabilidade. Ortodontia. 2011;44(1):13-21. 2011.

30. Ferreira MA, Luersen MA, Borges PC. Nickel-titanium alloys: a systematic review. Dental Press J Orthod. 2012;17(3): 71-82.

31. Freire AB, Nascimento LEAG, Lira ALS. Effects induced after the use of maxillary protraction appliances: a literature review. Dental Press J Orthod. 2012;17(4):122-128.

32. Machado E, Machado P, Grehs RA, Cunali PA. Orthodontics as a therapeutic option for temporomandibular disorders: a systematic review. Dental Press J Orthod. 2012a;17(3):98-102.

33. Machado E, Machado P, Cunali PA. Use of chondroitin sulphate and glucosamine sulphate in degenerative changes in TMJ: a systematic review. Dental Press J Orthod. 2012b;17(4):1-5.

34. Machado E, Santos LZ, Custódio LG, Cunali PA. Botulinum toxin for treating muscular temporomandibular disorders: a systematic review Dental Press J Orthod. 2012c; 17(6): 167-171.

35. Ribeiro AA, Caldas SGFR, Martins LP, Tanomaru JMG, Tanomaru Filho M. Reparo periapical de dentes tratados endodonticamente submetidos à movimentação ortodôntica. Ortodontia. 2012; 45(1): 43-48.

36. Galvão M; Dominguez GC; Tormin ST; Akamine A; Tortamano A; de Fantini SM. Applicability of Moyers analysis in mixed dentition: A systematic review. Dental Press J Orthod. 2013;18(6):100-5.

37. Leite RA, Rodrigues JF, Sakima MT, Sakima T. Relationship between temporomandibular disorders and orthodontic treatment: a literature review. Dental Press J Orthod. 2013;18(1):150-7.

38. Jacob HB; Buschang PH; dos Santos-Pinto A. Class II malocclusion treatment using high-pull headgear with a splint: a systematic review. Dental Press J Orthod. 2013;18(2):21.e1-7.

39. Machado E; Bonotto D; Cunali PA. Intra-articular injections with corticosteroids and sodium hyaluronate for treating temporomandibular joint disorders: a systematic review. Dental Press J Orthod. 2013;18(5):128-33.

40. Moraes AR, Sanches ML, Ribeiro EC, Guimarães AS. Therapeutic exercises for the control of temporomandibular disorders. Dental Press J Orthod. 2013;18(5):134-139.

41. Freitas AO, Marquezan M, Nojima MC, Alviano DS, Maia LC. The influence of orthodontic fixed appliances on the oral microbiota: a systematic review. Dental Press J Orthod. 2014;19(2):46-55.

42. Guimarães MLR, Loureiro CA, Guimarães GR, Ferreira CA. Oral appliances to prevent occupational accidents involving obstructive sleep apnea syndrome patients. A systematic review and meta-analysis. Ortho Sci Orthod Sci Pract. 2014;7(25):111-117.

43. Homem MA, Vieira-Andrade RG, Falci SG, Ramos-Jorge ML, Marques LS. Effectiveness of orofacial myofunctional therapy in orthodontic patients: a systematic review. Dental Press J Orthod. 2014;19(4):94-9.

44. Machado E, Dal-Fabbro C, Cunali PA, Kaizer OB. Prevalence of sleep bruxism in children: A systematic review. Dental Press J Orthod. 2014;19(6):54-61.

45. Nascimento LE, Souza MM, Azevedo AR, Maia LC. Are self-ligating brackets related to less formation of Streptococcus mutans colonies? A systematic review. Dental Press J Orthod. 2014;19(1):60-8.

46. Rehme TBS, Baptista JM, Semaan MS, Valieri S, Jabra JJH. Análise facial subjetiva e sua relação com o diagnóstico ortodôntico considerando a miscigenação racial no Brasil - revisão de literatura. Ortho Sci., Orthod. sci. Pract. 2014;7(26):226-228.

47. Valério P, Macedo FJM, Simões WA. Alterações remodelativas da ATM frente ao uso de aparelhos protrusores: uma revisão integrativa . Ortodontia. 2014;47(4):316-321.

48. Pithon MM, Santos ES. Information available on the internet about pain after orthognathic surgery: A careful review. Dental Press J Orthod. 2014;19(6):86-92.

49. Primo NA, Gazzola VB, Primo BT, Tovo MF, Faraco IM. Bibliometric analysis of scientific articles published in Brazilian and international orthodontic journals over a 10-year period. Dental Press J Orthod 2014;19(2):56-65.

50. Almeida NV, Silveira GS, Pereira DM, Mattos CT, Mucha JN. Interproximal wear versus incisors extraction to solve anterior lower crowding: a systematic review. Dental Press J Orthod. 2015;20(1):66-73.

51. Bronfman CN, Janson G, Pinzan A, Rocha TL. Cephalometric norms and esthetic profile preference for the Japanese: a systematic review. Dental Press J Orthod. 2015;20(6):43-51.

52. Fernández-González FJ; Cañigral A; Balbontín-Ayala F; Gonzalo-Orden JM; Carlos F; Cobo T; Fernández- Vázquez JP; Sánchez-Lasheras F; Vega JA. Experimental evidence of pharmacological management of anchorage in Orthodontics: A systematic review. Dental Press J Orthod; 20(5): 58-65, 2015.

53. Henriques FP; Janson G; Henriques JF; Pupulim DC. Effects of cervical headgear appliance: a systematic review. Dental Press J Orthod. 2015; 20(4):76-81.

54. Padula RS, Pires RS, Alouche SR, Chiavegato LD, Lopes AD, Costa LOP. Analysis of reporting of systematic reviews in physical therapy published in Portuguese. Braz J Phys Ther. 2012;16(4):381-388.

55. Tan WK, Wigley J, Shantikumar S. The reporting quality of systematic reviews and meta-analyses in vascular surgery needs improvement: a systematic review. Int J Surg. 2014;12(12):1262-5.

56. Bryce S, Sloan E, Lee S, Ponsford J, Rossell S. Cognitive remediation in schizophrenia: A methodological appraisal of systematic reviews and meta-analyses. J Psychiatr Res. 2016;75:91-106.

57. Flores-Mir C, Major MP, Major PW. Search and selection methodology of systematic reviews in orthodontics (2000-2004). Am J Orthod Dentofacial Orthop. 2006;130(2):214-7.

58. Fleming PS, Seehra J, Polychronopoulou A, Fedorowicz Z, Pandis N. A PRISMA assessment of the reporting quality of systematic reviews in orthodontics. Angle Orthod. 2013a;83(1):158-63.

59. Fleming PS, Seehra J, Polychronopoulou A, Fedorowicz Z, Pandis N. Cochrane and non-Cochrane systematic reviews in leading orthodontic journals: a quality paradigm? Eur J Orthod. 2013b;35(2):244-8.

60. Papageorgiou SN, Papadopoulos MA, Athanasiou AE. Reporting characteristics of meta-analyses in orthodontics: methodological assessment and statistical recommendations. Eur J Orthod. 2014;36(1):74-85.

61. Panic N, Leoncini E, de Belvis G, Ricciardi W, Boccia S. Evaluation of the endorsement of the preferred reporting items for systematic reviews and meta-analysis (PRISMA) statement on the quality of published systematic review and meta-analyses. PLoS One. 2013 26;8(12):e83138.

62. Clarke M , Stewart L 2011 PROSPERO — the new international prospective register of systematic reviews. Cochrane methods . Cochrane Database of Systematic Reviews Supplement 1: 1-40

63. Khan KS, Ter Riet G, Glanville J, Sowden AJ, Kleijnen J, editors for the NHS Centre for Reviews and Dissemination (CRD). Undertaking Systematic Reviews of Research on Effectiveness. CRD's Guidance for Carrying Out or Commissioning Reviews. 2nd Edition. CRD Report No. 4. York: NHS Centre for Reviews and Dissemination, University of York, 2000. www.yps-publishing.co.uk

64. Higgins JP, Altman DG, Gøtzsche PC, Jüni P, Moher D, Oxman AD, Savovic J, Schulz KF, Weeks L, Sterne JA; Cochrane Bias Methods Group, Cochrane Statistical Methods Group. The Cochrane Collaboration's tool for assessing risk of bias in randomised trials. BMJ. 2011 18;343:d5928.

65. Petticrew M. Why certain systematic reviews reach uncertain conclusions. BMJ. 2003 5;326(7392):756-8.

66. Brown P, Brunnhuber K, Chalkidou K, Chalmers I, Clarke M, Fenton M, Forbes C, Glanville J, Hicks NJ, Moody J, Twaddle S, Timimi H, Young P. How to formulate research recommendations. BMJ. 2006;14;333(7572):804-6.

67. Bearman M. Quality and literature reviews: beyond reporting standards. Med Educ. 2016;50(4):382-4.

 

 

Endereço para correspondência:
Murilo Fernando Neuppmann Feres
Praça Tereza Cristina, 229
Centro - Guarulhos - SP
07023-070
Brasil

e-mail:
murilo.feres@ung.br


Recebido: jan/2015
Aceito: mar/2016