Desafios de um exercício de calibração para estudo epidemiológico envolvendo variáveis quantitativas e categóricas ordinais: um exemplo

Autor correspondente

RESUMO

Objetivo: Relatar os desafios de um exercício de calibração de examinadores para estudo epidemiológico sobre maloclusão envolvendo variáveis quantitativas e categóricas ordinais, apresentando os resultados da consistência diagnóstica intra e interexaminadores. Materiais e Métodos: Voluntários foram selecionados antecipando condições que os examinadores encontrariam em campo. Maloclusão foi avaliada pelo DAI, cujos critérios foram expostos no treinamento teórico e reforçados no prático. Os examinadores foram divididos em grupos e os dados coletados por exame. As concordâncias inter e intraexaminadores foram estimadas pelo CCI (Coeficiente de Correlação Intraclasse) para o DAI geral e o CCI ou Kappa ponderado (Kw) para os componentes do DAI, utilizando-se os programas PASW e Excel. Os examinadores com concordância inferior a 0,60 foram considerados inaptos e deveriam ser submetidos a mais um exercício de calibração. Resultados: Em três exercícios de calibração, demorados e dispendiosos, 33 examinadores em sete grupos, examinaram e re-examinaram 315 escolares. As concordâncias interexaminadores para o DAI geral, entre os pares de examinadores, variaram de -09 a 0,99 (pobre à excelente). A concordância de todos os examinadores em conjunto, por grupo, variou de 0,51 a 0,96, (razoável a excelente). Na análise por componentes, concordâncias entre os pares de examinadores >0,60 nos sete grupos foram encontradas para dentição, apinhamento e diastema. Discordâncias entre pares de examinadores para alguns dos componentes foram observadas mesmo em grupos cuja concordância entre o mesmo par de examinadores foi satisfatória para DAI geral. Pela concordância intra-examinadores para o DAI geral, de 0,37 a 1 (pobre a excelente), dois examinadores foram inaptos; na avaliação por componentes do DAI, 11 apresentaram CCI e Kw<0,60. Conclusão: A calibração de examinadores configura-se como um desafio para os pesquisadores demandando tempo e esforço. A concordância obtida por componentes do DAI identifica maior número de examinadores inaptos, garantindo assim maior acurácia aos resultados do levantamento epidemiológico.

Descritores: Avaliação. Epidemiologia. Reprodutibilidade dos testes.

ABSTRACT

Aim: To report the challenges faced in a calibration process of examiners for an epidemiological study on malocclusion involving quantitative and ordinal categorical variables, showing the results of inter and intra-examiner diagnostic consistency. Materials and Methods: Volunteers were selected to anticipate the conditions the examiners would find in field. Malocclusion was assessed by the DAI, whose criteria were exhibited in the theoretical training and strengthened in practical training. The examiners were divided into groups and the data collected by examination. Inter and intra-examiner agreement was estimated by means of the Intra-class Correlation Coefficient (ICC) for the general DAI and and the ICC or weighted kappa (Kw) for the DAI components, using the PASW and Excel programs. The examiners with an agreement of less than 0.60 were considered inept and should be recommended for another calibration process. Results: In three calibration exercises, which proved to be lengthy and costly, 33 examiners divided into 7 groups, examined and re-examined 315 students. The inter-examiner agreement for the general DAI, among pairs of examiners, ranged from -0.09 to 0.99 (poor to excellent). The agreement of all examiners together, by group, ranged from 0.51 to 0.96 (reasonable to excellent). In the analyses of components from the seven groups, an agreement of > 0.60 among the pairs of examiners was found for dentitions, crowding and spacing. Disagreements among examiner pairs regarding some components were observed even in groups whose agreement among the same pair of examiners was satisfactory for the general DAI. In the intra-examiner agreement for the general DAI, from 0.37 to 1.00 (poor to excellent), two examiners were considered inept; in the evaluation for DAI components, 11 presented ICC and Kw<0.60. Conclusion: The calibration process of examiners configured itself as a challenge to researchers, demanding time and effort. The agreement for the components of DAI identified a higher number of inept examiners, ensuring greater accuracy regarding the results of the epidemiological survey.

Uniterms: Evaluation. Epidemiology. Reproducibility of results.

INTRODUÇÃO

A padronização de critérios diagnósticos para estudos epidemiológicos em saúde bucal foi proposta pela Organização Mundial da Saúde (OMS) em 1991¹ e constitui um pré-requisito para avaliar a confiabilidade dos dados coletados². Entretanto, algum grau de variação ou de erros de diagnóstico pode ocorrer quando vários avaliadores examinam muitos indivíduos, situação comum nesses levantamentos. Dessa forma, antes da coleta dos dados, os examinadores devem participar de um treinamento e de exercício de calibração para padronização dos critérios de diagnósticos das doenças^3,4, minimizando os erros de observação e permitindo a mensuração dos mesmos^1,5.

A calibração consiste na repetição de exames nas mesmas pessoas por diferentes examinadores, ou pelo mesmo examinador nas mesmas pessoas em diferentes momentos, para que as diferenças de interpretação nos diagnósticos sejam discutidas até se firmar um consenso^3,6,7. É definida como o "processo que visa estabelecer padrões uniformes para o exame epidemiológico em saúde bucal e determina parâmetros aceitáveis de consistência interna e externa aos examinadores", tendo como objetivos: assegurar uma interpretação, entendimento e aplicação uniformes dos critérios para as doenças e condições a serem observadas e registradas; assegurar que cada examinador possa examinar dentro de um padrão consistente e minimizar variações entre os diferentes examinadores³. Ao final da calibração espera-se obter concordâncias intra e interexaminadores satisfatórias. A concordância interexaminador é necessária para que os resultados do mesmo grupo de indivíduos sejam comparados entre si quando examinados por equipes diferentes. O objetivo não é estabelecer quem está certo e quem está errado, mas verificar quais examinadores estão diferindo, reduzindo a variabilidade entre eles. Os examinadores que não atingirem níveis de concordância satisfatórios devem ser novamente treinados e calibrados ou então excluídos do levantamento6. Dentre as estatísticas utilizadas para avaliar a consistência intra e interexaminadores destacam-se os coeficientes Kappa (simples e ponderado) e de correlação intra-classe (CCI), com métodos para cálculo específicos.

Dentre as diversas condições identificadas em levantamentos epidemiológicos, destaca-se a maloclusão, considerada um problema de saúde pública, pois apresenta alta prevalência e pode interferir negativamente na qualidade de vida dos indivíduos acometidos^8,9. Essa alteração, do ponto de vista de diagnóstico, não é classificada como uma doença, sendo de difícil definição¹⁰. A Organização Mundial da Saúde preconiza o levantamento das maloclusões pelo Índice de Estética Dental (Dental Aesthetic Indice - DAI) em adolescentes de 12 anos e de 15 a 19 anos^5,11. O princípio básico do DAI é de uma combinação de medidas as quais, em seu conjunto, expressam o estado oclusal do indivíduo e, consequentemente, sua necessidade de tratamento, devido à composição do índice que considera comprometimento estético além da oclusão^12-14. São consideradas três dimensões a partir de dez características oclusais de acordo com critérios definidos¹⁵, incluindo variáveis categóricas ordinais e quantitativas¹⁶. A estimativa é feita a partir de uma equação de regressão logística que relaciona, matematicamente, a gravidade da maloclusão a partir de medidas físicas objetivas de características oclusais associadas à maloclusão^13,17. Para calcular seu valor, essas características são medidas e os valores a elas atribuídos são multiplicados pelos seus respectivos coeficientes (pesos) e os resultados são totalizados com a adição de uma constante, conforme equação de regressão para o cálculo do valor do DAI (Quadro 1). O resultado, um valor numérico entre treze a, aproximadamente, oitenta pode ser considerado uma escala de intervalo, que pode ser categorizado através de pontos de corte: ausência de anormalidade ou maloclusão leve, cujo tratamento ortodôntico é desnecessário (DAI < 25), maloclusão definida, cujo tratamento é eletivo (DAI = 26 a 30), maloclusão grave, cujo tratamento é altamente desejável (DAI = 31 a 35) e maloclusão muito grave, cujo tratamento ortodôntico é fundamental (DAI > 36)11,15,17.

A calibração dos examinadores para aferição da maloclusão é uma etapa complexa, apesar de indispensável. Pode-se avaliar a confiabilidade dos dados referentes à maloclusão a partir do valor total do DAI, chamado nesse artigo de DAI geral, e/ou de seus componentes. Em publicações científicas ou relatórios de estudos oficiais, a apresentação da quantificação das divergências de diagnóstico ocorridas durante o estudo é recomendável, pois facilita o julgamento do leitor quanto à confiabilidade dos resultados⁶. Nesse contexto, buscou-se relatar os desafios enfrentados em um exercício de calibração de examinadores, anterior a um estudo epidemiológico sobre a maloclusão a partir do DAI, variável quantitativa, e de seus componentes, variáveis quantitativas ou categóricas ordinais, apresentando as principais utilizações e propriedades de aplicação de testes estatísticos que buscam medir a consistência diagnóstica intra e interexaminadores, assim como seus resultados.

MATERIAIS E MÉTODOS

A calibração dos examinadores foi conduzida em cinco etapas: seleção de voluntários, treinamento teórico, treinamento prático, coleta de dados e cálculo da concordância. Contou com a participação de quatro instrutores (cirurgiões-dentistas e pesquisadores com experiência em levantamentos epidemiológicos).

Inicialmente, o número de examinadores necessários para coleta de dados foi definido a partir do tamanho da amostra a ser examinada no Levantamento Epidemiológico das condições de Saúde Bucal do município de Montes Claros, MG – Projeto SBMOC: 4852 indivíduos. Nesse sentido, estimou-se a necessidade de treinamento e calibração de quinze equipes de campo (um cirurgião-dentista da rede municipal de saúde que era o examinador, um acadêmico e/ou auxiliar de saúde bucal da rede municipal de saúde que eram anotadores). Para isso, foram convidados vinte profissionais da rede municipal de saúde, que atuariam como examinadores. Para estimativa da concordância, os examinadores foram divididos em grupos com o máximo de cinco indivíduos em função da previsão de utilização do programa de computador desenvolvido pelo Ministério da Saúde Brasileiro para condução do SB Brasil 2002/2003⁷. Contou ainda com a participação de uma estatística e de dez acadêmicos da graduação em matemática para construção do banco de dados e cálculos das concordâncias.

Treinamento teórico e prático: O treinamento teórico consistiu na exposição dos critérios de diagnóstico do DAI⁵. No treinamento prático, os critérios de diagnóstico adotados foram reforçados para fixação dos mesmos e dúvidas a respeito desses critérios foram esclarecidas. Na fase de exposição teórica e treinamento prático dos examinadores houve ampla discussão dos critérios adotados para que, durante a coleta dos dados, prevalecesse o consenso da equipe sobre o critério individual de cada examinador, mesmo que contrário às suas convicções pessoais⁷. Após os exames, foram estimadas as concordâncias interexaminadores para identificar os componentes do DAI que poderiam comprometer o processo de calibração, incrementando as discussões e esclarecimentos.

Coleta de dados: A coleta de dados para o cálculo da concordância foi idealizada mediante exame de outros 60 adolescentes voluntários que seriam examinados e reexaminados num intervalo de oito dias, para estimativa das concordâncias interexaminadores e intra-examinadores.

Cálculo da concordância: Os cálculos foram conduzidos empregando-se os softwares PASW® (Predictive Analytics Software) versão 17.0 for Windows e Excel®.

Foram conduzidos cálculos estatísticos considerando as propostas enumeradas a seguir:

Os exames do treinamento prático e para a coleta de dados foram realizados em ambiente amplo, quadras cobertas da Unimontes e de escolas públicas do município, sob boas condições de iluminação, luz natural, com espelho e sonda específica preconizada pela OMS5, previamente esterilizados. Foram utilizados formulários específicos para o registro dos dados. Após os exames, os voluntários participantes foram orientados quanto à higiene bucal e receberam escovas e creme dental. Além disso, o atendimento dos voluntários com necessidade de tratamento odontológico foi garantido no serviço odontológico de referência na rede municipal. Todos os exames foram precedidos por consentimentos livres e esclarecidos obtidos dos pais ou responsáveis e anuência dos menores de 18 anos ou do próprio participante com mais de 18 anos.

O "Levantamento epidemiológico das condições de saúde bucal da população de Montes Claros - Minas Gerais, 2008/2009 - Projeto SBMOC" foi aprovado pelo Comitê de Ética em Pesquisa da Unimontes (parecer nº 318/06), foi fruto de uma parceria entre a Unimontes e a Prefeitura Municipal de Montes Claros, contou com financiamento da Fundação de Amparo à Pesquisa do Estado de Minas Gerais – FAPEMIG e adotou metodologia baseada no Projeto SB Brasil¹¹.

RESULTADOS

Inicialmente, vinte cirurgiões-dentistas da rede municipal de saúde foram convidados a participar da pesquisa como examinadores. Apenas dezenove compareceram e desses, somente oito permaneceram no projeto. Foi realizada uma segunda calibração com mais cinco, dos quais apenas três permaneceram no projeto. Realizouse uma terceira e última calibração com mais nove profissionais sendo que somente três continuaram no projeto. Portanto, houve a participação total de trinta e três cirurgiões-dentistas. Os examinadores eram funcionários públicos municipais, alguns deles foram demitidos; outros se afastaram por motivos pessoais. Portanto, somente quatorze examinadores treinados permaneceram no projeto do início até o final da coleta de dados. Os examinadores foram divididos em sete grupos. Os grupos 1, 2, 3, 5 e 6 foram compostos de cinco indivíduos e os grupos 4 e 7 de quatro indivíduos.

O exercício de calibração para avaliação da maloclusão demandou dez meses, incluindo a seleção dos voluntários, os treinamentos teóricos e práticos, a coleta de dados e o cálculo da concordância. Para os primeiros quatro grupos foram necessários seis meses, para o grupo cinco dois meses e para os grupos seis e sete dois meses. Foi necessária a participação de 315 adolescentes voluntários (cento e cinco no treinamento prático, cento e cinco na primeira calibração e cento e cinco na última), selecionados a partir do exame de, aproximadamente, mil adolescentes.

Os treinamentos teóricos demandaram sessenta horas (20 horas por treinamento). No treinamento prático, foram examinados 15 voluntários por grupo, totalizando 105 voluntários (60 no primeiro treinamento, 15 no segundo e 30 no terceiro). Essa etapa demandou trinta horas (10 horas por treinamento).

As coletas de dados para o cálculo da concordância do DAI demandaram sessenta horas (20 horas por treinamento) e foram realizadas entre outros 105 voluntários. O último exercício de calibração, realizado somente quanto aos domínios do DAI que apresentaram discordância no primeiro exercício, contou com a participação de outros 105 voluntários. Os resultados desse último exercício não serão apresentados porque os valores de concordância foram superiores a 0,60.

Os níveis das concordâncias interexaminadores para avaliação do DAI geral entre os pares de examinadores para cada um dos grupos variaram de -0,09 (AxB grupo 7) a 0,99 (BxC grupo 4) (concordância pobre à excelente) e por grupos, considerando todos examinadores juntos, variou de 0,51 (grupo 7) a 0,96 (grupo 3), (concordância razoável a excelente) (Tabela 1). Observou-se que a concordância intra-examinadores para o DAI geral, avaliada por meio do CCI, variou de 0,37 (examinador E, grupo 3) a 10 (examinador A, grupo 1), de concordância pobre a excelente (Tabela 2). Por meio dessa avaliação, os examinadores A do grupo 7, E do grupo 3 e C do grupo 4 foram considerados inaptos.

Na avaliação da concordância interexaminadores dos pares de examinadores para os 10 componentes do DAI, por grupos, concordâncias superiores a 0,60 nos sete grupos foram encontradas somente para três componentes do DAI (dentição, apinhamento e diastema) (Tabela 3). As concordâncias interexaminadores para os pares de examinadores foram também obtidas separadamente para cada um dos componentes do DAI, em cada um dos grupos, permitindo identificar qual (is) examinador (es) apresentavam discordância e em qual componente do DAI a discordância acontecia. Por essa análise, discordâncias entre pares de examinadores para alguns dos componentes do DAI foram observadas mesmo naqueles grupos cuja concordância entre o mesmo par de examinadores foi satisfatória considerando o DAI geral. Em função da grande extensão das tabelas, optou-se pela não apresentação desses dados.

Na avaliação da concordância intraexaminadores para os 10 componentes do DAI foi constatado que os examinadores A, C e E do grupo 1; A, B, C, D e E do grupo 2, E do grupo 3 e B e C do grupo 4, ou seja, 11 examinadores foram considerados inaptos para a coleta de dados. Vale ressaltar que somente dois dos examinadores considerados inaptos por esse método de avaliação (C do grupo 3 e E do grupo 4), haviam sido considerados inaptos pelo cálculo da concordância intra a partir dos valores gerais do DAI (Tabela 4 e 5).

]]>  

DISCUSSÃO

Um dos grandes e primeiros desafios enfrentados nesse exercício de calibração foi a seleção de voluntários dentro das faixas etárias e características exigidas para o treinamento. Nesse estudo, somente 31,5% (n = 315) dos voluntários examinados apresentaram as características exigidas, o que demandou tempo e esforço. Embora trabalhosa, essa etapa é importante já que a consistência dos resultados obtidos pela pesquisa está, entre outros fatores, relacionada ao tipo de população examinada durante o processo de calibração que deve ser similar àquela examinada durante o próprio levantamento epidemiológico^4,7.

Outra dificuldade enfrentada foi a perda de examinadores durante o exercício de calibração. Alguns examinadores do presente estudo eram funcionários públicos municipais e foram demitidos, afastando-se da pesquisa; outros passaram em concursos públicos em outros municípios; outros afastaram por considerarem o processo cansativo. Os estudos epidemiológicos são comumente direcionados para avaliar o nível de saúde de uma comunidade. Como no caso do SBMOC, tais estudos são ligados, em sua maioria, ao sistema público de saúde, tornando-os vulneráveis às mudanças políticas, correndo-se o risco da política ("politics") ser mais forte do que as políticas ("policies") que originaram os projetos de pesquisa²⁸. A não liberação dos funcionários municipais, de forma integral, por um determinado período para atuar na coleta de dados foi um dificultador, pois levou ao afastamento de examinadores já treinados. Além da coleta, os examinadores tinham que desenvolver suas atividades rotineiras por, aproximadamente, quatro turnos dentre os dez turnos semanais. O treinamento de recursos humanos de serviços públicos, envolvidos em suas atividades rotineiras, pode não ser a melhor opção em função do acúmulo de atividades e da falta de garantia de continuidade, pela instabilidade no emprego, comum neste cenário.

No presente estudo, o tempo despendido para cada processo de calibração de examinadores (± 30 horas) foi considerado satisfatório, pois de acordo com o Manual de Calibração SB Brasil 2010⁷ todo o processo de calibração da equipe de examinadores foi dimensionado para durar, pelo menos 32 horas de trabalho considerando-se um número máximo de dez examinadores.

Nesse estudo, as concordâncias inter e intra examinadores foram calculadas empregando o Kw ou o CCI. O Kw foi indicado para os componentes ordinais do DAI, pois são atribuídos pesos (w) aos diferentes níveis de concordância dentro da escala ordinal^23,24. O kw tem a vantagem de "penalizar" as maiores discordâncias mais severamente que as discordâncias menos críticas²⁶. A estatística kappa considera a concordância atribuível, ou seja, a concordância observada menos aquela obtida pela chance (po - pe) e corresponde a proporção da concordância atribuível em relação ao seu valor máximo possível (1 - pe). O Kappa simples pode ser alternativamente empregado quando o DAI é categorizado com o estabelecimento de pontos de corte, indicando a severidade da maloclusão e a necessidade de tratamento ortodôntico. Nesse estudo, o CCI foi utilizado para avaliar as concordância intra e interexaminadores no diagnóstico do DAI e de seus componentes numéricos, uma vez que os valores desse índice são obtidos através da soma de componentes ponderados, com resultados variando dentro de uma escala de intervalo que pode ser tratada como variável numérica²⁹. O Coeficiente de Correlação Intra-Classe é recomendado para avaliar a concordância entre examinadores quando a variável investigada for quantitativa ou numérica²⁵ e avalia o grau de concordância desconsiderando aquela obtida além das chances, ou seja, a concordância atribuída ao acaso.

Dessa forma, o emprego apropriado e bem indicado dos instrumentos de confiabilidade para a calibração de examinadores é de grande relevância, pois geram respostas e direcionamentos quanto à capacidade e precisão dos examinadores no diagnóstico das condições bucais⁴.

Uma vez detectadas discrepâncias, todo o exercício deve ser repetido, permanecendo no grupo apenas aqueles examinadores que apresentarem um grau de consistência aceitável com a equipe⁷. Assim, períodos adicionais de treinamento para reforço do aprendizado teórico e prático dos critérios de avaliações estabelecidos, podem gerar uma melhoria nos resultados de concordância entre os examinadores⁴. Por isso, nesse estudo, para alguns examinadores foi necessária a repetição do exercício de calibração por três vezes. Além disso, os três treinamentos foram necessários para obtenção de um número satisfatório de examinadores, devido ao afastamento de alguns. Vale ressaltar que períodos de calibração adicionais podem ser ministrados apenas para averiguar e trabalhar sobre a discordância encontrada, levando-se, consequentemente, ao maior aprimoramento final dos resultados da calibração⁴.

Nesse estudo, foram necessários dez meses até que os 33 examinadores fossem treinados; o que atrasou a coleta de dados do levantamento epidemiológico. Identifica-se a realização de outras investigações para o desenvolvimento de metodologias e ou de programas de computadores para agilizar e facilitar esta etapa das investigações epidemiológicas sobre as condições bucais.

CONCLUSÃO

A calibração de examinadores, recomendada e necessária em pesquisas epidemiológicas, configura-se como um desafio para os pesquisadores já que demanda tempo e esforço para se alcançar os resultados almejados. A concordância obtida por componentes do DAI identifica maior número de examinadores inaptos. Apesar de todas as dificuldades do processo de calibração, a estimativa da concordância pelo CCI e pelo Kappa ponderado para o DAI e seus componentes garantiu uma maior acurácia aos resultados do levantamento epidemiológico.

AGRADECIMENTOS

Ao apoio logístico da Unimontes e da Prefeitura Municipal de Montes Claros-MG, ao fomento da Fundação de Amparo a Pesquisa do Estado de Minas Gerais-FAPEMIG e a colaboração dos participantes. Os pesquisadores Andréa Maria Eleutério de Barros Lima Martins, Marise Fagundes da Silveira e Raquel Conceição Ferreira receberam bolsa da FAPEMIG.

REFERÊNCIAS

1. Organização Mundial da Saúde. Levantamento epidemiológico básico de saúde bucal. 3ª ed. São Paulo: Santos; 1991.         [ Links ]

2. Frias AC, Antunes JLF, Narval PC. Precisão e validade de levantamentos epidemiológicos em saúde bucal: cárie dentária na cidade de São Paulo, 2002. Rev Bras Epidemiol. 2004; 7:144- 54.

3. Peres MA, Traebert J, Marcenes W. Calibração de examinadores para estudos epidemiológicos de cárie dentária. Cad Saude Publica. 2001; 17:153-9.

4. Assaf AV, Zanin L, Meneghim MC, Pereira AC, Ambrosano GMB. Comparação entre medidas de reprodutividade para calibração em levantamentos epidemiológicos da cárie dentária. Cad Saude Publica. 2006; 22:1901-07.

5. World Health Organization. Oral Health surveys: basic methods. 4th ed. Geneva: ORH EPID; 1997.

6. World Health Organization. Calibration of examiners for oral health epidemiology surveys. technical report. Geneva: ORH/EPID; 1993.

7. Brasil. Ministério da Saúde. SB Brasil 2010. Manual de Calibração de Examinadores. Brasília: Ministério da Saúde; 2010.

9. Marques LS, Barbosa CC, Ramos-Jorge ML, Pordeus IA, Paiva SM. Prevalência da maloclusão e necessidade de tratamento ortodôntico em escolares de 10 a 14 anos de idade em Belo Horizonte, Minas Gerais, Brasil: enfoque psicossocial. Cad Saúde Pública. 2005; 21:1099- 106.

10. Richmond S, O'Brien KD, Roberts CT, Andrews M. Dentists variation in the determination of orthodontic treatment need. Br J Orthod. 1994; 21:65-8.

11. Brasil, Ministério da Saúde. Projeto SBBrasil 2003: condições de saúde bucal da população brasileira 2002-2003: resultados principais. Brasília: Ministério da Saúde; 2004.

12. Munoz SR, Bangdiwala SI. Interpretation of Kappa and B Statistics Measures of Agreement. J Appl Stat. 1997; 24:105-11.

13. Cons NC, Jenny J, Kohout FJ. DAI: the dental aesthetic index. Iowa City: Iowa College of Dentistry; 1986.

14. Peres KG, Traebert ESA, Marcenes W. Diferenças entre autopercepção e critérios normativos na identificação das oclusopatias. Rev Saúde Pública. 2002; 36:230-6.

15. Beglin FM, Firestone AR, Vig KWL, Beck FM, Kuthy RA, Wade D. A comparison of the reliability and validity of 3 occlusal indexes of orthodontic treatment need. Am J Orthod Dentofacial Orthop. 2001; 120:240-6.

16. Jenny J, Cons NC. Guidelines for using the DAI: a supplement to DAI–the dental aesthetic index. Iowa: College of Dentistry; 1988.

17. Jenny J, Cons NC. Establishing malocclusion severity levels on the dental aesthetic index (DAI) scale. Aust Dent J. 1996; 41:43-6.

19. Gábris K, Márton S, Madléna M. Prevalence of malocclusions in Hungarian adolescents. Eur J Orthod. 2006; 28:467-70.

20. Alves JAO, Forte FDS, Sampaio FC. Condição socioeconômica e prevalência de más oclusões em crianças de 5 e 12 anos na USF Castelo Branco III – João Pessoa/Paraíba. Rev Dent Press Ortodon Ortopedi Facial. 2009; 14:52-9.

21. Lopes LS, Cangussu MCT. Prevalência e severidade das alterações oclusais em escolares de 12 a 15 anos de Salvador – BA, 2004. J Med Biol Sci. 2005; 4:105-12.

22. Costa RN, de Abreu MH, de Magalhães CS, Moreira AN. Validity of two occlusal indices for determining orthodontic treatment needs of patients treated in a public university in Belo Horizonte, Minas Gerais State, Brazil. Cad Saúde Pública. 2011; 27:581-90.

23. Fleiss JL. Statistical methods for rates and proportions. 2nd ed. New York: John Wiley & Sons, 1981.

24. Cicchetti DV, Volkmar F, Sparrow SS, Cohen D, Fermanian J, Rourke BP. Assessing the reliability of clinical scales when the data have both nominal and ordinal features: proposed guidelines for neuropsychological assessments. J Clin Exp Neuropsychol. 1992; 14:673-86.

25. Bartko JJ, Carpenter WT. On the methods and theory of reliability. J Nerv Ment Dis. 1976; 163:307-17.

26. Bulmann JS, Osborn JF. Measuring diagnostic consistency. Br Dent J. 1989; 166:377-81.

27. Fleiss JL. The Design and analysis of clinical experiments. New York: John Wiley & Sons, 1986.

29. Roberts CT, Richmond S. The design and analysis of reliability studies for the use of epidemiological and audit indices in orthodontics. Br J Orthod. 1997; 24:139-47.

Autor correspondente:
Andréa Maria Eleutério de Barros Lima Martins
Universidade Estadual de Montes Claros
Campus Universitário Professor Darcy Ribeiro - Vila Mauricéia
CEP: 39401-089 - Montes Claros - Minas Gerais – Brasil
E-mail: andreamebl@gmail.com