docFraudes_e_erros_em_pesquisa
download 
Denúncia Transcrição
Fraudes_e_erros_em_pesquisa
FFraudes e Erros d E em Pesquisa em Pesquisa LLuiz Alberto S. Melo Jr. i Alb S M l J EPM ‐ UNIFESP Fraudes Fraudes • Razões Pressão acadêmica Pressão acadêmica “publish or perish” Kimball C. Atwood III “ser o primeiro” Provar o que se deseja a qualquer custo Financeira Fraudes Science. 2005;308:1777‐83. Fraudes • Autoria Comitê Internacional de Editores de Jornais Médicos (ICMJE): Comitê Internacional de Editores de Jornais Médicos (ICMJE): 1 – Contribuição substancial a concepção e delineamento, ou coleta dos dados, ou análise e interpretação dos dados 2 – Redação do artigo ou revisão crítica quanto a conteúdo intelectual importante 3 – Aprovação final da versão a ser publicada O t ê ité i d Os três critérios devem ser preenchidos hid Autoria JAMA. 2010;304:755-62 Autoria Lancet. 2010;376:524-31 Fraudes • Autoria Onipresentes e Fantasmas Onipresentes e Fantasmas Fraudes • Declaração de Helsinque Uso de placebo ou ausência de tratamento Uso de placebo ou ausência de tratamento Fraudes • Declaração de Helsinque? Am J Ophthalmol. 1999;127:253–9 p ; Fraudes • Declaração de Helsinque? Am J Ophthalmol. 1999;127:253–9 Fraudes • Declaração de Helsinque? Ophthalmology. 2001;108:331–7 Fraudes • Declaração de Helsinque? Graefes Arch Clin Exp Ophthalmol. 2008;246:1617‐22 Fraudes • Declaração de Helsinque? Ophthalmology. 1999;106:2144–53 Fraudes • Dados fabricados BMJ. 2005;331:267–70 Fraudes • Dados fabricados Ensaios clínicos randomizados Ensaios clínicos randomizados Diferença entre grupos nos dados de base Diferença de média Diferença de desvio Diferença de desvio‐padrão padrão Diferença na preferência do dígito final Dados fabricados Dados fabricados Estudo fraudulento Estudo legítimo BMJ. 2005;331:267–70 Dados fabricados Dados fabricados Estudo fraudulento EEstudo t d legítimo BMJ. 2005;331:267–70 Dados fabricados Dados fabricados Estudo fraudulento Estudo legítimo BMJ. 2005;331:267–70 Bom demais para ser verdade Bom demais para ser verdade • Gregor Mendel Bom demais para ser verdade Bom demais para ser verdade • Ronald Fisher Annals of Science. 1936;1:119‐37. Fraudes • Fabricação de dados Fraude • (Pseudo)aleatorização com ausência ou ç violação do mascaramento Deficiência na redação Deficiência na redação h // http://www.equator‐network.org k Deficiência na redação Deficiência na redação CONSORT – Consolidated Standards of Reporting Trials STARD ‐ Standards for the Reporting of Diagnostic Accuracy Studies STROBE ‐ Strengthening the Reporting of Observational Studies in Epidemiology PRISMA ‐ Preferred Reporting Items for Systematic Reviews and Meta‐ Analyses Deficiência na redação Deficiência na redação CONSORT Fraudes • Tortura de dados Mills JL. Data torturing. N Engl J Med. 1993;329:1196‐9 Strye DB, Browner W, Newman T. More on torturing data. N Engl J Med. 1994;330:861 g J Med. 1994;330:861 ; Dix D. More on torturingg data. N Engl Schneiderman MA. More on torturing data. N Engl J Med. 1994;330:861‐2. Tortura de dados Tortura de dados • Escolha do teste estatístico “mais apropriado” Comparação entre três amostras: Comparação entre três amostras: Alguns testes possíveis e seus resultados: Tukey HSD – P = 0,02 Scheffé ‐ P = 0,04 Fisher LSD – P = 0,01 Student‐Newman‐Keuls ‐ P = 0,06 Dunnett ‐ P = 0,08 Correção de Bonferroni – P = 0,12 Correção de Bonferroni – P = 0 12 Correção de Sidak – P = 0,08 Correção de Simes – P = 0,06 Tortura de dados Tortura de dados • Análise de subgrupos não pré‐definidos Arch Ophthalmol. 1999;117:1329‐45 Tortura de dados Tortura de dados • Análise de subgrupos não pré‐definidos Lancet. 1988;2(8607):349‐60 Tortura de dados Tortura de dados • Análise de subgrupos não pré‐definidos Lancet. 1988;2(8607):349‐60 Tortura de dados Tortura de dados • Análise de subgrupos não pré‐definidos Lancet. 1988;2(8607):349‐60 Erro metodológico Erro metodológico • Delineamento inadequado Arch Ophthalmol. 2009;127:888‐893. Erro metodológico Erro metodológico • Delineamento inadequado Arch Ophthalmol. 2009;127:888‐893. Erro metodológico Erro metodológico • Delineamento inadequado Arch Ophthalmol. 2009;127:888‐893. Erro metodológico Erro metodológico • Ausência de cálculo do tamanho da amostra Interpretação inapropriada Interpretação inapropriada • Equivalência x Superioridade (Diferença) C Cornea 2008;27:391‐4 2008 27 391 4 Interpretação inapropriada Interpretação inapropriada • Ausência de evidência não é evidência de ausência BMJ. 1995;311:485. Interpretação inapropriada Interpretação inapropriada • Equivalência x Superioridade (Diferença) Erro estatístico Erro estatístico • Análise dos dois olhos x um olho por paciente Análise dos dois olhos x um olho por paciente J Cataract Refract Surg. 2008;34:1521–6. Erro estatístico Erro estatístico • Análise dos dois olhos x um olho por paciente Análise dos dois olhos x um olho por paciente Ederer F. Shall we count numbers of eyes or numbers of subjects? Arch Ophthalmol. 1973;89:1‐2 Ray WA, O'Day DM. Statistical analysis of multi‐eye data in ophthalmic research. Invest Ophthalmol Vis Sci. 1985;26:1186‐8 Newcombe RG, Duff GR. Eyes or patients? Traps for the unwary in the statistical analysis of ophthalmological studies. Br J Ophthalmol. 1987;71:645‐6 Katz J. Two eyes or one? The data analyst's dilemma. Ophthalmic Surg. 1988;19:585‐9 Glynn RJ, Rosner B. Accounting for the correlation between fellow eyes in regression analysis. Arch Ophthalmol. 1992;110:381‐7 Thompson JR. The chi 2 test for data collected on eyes. Br J Ophthalmol. 1993;77:115‐7 Katz J, Zeger S, Liang KY. Appropriate statistical methods to account for similarities in binary outcomes between fellow eyes. Invest Ophthalmol Vis Sci. 1994;35:2461‐5. Murdoch IE, Morris SS, Cousens SN. People and eyes: statistical approaches in ophthalmology. Br J Ophthalmol. 1998;82:971‐3. Erro estatístico Erro estatístico • Estudo de comparação de métodos Concordância x correlação x comparação de médias ç p ç Paciente Método A Método B Paciente Método A Método B 1 10 20 2 15 30 3 12 24 4 13 26 Erro estatístico Erro estatístico • Estudo de comparação de métodos Concordância x correlação x comparação de médias ç p ç Paciente Método A Método B Paciente Método A Método B 1 10 20 2 15 30 3 12 24 4 13 26 Correlação: r = 1.00 P < 0,001 Erro estatístico Erro estatístico • Estudo de comparação de métodos Concordância x correlação x comparação de médias ç p ç Paciente Método A Método B Paciente Método A Método B 1 10 25 2 25 10 3 22 13 4 13 22 Erro estatístico Erro estatístico • Estudo de comparação de métodos Concordância x correlação x comparação de médias ç p ç Paciente Método A Método B Paciente Método A Método B 1 10 25 2 25 10 3 22 13 4 13 22 Comparação de médias: diferença = 0 P = 1,00 Erro estatístico Erro estatístico • Estudo de comparação de métodos Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet. 1986;1:307‐10. Bland JM, Altman DG. Measuring agreement in method comparison studies. Stat Methods Med Res 1999;8:135‐60 Stat Methods Med Res. 1999;8:135 60. Erro estatístico Erro estatístico • Análise da perda de dados em estudos longitudinais Análise de casos completos Last observation carried forward (LOCF) Erro estatístico Erro estatístico • Dicotomização de variável contínua d á l í … os indíviduos foram agrupados de acordo com a espessura macular os indíviduos foram agrupados de acordo com a espessura macular retiniana em maiores ou iguais que 250 µm e menores que 250 µm … Erro estatístico Erro estatístico • Dicotomização de variável contínua d á l í BMJ. 2006;332:1080 Stat Med. 2006;25:127‐41 Interpretação inapropriada Interpretação inapropriada • Relevância clínica x significância estatística Tamanho do efeito x valor de P ... diferença na espessura central corneana de 10 µm (P = 0,01) ç p µ ( , ) ... correlação significante (r = 0,10; P = 0,03) Interpretação inapropriada Interpretação inapropriada • Obsessão pelo valor de P de 0,05 P = 0,049 P = 0,051 Manipulação de imagem Manipulação de imagem Manipulação de imagem Manipulação de imagem Manipulação de imagem Manipulação de imagem Manipulação de imagem Manipulação de imagem Manipulação de imagem Manipulação de imagem Pesquisador e iniciativa privada Pesquisador e iniciativa privada • Não publicação do estudo Pesquisador e iniciativa privada Pesquisador e iniciativa privada • Influência na redação do artigo uê c a a edação do a t go Am J Ophthalmol. 2003;135:55‐63 Pesquisador e iniciativa privada Pesquisador e iniciativa privada • Influência na redação do artigo uê c a a edação do a t go Am J Ophthalmol. 2003;135:55‐63 Pesquisador e iniciativa privada Pesquisador e iniciativa privada • Influência na redação do artigo uê c a a edação do a t go Am J Ophthalmol. 2003;135:55‐63 Pesquisador e iniciativa privada Pesquisador e iniciativa privada • Influência na redação do artigo uê c a a edação do a t go Am J Ophthalmol. 2003;135:55‐63 Pesquisador e iniciativa privada Pesquisador e iniciativa privada • Influência na redação do artigo uê c a a edação do a t go JAMA. 2010;304:755-62 Pesquisador e iniciativa privada Pesquisador e iniciativa privada • Não publicação do estudo • Influência na redação do artigo Influência na redação do artigo BMJ. 2003;327:1442‐5 PLoS Med. 2005;2:e124
