Quando a competição piora as coisas; e os benefícios da calma e replicação




"O próximo grande salto evolutivo
da humanidade será a descoberta de
que cooperar é melhor que competir."
Pietro Ubaldi


Uma ideia simples sustenta a ciência: “confie, mas verifique”. Os resultados devem sempre estar sujeitos ao desafio do experimento. Essa ideia simples, mas poderosa, gerou um vasto corpo de conhecimento. Desde o seu nascimento no século XVII, a ciência moderna mudou o mundo para além do reconhecimento e, principalmente, para melhor. Mas o sucesso pode gerar complacência. Os cientistas modernos estão confiando demais e não verificando o suficiente - em detrimento de toda a ciência e da humanidade.

Muitas das descobertas que preenchem o éter acadêmico são o resultado de experimentos de má qualidade ou má análise. Uma constatação básica entre as empresas de risco em biotecnologia é que metade da pesquisa publicada não pode ser replicada. Ainda assim podemos ser otimistas. No ano passado, pesquisadores de uma empresa de biotecnologia, a Amgen, descobriram que podiam reproduzir apenas seis dos 53 estudos "importantes" da pesquisa sobre o câncer. Anteriormente, um grupo da Bayer, uma empresa farmacêutica, conseguiu repetir apenas um quarto dos 67 documentos igualmente importantes. Um importante cientista da computação questiona que três quartos dos jornais em seu subcampo são insignificantes. Entre 2000-10, cerca de 80.000 pacientes participaram de ensaios clínicos baseados em pesquisas que foram posteriormente retratadas devido a erros ou impropriedades.

Mesmo quando a pesquisa falha não coloca a vida das pessoas em risco - e muito disso está muito longe do mercado para fazê-lo -, desperdiça o dinheiro e os esforços de algumas das melhores mentes do mundo. Os custos de oportunidade do progresso frustrado são difíceis de quantificar, mas é provável que sejam enormes. E eles podem estar aumentando.

Um dos motivos é a competitividade na ciência. Na década de 1950, quando a pesquisa acadêmica moderna tomou forma após seus sucessos na segunda guerra mundial, ainda era um passatempo rarefeito. Todo o mundo contava apenas com alguns milhares de cientistas. À medida que suas fileiras aumentaram, para 6 a 7 milhões de pesquisadores ativos nas últimas avaliações, os cientistas perderam o gosto pelo autopoliciamento e pelo controle de qualidade. A obrigação de “publicar ou perecer” passou a governar a vida acadêmica. Na ciência, a competição por empregos gera incentivos prejudiciais à qualidade da pesquisa. Professores plenos nos EUA ganharam em média US $ 135.000 em 2012 - mais do que juízes de Direito por lá. Todos os anos, seis PhDs recém-formados disputam cargos acadêmicos. Mas atualmente, a replicação dos resultados de estudos de outras pessoas não tem muita relevância para promover a carreira de um pesquisador. E sem verificação, descobertas enganosas podem sobreviver por muito tempo.

O "carreirismo" também encoraja o exagero e a escolha seletiva dos resultados. A fim de salvaguardar sua exclusividade, os principais periódicos impõem altas taxas de rejeição: mais de 90% dos manuscritos submetidos. As descobertas mais impressionantes têm a maior chance de entrar na página. Não admira que um em cada três pesquisadores saiba de um colega que preparou um trabalho, digamos, excluindo dados inconvenientes de resultados “com base em uma intuição”. E, à medida que mais equipes de pesquisa em todo o mundo trabalham com um problema, as chances de que pelo menos um sejam vítimas de uma confusão honesta entre o doce sinal de uma descoberta genuína e uma aberração do ruído estatístico diminuem. Tais correlações espúrias são freqüentemente registradas em periódicos ansiosos por papéis surpreendentes.

Por outro lado, as falhas em provar uma hipótese raramente são oferecidas para publicação, quanto mais aceitas. "Resultados negativos" agora representam apenas 14% dos artigos publicados, contra 30% em 1990. No entanto, saber o que é falso é tão importante para a ciência quanto saber o que é verdadeiro.

O processo sagrado de revisão por pares não é tudo que é capaz de ser. Quando uma revista médica proeminente realizou pesquisas com outros especialistas na área, descobriu que a maioria dos revisores não identificou os erros deliberadamente inseridos nos artigos, mesmo depois de receberem a informação de que estavam sendo testados.

Tudo isso faz uma base instável para uma empreitada dedicada a descobrir a verdade sobre o mundo. O que pode ser feito para sustentá-lo? Uma prioridade deve ser que todas as disciplinas sigam o exemplo das que mais fizeram para melhorar os padrões. Um começo seria se familiarizar com as estatísticas, especialmente no crescente número de campos que vasculham grandes quantidades de dados em busca de padrões. Os geneticistas fizeram isso e transformaram uma torrente inicial de resultados ilusórios do sequenciamento do genoma em uma gota de verdadeiros significativos.

Idealmente, os protocolos de pesquisa devem ser registrados com antecedência e monitorados virtualmente. Isso reduziria a tentação de mexer com o design do experimento para fazer com que os resultados parecessem mais substanciais do que são. Sempre que possível, os dados também devem estar abertos para outros pesquisadores inspecionarem e testarem.

Os jornais mais esclarecidos já estão se tornando menos avessos a papéis monótonos. Algumas agências de financiamento do governo, incluindo os Institutos Nacionais de Saúde dos Estados Unidos, que distribuem US $ 30 bilhões anualmente em pesquisa, estão estudando a melhor forma de estimular a replicação. E um número crescente de cientistas, especialmente os jovens, entende as estatísticas. Mas essas tendências precisam ir muito além. Os periódicos devem alocar espaço para trabalhos “desinteressantes”, e os doadores devem reservar dinheiro para pagar por isso. A revisão por pares deve ser reforçada - ou talvez dispensada por completo, em favor da avaliação pós-publicação na forma de comentários anexados. Esse sistema funcionou bem nos últimos anos em física e matemática. Por fim, os formuladores de políticas devem garantir que as instituições que usam dinheiro público também respeitem as regras.

A ciência ainda tem um enorme - e às vezes confuso - respeito. Mas seu status privilegiado é baseado na capacidade de estar certo a maior parte do tempo e em corrigir seus erros quando as coisas estão erradas. E não é como se o universo não tivesse mistérios genuínos para manter gerações de cientistas trabalhando arduamente. Os falsos rastros estabelecidos por pesquisas de má qualidade são uma barreira imperdoável ao entendimento.




Fonte: Revista The Economist, 21 de outubro de 2013.



📧 romeromaia@gmail.com

Comentários