Folha de S.Paulo

A era da irreprodutibilidade científica

Por GEORGE JOHNSON A replicação, a capacidade de reproduzir uma conclusão em laboratório, é o padrão áureo da ciência, a garantia de que você descobriu algo verdadeiro. Mas isso está cada vez se tornando mais difícil. Com as verdades mais acessíveis já descobertas, o que resta são, muitas vezes, efeitos sutis, alguns tão delicados que só podem ser obtidos em circunstâncias ideais, usando-se técnicas altamente especializadas.

Os temores de que isso esteja resultando em algumas descobertas questionáveis começaram a surgir em 2005, quando o doutor John P. A. Ioannidis escreveu um trabalho intitulado "Por que a maioria das conclusões de pesquisas publicadas é falsa".

Levando em conta a tendência humana a ver o que queremos ver, o viés inconsciente é inevitável. Sem qualquer intenção maliciosa, um cientista pode ser levado a interpretar os dados de modo que eles sustentem a hipótese da pesquisa.

Paradoxalmente, os campos mais quentes são os mais inclinados ao erro, segundo Ioannidis. Se um de cinco laboratórios concorrentes for o único a encontrar um efeito, esse resultado é o que tem maior probabilidade de ser publicado. Mas há uma probabilidade de quatro em cinco de que essa conclusão esteja errada.

O doutor Ioannidis divisou um modelo matemático que sustenta a conclusão de que a maioria das descobertas publicadas provavelmente é incorreta. Outros cientistas questionaram se sua metodologia foi desviada por suas próprias inclinações.

Mas, no mesmo ano, ele publicou outro grande sucesso, examinando mais de uma década de trabalhos altamente prestigiados -o efeito de uma aspirina diária sobre a doença cardíaca, por exemplo, ou os riscos da terapia de substituição hormonal para mulheres mais velhas. Ele descobriu que uma grande porcentagem das conclusões era minada ou refutada por estudos posteriores.

A preocupação sobre o problema alcançou tal ponto que a revista "Nature" montou um arquivo cheio de reportagens e análises, chamado Desafios em Pesquisa Irreprodutível. Entre os textos, está um trabalho em que C. Glenn Begley, cientista-chefe na TetraLogic Pharmaceuticals, descreveu uma experiência que teve enquanto estava na Amgen, outra companhia de medicamentos. Ele e seus colegas não conseguiram replicar 47 de 53 trabalhos marcantes sobre o câncer.

O temor de que grande parte da pesquisa publicada seja defeituosa levou a propostas de facilitar a réplica fornecendo documentação mais detalhada. Um pedido para o estabelecimento de órgãos independentes para replicar experimentos levou a temores de que bons resultados sejam jogados fora.

Cientistas falam sobre "conhecimento tácito" e sobre os anos de maestria envolvidos em uma técnica.

"Muitos cientistas usam linhagens de células epiteliais extremamente sensíveis", escreveu Mina Bissell, pesquisadora de câncer, na "Nature". "A mais ligeira mudança em seu microambiente pode alterar os resultados -algo que um novato talvez não identificasse. É comum até para um cientista tarimbado lutar com linhagens celulares e condições de cultura e inadvertidamente introduzir mudanças que farão parecer que o estudo não pode ser reproduzido."

Mas isso pode funcionar em dois sentidos. No conhecimento tácito pode haver detalhes e desvios quase imperceptíveis -maneiras de inadvertidamente inserir as próprias expectativas nos resultados.

O problema pode piorar. Novos resultados excitantes continuarão aparecendo. Mas enquanto a discussão se torna mais intangível, os troféus serão cada vez mais raros. Se um resultado aparecer somente sob a Lua cheia com Vênus em retrocesso, é realmente um avanço do conhecimento humano?