Herton Escobar / O Estado de S. Paulo
Um dos princípios mais básicos da ciência -- talvez o mais básico de todos -- é que um estudo científico só é considerado válido se os seus resultados puderem ser reproduzidos por outros laboratórios. É o princípio da replicabilidade, que deve funcionar mais ou menos como uma receita de bolo: se você diz que misturou os ingredientes X de uma forma Y e chegou a um resultado Z, qualquer outra pessoa que seguir essa mesma receita deverá chegar ao mesmo resultado Z em qualquer lugar do mundo. Caso contrário, alguma coisa está errada. Talvez a receita não tenha sido anotada corretamente, ou você está escondendo algum ingrediente, ou o bolo não era exatamente aquilo que você achava que era. Talvez o forno estava desregulado. Talvez nem você mesmo consiga fazer ele ficar tão gostoso de novo como daquela vez, sem saber porquê.
É natural que isso aconteça de vez em quando; afinal, nem cientistas nem confeiteiros são perfeitos. O problema é que vem acontecendo muito, demais da conta, e isso está começando a comprometer o avanço das ciências biomédicas, responsáveis pela descoberta e desenvolvimento de novas terapias e medicamentos (os bolos que salvam nossas vidas quando precisamos), como apontam o diretor e o vice-diretor dos Institutos Nacionais de Saúde (NIH) dos Estados Unidos em um artigo publicado na edição desta semana da revista Nature (link: http://www.nature.com/news/policy-nih-plans-to-enhance-reproducibility-1.14586).
"A ciência sempre foi vista como uma atividade 'autocorretiva', já que seu avanço é fundamentado na reprodução de trabalhos anteriores. No longo prazo, isso continua sendo verdade. No curto prazo, porém, os mecanismos de checagem e validação (checks and balances) que garantiam a fidelidade da ciência foram aleijados, comprometendo a capacidade dos pesquisadores de reproduzir os resultados dos outros", escrevem Francis Collins e Lawrence Tabak.
O artigo é contundente. E o gabarito de seus autores, assim como o peso da revista na qual ele foi publicado, não deixa dúvidas de que o problema é sério.
As causas, segundo Collins e Tabak, são várias, incluindo a falta de treinamento de pesquisadores em metodologia experimental e uma "crescente ênfase em fazer afirmações provocativas em vez de apresentar detalhes técnicos" essenciais à replicabilidade dos resultados publicados. Muitas revistas científicas também não cobram esses detalhes como deveriam em suas publicações. "Além disso, há cientistas que supostamente utilizam 'ingredientes secretos' para fazer seus experimentos funcionarem, que não são revelados no momento da publicação ou são apenas vagamente descritos no trabalho, com o intuito de manter uma vantagem competitiva (para os autores)", escrevem eles. "Que esperança há de que outros cientistas conseguirão construir algo em cima desses resultados para impulsionar o progresso da biomedicina?"
Collins e Tabak fazem questão de ressaltar que não há indícios de que esses estudos "irreplicáveis" sejam forjados ou intencionalmente adulterados de alguma forma. Salvo raras exceções, não é possível estabelecer uma relação direta entre irreplicabilidade e má conduta por parte dos pesquisadores.
Farmácia. Uma das principais referências citadas por eles é um artigo publicado em 2011, na revista Nature Reviews Drug Discovery, por três pesquisadores da Bayer Healthcare, uma das maiores empresas da indústria farmacêutica mundial, que por sua vez cita um outro artigo, publicado na mesma revista, segundo o qual a taxa de sucesso de pesquisas clínicas de fase 2 havia caído de 28% para 18%. "Projetos de validação que foram iniciados em nossa companhia, baseados em dados promissores publicados na literatura científica, têm frequentemente levado a resultados desapontadores, quando dados cruciais não podem ser reproduzidos. Conversando com cientistas, tanto na academia quanto na indústria, parece haver uma impressão geral de que muitos dos resultados publicados são difíceis de serem replicados", escrevem os autores da Bayer.
Por mais que as pessoas não gostem das grandes empresas farmacêuticas (e muitas vezes temos razão para não gostar mesmo), são elas que desenvolvem praticamente todos os medicamentos que temos à nossa disposição nas farmácias e nos hospitais. O fato de elas estarem gastando centenas de milhões de dólares tentando reproduzir experimentos que não funcionam, portanto, é um problema sério para todos; pois pode ter certeza de que no custo do próximo medicamento que funcionar estarão embutidos os gastos de testar todos os outros que não funcionaram antes dele. Ou seja, no final das contas, quem paga o prejuízo dessa irreplicabilidade científica são os consumidores.
Os autores da Bayer fizeram um levantamento interno nos seus laboratórios e verificaram que apenas em 20% a 25% dos casos os resultados obtidos pela empresa corroboravam os resultados científicos publicados pela academia. "Surpreendentemente, mesmo trabalhos publicados em revistas de prestígio ou por vários grupos independentes não tinham garantia de replicabilidade. De fato, nossa análise revelou que a replicabilidade de dados publicados não se relaciona diretamente com o fator de impacto das revistas, com o número de publicações sobre o referido alvo ou com o número de grupos independentes que tenham gerado essas publicações", escrevem Florian Prinz, Thomas Schlange e Khusru Asadullah. (A íntegra do artigo está disponível neste link: http://www.nature.com/nrd/journal/v10/n9/full/nrd3439-c1.html)
Assim como Collins e Tabak, eles fazem questão de dizer que não estão acusando os pesquisadores de fraude, e apontam várias razões por trás desse alto grau de irreplicabilidade. Entre eles, a forte e crescente competição entre cientistas e laboratórios, que gera pressão pela publicação rápida e constante de resultados. "É concebível imaginar que, em alguns casos, isso pode resultar em negligência no controle ou no relato de condições experimentais", dizem eles.
Como era a receita daquele bolo mesmo?
...
Gostou? Compartilhe! Siga o blog no Twitter: @hertonescobar; e Facebook: http://goo.gl/3wio5m
