No seguimento da polémica envolvendo a investigadora Sónia Melo, descobri um conceito que desconhecia: Post-publication Peer Review.

Sou bastante crítico do processo actual de peer-review. No passado, abordamos a ciência a metro, bem como a referência a que metade da Ciência é falsa… Sempre defendi que a Ciência tem que se actualizar e adaptar, nomeadamente ao ritmo do Mundo Moderno.

Pois bem, o Post-publication Peer Review é um passo nesse sentido, e foi isso que permitiu “topar” a investigadora Portuguesa. Tudo começou no site PubPeer, em Agosto do ano passado, onde alguém chamou a atenção para problemas em papers da investigadora premiada. As vantagens de um site deste género foram claramente enumeradas no respectivo blog:

• Carácter anónimo das contribuições, permite tal como no processo tradicional de peer-review, evitar personalizar a ciência, pois em determinados domínios, são tão poucos os cientistas, que qualquer contribuição poderia ser demolidora, nomeadamente em termos de resposta, abuso de poder, etc. Tal permite nomeadamente encorajar contributos, mesmo que vindos de alguém irrelevante em termos científicos.
• A centralização nalguns sites de comentários facilita o trabalho associado, evitando nomeadamente o de ter que se percorrer muitos websites, alguns com entradas restringidas.
• Existência de alertas, que permite seguir a investigação em determinados tópicos e publicações.

Outro site particularmente interessante é o For Better Science. A investigadora Sónia Melo também foi aí referenciada, num longo artigo. É mais limitado em termos de alcance, mas contribui para chamar a atenção para a má ciência que se faz. Aliás, os cientistas não são apenas o que produzem nova Ciência, mas os que acabam com a má Ciência. Veja-se o exemplo desta investigadora, cuja função é também catar gráficos inconvenientes, antes deles verem a luz.

É claro que o processo final passa pela retratação dos maus artigos científicos. Neste âmbito, o site Retraction Watch é uma referência. A Sónia Melo também tem uma referência, e nesse artigo se verifica que ela não gosta de comentários anónimos. Infelizmente, em Ciência, não é a personalização que interessa, mas sim a Ciência. Nada mais…

Na passada semana, vimos no artigo sobre se o chocolate emagrece, como a Ciência está a passar por momentos difíceis. Na verdade, a Ciência também está a ter dificuldades em adaptar-se aos novos tempos da Internet, mantendo processos arcaicos, e pior, criando dúvidas sobre a quantidade de ciência que se produz não terá da passar por um processo de reciclagem qualquer. É claramente também um problema de quantidade vs. qualidade…

Quem me conhece sabe que sou bastante crítico do que se passa no domínio científico actual. Para mim é claro que o actual processo de peer-review, que se arrasta durante meses, terá que ser substituído por algo mais moderno, mais rápido, como afirmei neste artigo.

Surpreendentemente, há uns dias tropecei num artigo publicado na revista The Lancet. É uma revista científica da área médica, tendo um factor de impacto muito elevado, sendo considerado uma das revistas médicas mais prestigiadas do Mundo. O seu editor é Richard Horton, que na edição de 11 de Abril, escreveu um artigo que está disponível aqui. Dele extraí algumas frases que evidenciam como quem está dentro (e que já sofreu na pele a fraude médica provavelmente mais significativa das últimas décadas), também não tem dúvidas de que a Ciência está literalmente podre:

• “A lot of what is published is incorrect.” I’m not allowed to say who made this remark because we were asked to observe Chatham House rules. We were also asked not to take photographs of slides.
• Why the paranoid concern for secrecy and non-attribution? Because this symposium—on the reproducibility and reliability of biomedical research, held at the Wellcome Trust in London last week—touched on one of the most sensitive issues in science today: the idea that something has gone fundamentally wrong with one of our greatest human creations.
• The case against science is straightforward: much of the scientific literature, perhaps half, may simply be untrue. Afflicted by studies with small sample sizes, tiny effects, invalid exploratory analyses, and flagrant conflicts of interest, together with an obsession for pursuing fashionable trends of dubious importance, science has taken a turn towards darkness. As one participant put it, “poor methods get results”.
• The apparent endemicity of bad research behaviour is alarming. In their quest for telling a compelling story, scientists too often sculpt data to fit their preferred theory of the world. Or they retrofit hypotheses to fit their data.
• Universities are in a perpetual struggle for money and talent, endpoints that foster reductive metrics, such as high-impact publication. National assessment procedures, such as the Research Excellence Framework, incentivise bad practices. And individual scientists, including their most senior leaders, do little to alter a research culture that occasionally veers close to misconduct.
• Can bad scientific practices be fixed? Part of the problem is that no-one is incentivised to be right. Instead, scientists are incentivised to be productive and innovative.
• The conclusion of the symposium was that something must be done. Indeed, all seemed to agree that it was within our power to do that something. But as to precisely what to do or how to do it, there were no firm answers. Those who have the power to act seem to think somebody else should act first.
• The good news is that science is beginning to take some of its worst failings very seriously. The bad news is that nobody is ready to take the first step to clean up the system.