Marcado: publicação acadêmica

Práticas da História – revista de teoria, historiografia e usos da história

Divulgo aqui o lançamento do primeiro número de uma nova revista dedicada aos estudos sobre teoria da história, história da historiografia e usos da história: Práticas da História. Trata-se de revista portuguesa, apoiada pela Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa, de iniciativa de António Rego e Joaquim Gafeira, e que aceita submissões em português, inglês, francês ou espanhol.

Link: Práticas da História – Journal on Theory, Historiography and Uses of the Past.

Open-access, peer-review e a recente polêmica da revista Science

Numa peça publicada este mês na revista Science (“Quem tem medo da revisão por pares?“), um jornalista (que também é doutor em biologia) abriu fogo contra o que percebeu como um problema dos periódicos de acesso livre (open-access): “pouco ou nenhum escrutínio” do conteúdo dos artigos submetidos para publicação. O artigo expõe os resultados do experimento do jornalista-biólogo, indicando que mais da metade das submissões de um artigo falso e claramente problemático foram aceitas. Sendo a Science uma revista paga, não tardaram a aparecer respostas da comunidade de Acesso Livre indicando problemas metodológicos no experimento e acusações de que o texto (e toda a ideia da experiência) seria tendenciosa.

O experimento

John Bohannon, jornalista e Ph.D. em biologia, enviou 304 versões de um artigo falso ao longo de 10 meses para periódicos de acesso livre. Tal artigo versaria sobre “propriedades anticancerígenas de uma substância química extraída de um líquen”. Como muitos desses periódicos são propriedades de empresas privadas de publicação, é prática relativamente comum a cobrança de uma “taxa de publicação” – ao invés de o leitor pagar para ler, o autor arca com os custos. A partir daí, o autor investiga a constituição do que seriam, por um lado, maneiras de espoliar os cientistas ávidos por publicações em grande quantidade e, por outro, grande número de periódicos sem qualquer controle de qualidade. “Apenas 36 das 304 submissões geraram pareceres reconhecendo qualquer dos problemas científicos do artigo. E 16 desses artigos foram aceitos pelos editores apesar dos pareceres negativos.”

As respostas

Várias respostas surgiram logo em seguida da publicação do estudo (conforme já linkei anteriormente aqui). A maioria das críticas aponta para alguns problemas centrais de metodologia:

  • Bohannon não fez o mesmo experimento com publicações “tradicionais” (nas quais o leitor paga para ler o artigo), e portanto não deveria sugerir (como teria feito, segundo os críticos) que o baixo controle de qualidade estaria ligado diretamente ao acesso livre;
  • O autor teria escolhido periódicos de conhecida má reputação acadêmica, e a amostra seria majoritariamente composta de periódicos cujos editores e publicadores cuja identidade e autenticidade seria claramente duvidosa;
  • O autor teria focado no aspecto errado da crise que seus dados permitem visualizar – o problema não estaria nas políticas de acesso livre, mas no ciclo vicioso entre avaliações quantitativas de produção, proliferação de periódicos sem expressividade, relaxamento de políticas editoriais e de controle de qualidade, e consequente inflação dos índices quantitativos de publicação.

Algumas das respostas foram mais detalhistas que outras: cito em particular duas que se deram ao trabalho de pensar o que é o modelo de publicação de acesso livre – “A pegadinha da publicação de acesso livre: o que a revista Science entendeu errado“, no The Guardian, e “O que a Science – e o Cientista Gonzo – entenderam errado: acesso livre fará a pesquisa melhor“, de Curt Rice.

O Chronicle of Higher Education tentou fazer um breve balanço da discussão até o momento. A situação parece indicar que a maior parte das pessoas envolvidas na reflexão sobre publicação científica/acadêmica percebeu os problemas da peça na Science e sabe que a “crise” expressa por Bohannon é, na verdade, muito mais ampla – e envolve o próprio conceito de publicação científica e avaliação de resultados existente hoje.

E no Brasil?

No Brasil existe uma política bastante importante de incentivo à criação de periódicos acadêmicos pelos programas de pós-graduação em todas as áreas do conhecimento, e existe uma orientação expressa de que tais periódicos sejam de acesso livre – em um modelo que, diferentemente do modelo privado, não cobra nem de autores nem de leitores. Assim, pode parecer que essa polêmica não diz nada a nós. Mas essa é uma conclusão bastante equivocada.

Se de fato o problema exposto se refere (1) à lógica quantitativa de avaliação da pesquisa e (2) aos problemas do sistema de avaliação por pares tal como ele é feito hoje, então estamos diretamente implicados por essa crise. No primeiro ponto porque os indicadores da CAPES dão peso enorme à publicação em termos de quantidade de artigos – e o famoso QUALIS, que deveria marcar os periódicos por estratos que supostamente indicariam a qualidade do periódico, não só não atinge seu objetivo quanto não escapa da lógica quantitativa de avaliação. Quanto ao segundo ponto, a ampla maioria (para não dizer a totalidade) dos periódicos nacionais fundados e gerenciados por programas de pós-graduação em universidades públicas (mas também em algumas privadas) tem políticas de avaliação por pares.

É difícil discordar de que é preciso avaliar de alguma forma a produção dos pesquisadores – ainda mais em um país como o Brasil no qual a pesquisa é basicamente financiada com dinheiro público. Mas a discussão que atravessa os debates internacionais sobre avaliação científica é igualmente importante no Brasil: como elaborar esse tipo de avaliação? Se as análises quantitativas não são as mais adequadas, como elaborar uma análise que seja ao mesmo tempo qualitativa e possível de ser feita em um cenário de população acadêmica crescente? Ou, então, como elaborar uma avaliação que combine com justeza aspectos quantitativos e qualitativos? Considerando também que recentemente tem sido muito questionada a tal “internacionalização” das universidades brasileiras, será difícil escapar dessas perguntas nos próximos anos.