blog
sobre o blog
links
artigos 2007+2008
fotoblog
bud
fale conosco
observatório da universidade ANO IV
O NOVO QUALIS, QUE NÃO TEM NADA A VER COM A CIÊNCIA DO BRASIL
sábado, outubro 10 2009 - 05:27

CLINICS 2009;64(8):721-4

O NOVO QUALIS, QUE NÃO TEM NADA A VER COM A CIÊNCIA DO BRASIL

CARTA ABERTA AO PRESIDENTE DA CAPES

Mauricio Rocha-e-Silva, Editor

Hospital das Clínicas, Faculdade de Medicina da Universidade de São Paulo

São Paulo/SP, Brazil.

mrsilva36@hcnet.usp.br

Professor Doutor Jorge Guimarães

DD Presidente, CAPES

São Paulo, 2 de agosto de 2009.

Meu caro Jorge

Você já viu, não é, o Novo Qualis está dando pano pra mangas! Até rendeu excelente matéria em “O Estado de São Paulo” sob o sugestivo título Ranking coloca revistas científicas brasileiras em ‘risco de extinção’.1 Entrevistado,você disse “não concordar com algumas mudanças como a limitação do número de revistas que podem ser classificadas num determinado estrato.” Viva! O Senhor Presidente começou a ver o problema! Infelizmente você adotou um tom de crítica ultraleve, para minimizar, como mero detalhe, esta que é a mais perversa das invenções do Comitê dos Numerólogos Alienados (CNA). Desculpe-me, mas inventei esta sigla porque siglas estão na moda e porque me recuso a lembrar o nome oficial do Comitê. Ao decidir que apenas 25% dos periódicos do mundo são dignos de figurar no Qualis A, os Alienados estabeleceram, talvez sem notar, curiosa e inevitável conseqüência matemática: o valor limite para cada área foi fixado por numerologia, sem nenhuma relação com a realidade da respectiva produção científica. Apenas um exemplo: na Medicina I, o fator de impacto limite é 3.7, porque 25% das revistas mundiais nas categorias (“subject categories” do JCR) incluídas em Medicina 1 têm fator de impacto ! 3.7. Relação com a produção científica brasileira em Medicina 1? Nenhuma! Alias, quem se der ao trabalho de ler o documento básico do CNA vai constatar a completa falta de preocupação com essa “insignificância”. Este fato é tão importante que é preciso enfatizar. Através dessa numerologia arbitrária os Senhores Alienados criaram uma tabela que vale para o Afeganistão, Haiti, Estados Unidos, Suíça e Ruanda. Também para Marte, Júpiter ou Netuno. Ou se quisermos ter um ataque de Helenismo erudito, para Ares, Zeus e Poseidon! Em outras palavras não vale para ninguém! É apenas um fetiche! “To the best of my knowledge”, como se diz por aí, ninguém havia divulgado esse aspecto do Novo Qualis. Se você preferir uma posição técnica, aí vai: a base de construção do Qualis A está metodologicamente viciada:é uma quase impossibilidade estatística (p < 10-50, algo como a probabilidade de dar zebra no hipotético basquete ilustrado mais adiante) que o primeiro quartil dos periódicos de CADA uma das SUBJECT CATEGORIES do ISI seja o limite adequado para CADA UMA das áreas da Ciência Brasileira. Mas nem tudo está perdido, pois ganhamos um aliado importante: estamos te recebendo de braços abertos, ilustre Presidente para jogar no nosso time. Quem sabe até ser nosso capitão: Como nos nossos bons e velhos tempos de estudantes, vamos sair pra rua, atrás de uma faixa com um bom slogan: Abaixo o Novo Qualis! Restaure-se o realismo!

Mas o problema não se esgota nessa numerologia alienada! Ninguém discute que o velho Qualis está superado e há que criar nova forma de classificação para as publicações científicas brasileiras. Desculpe-me o repetir aquilo que você mesmo orgulhosamente tem dito, nossa ciência cresceu consideravelmente em qualidade e geometricamente em quantidade. Acrescento que em qualidade, somos o Número Um do BRIC (Brasil, Rússia, Índia, China). Em quantidade,o Número Quatro. Mas quando comparamos nossa qualidade com a do primeiro mundo ainda há um longo caminho a percorrer. Publicamos mais que a Suíça, mas a qualidade fica muito atrás. Como se medem essas coisas? O Qualis velho já usava o Fator de Impacto como medida de qualidade, porque não havia escolha: naquele tempo era a única régua disponível. E se aos nossos olhos de 2009, o velho Qualis parece baixo há que lembrar que era realista quando criado. E por ser realista, era atingível. E por isso não distorceu a avaliação. Muito pelo contrário: contribuiu para “puxar” para cima a qualidade da ciência brasileira, e isso devemos à CAPES! Obrigado a você e aos seus antecessores! Mas neste novo milênio, existem réguas novas. E a tecnologia da informação está anos luz adiante dos tempos do velho Qualis. E aqui está justamente o segundo grande problema do novo Qualis: enclausuraram a avaliação da produção científica brasileira na camisa de força de um único e discutível critério, o Fator de Impacto do JCR. Por falar em réguas novas, o que dizer do “metro” do Scopus, que abrange quase o dobro dos periódicos cobertos pelo ISI? E o Fator H, que tem limitações mas pode ser corrigido? Mas não! Os Alienados delegaram a um computador situado em Philadelphia a avaliação da nossa ciência. Como gesto de subserviência intelectual já seria péssimo! Pior é que o dono do computador, o Institute for Scientific Information (ISI), já cansou de alertar: o computador do JCR jamais foi programado para avaliar trabalhos científicos individuais, mas sim periódicos científicos.Fator de Impacto não oferece qualquer garantia de que o artigo “A”, publicado no periódico “X”, com Fator de Impacto “N” tem a qualidade prometida pelo Fator de Impacto “N”. Muitíssimo pior: aquele gesto de subserviência ao bom e velho imperialismo ideológico ianque excluiu totalmente a inteligência humana de qualquer participação no processo de avaliação da ciência brasileira! Cabe a pergunta: foi comodismo (o computador faz tudo, a gente descansa) ou foi burrice (nem pensamos nisso)?

O terceiro problema deriva da composição de área Qualis de pós-graduação. Já o analisei minuciosamente antes,2 mas não custa resumir aqui. Cada área de conhecimento CAPES engloba uma pluralidade de categorias (“subject categories”) do JCR. Sempre usando Medicina I como exemplo, incluem-se ali cerca de 15 “subject categories” (allergy, cardiology,clinical neurology, critical care medicine, endocrinology,gastroenterology, hematology, immunology, infectious diseases,nephrology, oncology, ophthalmology, respiratory system, rheumatology, possivelmente mais uma ou outra que me escapou). Estas categorias têm enormes diferenças de Impacto entre elas. O próprio ISI já disse um zilhão de vezes: é terminantemente proibido comparar Fatores de Impacto entre diferentes “subject categories”, porque cada uma tem capacidade intrínseca própria de gerar citações.Mas nossos numerólogos lixam-se! A consequência é tão previsível quanto resultado de jogo de basquete Dream Team vs. Caixa Prego FC! As áreas com alta capacidade inerente de receber citações, tipo Oncologia e Imunologia,vão lotar os níveis mais altos da pós-graduação brasileira. No outro extremo, áreas com capacidade inerente baixa, tipo Nefrologia e Oftalmologia serão relegados aos níveis mais baixos. Mas será que a Imunologia e Oncologia são mesmo ciências de elite, enquanto Nefrologia e Oftalmologia são a ralé? Quando puder, companheiro, pergunte aos numerólogos: a pergunta é válida porque estou convencido de que,alienadamente, nem perceberam o tamanho do erro e de fato acreditam nisso: lá na rodinha deles, desconfio que suas sinceras cabecinhas balançam afirmativamente; já em público suas falsas línguas gritam “não”! Mas assim como é certo que o Dream Team ganharia de lavada, também é certo que o novo Qualis fará com que cada área discrimine programas tipo elite e programas tipo ralé. Também é garantido que essa segregação não terá relação com qualidades ou defeitos, apenas com as respectivas capacidades inerentes de gerar citações. Voltando ao argumento técnico, a Tabela 1 prova o que estou dizendo:

Tabela 1. Fator de impacto limite para 25% das revistas das áreas

Área

Impacto para Qualis A

Impacto crítico genérico para Medicina 1

>3.70

Impacto Crítico correto para Oncologia

> 4.53

Impacto Critico correto para Oftalmologia

> 2.57

Portanto, pela própria e furadíssima metodologia numerológica dos Alienados, o Qualis A (Impact Factor > 3.7) é altamente permissivo para Oncologia (deveria ser 4.5), altamente restritivo para Oftalmologia (deveria ser 2.5), como queríamos demonstrar! Quem quiser se dar ao trabalho, pode repetir essa operação para qualquer área e vai provar a mesma coisa, mutatis mutandi. Mas deixemos de lado essa erudição besta e voltemos à metáfora esportiva. Afirmo e assino embaixo: o novo Qualis “rouba” a favor de Oncologia e “bate a carteira” da Oftalmologia (como sabe, Jorge, não sou oncologista ou oftalmologista). Simplesmente peguei o “líder” e o “lanterna” do ranking Medicina I. Não estou acusando ninguém, fora, é claro, os Alienados; e apenas para tentar impedir que esse jogo absurdo seja jogado. Esta é apenasa pequena acusação. A grande vem depois. Não podemos nos dispersar: vamos à luta! Seja nosso capitão, Jorge!

O quarto problema diz respeito aos periódicos brasileiros. Aqui, o esnobismo dos numerólogos se junta a certo saudosismo brega pela moda chique do século passado. Os ilustres Senhores aprenderam etiqueta de publicação nos anos 60-80 com seus maiores (como eu aprendi com o velho Mauricio!): publicar em periódico brasileiro era burrice e vergonha! Ninguém lia, ninguém tinha acesso, etc, etc.Mas parece que os tipos nem perceberam que já estamos no Século XXI. E aqui também, Jorge, aqui na ciência, a moda chique começa a mudar: nestes primeiros nove anos, os downloads de artigos da coleção SciELO saltaram de menos de meio milhão para quase 100 milhões/ano. É isso mesmo: somos hoje duzentas vezes (vinte mil por cento!) mais lidos que em 2000! Não me entenda mal, meu amigo! Não estou querendo dizer que ao sul do Trópico de Câncer se publica ciência tão boa quanto ao norte. Mas essa diferença, que é real, não exclui a existência de viez anti-periódicos terceiromundistas. Este viez define-se em poucas palavras: a diferença de impacto é muito maior que a diferença de qualidade. Traduzindo para o óbvio ululante: se um autor puder escolher entre citar artigos de qualidade semelhante, um do New England Journal, outro do Brazilian Journal, geralmente vai preferir o primeiro. Vale para autores do mundo inteiro, inclusive para brasileiros. Vale até naqueles casos em que o artigo do Brazilian é melhor que o do New England. Lembre-se, meu amigo: como diz o próprio ISI, o alto Fator de impacto da revista “X” não garante que o artigo “A” seja bom! Só que é mais chique citar New England que Brazilian! Depois que virei editor ando freqüentando outras rodas, Jorge. Vou sempre às reuniões do Council for Science Editors dos Estados Unidos. Até mesmo eles reconhecem este fato: revistas dos “developing countries” têm menor impacto intrínseco que as do primeiro mundo (assim como oftalmologia vs. oncologia, mutatis mutandi). E aqui chegamos ao grande paradoxo, que periga descambar para a esquizofrenia oficial: de um lado, na mão da história, como diria o velho Lênin, Governo Federal, CNPq, CAPES apóiam (e muito!) os periódicos brasileiros. Neste ano, CNPq e CAPES nos repassaram R$ 6.000.000,00 com excelentes critérios de seleção. Nós só temos é que agradecer! Tudo beleza, as revistas brasileiras progredindo a olhos vistos, o casamento CNPq-CAPES-SciELO a união perfeita. Mas agora os numerólogos alienados escaparam pela contra mão da história e decretaram: fica terminantemente proibido publicar em periódicos brasileiros! Quem cometer a infração será impiedosamente punido com o rebaixamento de sua área de pós graduação.

É isso que cria o risco de extinção de que fala “O Estado de São Paulo”. Também torpedeia brutalmente o trabalho do SciELO. Logo o SciELO, que serve de modelo para o mundo! É isso que queremos, Jorge?

Correndo riscos por defender a preservação dos promissores periódicos brasileiros, vou repetir o que tenho escrito e dito (inclusive diante do Council for Science Editors):uma boa coleção de revistas autóctones é, cada vez mais, imperativo de soberania científica nacional. Nações que não as têm vão depender da boa vontade do primeiro mundo para publicar. Ou seja, vai continuar difícil publicar o que não interessa aos lá de cima; mais difícil ainda publicar o que interessa tanto aos lá de cima que é melhor engavetar e deixar os old friends “ganhar” a corrida. Todos sabemos que isso ocorre! Guglielmo Marconi criou uma Revista Italiana de Física quando percebeu que os do norte da Europa iam “sugar” suas descobertas. Pois é, Jorge: se os Alienados não entrassem em cena, dentro de pouco tempo teríamos revistas aceitáveis até para os nossos maiores “cobras”! Estou portanto acusando formalmente os numerólogos de ato de lesa-pátria. Sei que é brega, mas estou ficando cada dia mais brega!

O que mais pode/deve ser feito, além de tirar o Qualis do surrealismo em que o colocaram: surrealismo, no caso é (palavras suas, Jorge) limitar “o número de revistas que podem ser classificadas num determinado estrato”?1 Além de tirar o Qualis dali, o que fazer para proteger as revistas brasileiras?A resposta é óbvia, até porque já foi usada pela CAPES no passado: precisamos de um “subsídio” para os periódicos nacionais, um “desconto” no Fator de Impacto Crítico. Algo como 40% em relação aos atuais valores do Qualis em Medicina. Porque 40%? É um valor empírico e operacional, ao qual cheguei por aproximações seriadas, sem pré-condições.Consequentemente, estou convencido que é bem melhor que o fetiche do CNA. Com 40% de desconto, o “Qualis A2” para as Medicinas 1, 2, e 3 se altera como mostra a Tabela 2.Para comparação, a Tabela 3 mostra os Fatores de Impacto JCR das cinco maiores revistas brasileiras no ano de 2008:3

Tabela 2. Qualis A2 com 40% de desconto

Área

Qualis A2 “cheio”

Qualis A2 com 40% de desconto

MEDICINA I

3.700

2.220

MEDICINA II

2.300

1.380

MEDICINA III

1.800

1.080

Tabela 3. Fatores de impacto JCR das cinco maiores revistas brasileiras em 2008

Revista

Fator de impacto

1. Memórias Instituto Oswaldo Cruz:

1.450

2. Journal Brazil Chemical Society:

1.430

3. Revista Brasileira Psiquiatria

1.318

4. Brazilian Journal Medical Biological Research

1.215

5. Revista Saúde Pública

0.963

Repetido para outras áreas do conhecimento esse exercício dará resultados semelhantes. Mesmo com esse “desconto”, apenas 4 periódicos brasileiros atingiriam hoje Qualis A2 e apenas para as Medicinas 2 e 3. Como você pode ver, não proponho que se escancare a porteira. Mas essa “pequena” abertura traria vantagem enorme: quando o velho Qualis foi estabelecido nenhuma revista brasileira tinha impacto suficiente para ser Qualis Internacional A. Mas os valores daquele tempo criaram um horizonte viável. Em médio prazo, muitas revistas chegaram lá, com grande proveito para a ciência brasileira e para os periódicos. Tal como está, a nova tabela não oferece horizonte viável! Com 40% de desconto algumas já chegam ao A2 e muitas outras podem chegar!

Para quase terminar, meu amigo, permito-me a ousadia de botar defeito numa das suas afirmações ao Estadão: Ao comentar as críticas da comunidade, você disse que “estão reclamando deles mesmos”.1 O novo Qualis “foi decisão dos pares, não da Diretoria (da Capes)”.1 Mas, por favor, companheiro Jorge, você sabe muito bem: decisão por pares é decisão de mérito. O novo Qualis não é uma decisão de mérito! É uma decisão política! Antes de ser promulgado, teria que ser discutido pela comunidade. Tolerar o debate agora, mas afirmar (palavras suas, Jorge) que “não vamos mexer nos critérios, porque não precisa1 é uma forma perversa de centralismo democrático. Se ficarmos assim, só nos resta esperar pelo impacto do meteoro “Novo Qualis” sobre a ciência brasileira! Sobre os periódicos brasileiros! E, depois do impacto, pensar sobre o que fazer com os restos! Mas felizmente ainda há tempo: é imperioso começar a discutir para valer, na comunidade, não apenas entre o público interno, como desviar a rota do meteoro.

Desculpe-me porque esta carta ficou meio longa, mas não consegui desenvolver racionalmente meu argumento completo em poucas palavras. Termino numa nota leve: quem sabe, meu caro Jorge, você podia imitar o que aconteceu no domingo, 26 de julho, em Belgrado, durante a final da Liga Mundial de Vôlei. Quando o juiz de cadeira, um holandês simpático, cometeu erro grotesco de arbitragem, a mesa de anotadores, exorbitando de suas atribuições, fez algo que eu, velho fã do vôlei, nunca tinha visto. Chamou o holandês e mui simplesmente deu-lhe a ordem política: mude sua decisão, porque não dá para viver com esse erro! Pois não é que funcionou: o homem voltou para a cadeira e mudou a decisão! Por incrível, que pareça, meu companheiro Jorge, o mundo não acabou! Zeus que mora logo ao lado, no Monte Olimpo, não lhe atirou um de seus raios fatais; Ares não declarou guerra; talvez até mais realisticamente, os vinte mil sérvios “prejudicados” não saltaram da arquibancada por sobre a cerca baixa para trucidar o holandês. O jogo acabou em paz, limpo e transparente! Agora cabe a você, meu caro, chamar os numerólogos e ordenar-lhes que rediscutam amplamente,conosco! E que depois consertem, porque não dá para viver com erro tão grotesco. Faça o que é preciso, Jorge: mande o novo Qualis para Netuno (ou para Poseidon se estiver numa veia mais helênica)! Mexer nos critérios, Jorge, é preciso, porque mexer, assim como navegar, é preciso!

Com toda minha admiração, amizade e cordialidade

Um grande abraço

Mauricio Rocha e Silva

Editor, Clinics

REFERÊNCIAS

1. Escobar E. Ranking coloca revistas científicas brasileiras em ‘risco de extinção’. O Estado de São Paulo, 6 de julho de 2009, página A13.

2. Rocha-e-Silva M. O Novo Qualis ou a tragédia anunciada. Clinics.2009;64:1-4.

3. Journal of Citation Reports. ISI Web of Knowledge. http://apps.isiknowledge.com.

<< Navegar para sábado, 10 de outubro de 2009 Adicionar Novo Comentário
Armando G. M. Neves
segunda-feira, outubro 12 2009 - 10:37
Outros argumentos contra o Qualis
Algumas semanas atrás troquei com meus colegas do Depto. de Matemática da UFMG uma série de mensagens em que me manifestava contra o Qualis e sugeria que a melhor forma de melhorá-lo era acabar com ele. Reproduzo aqui com algumas modificações o conteúdo da última mensagem que enviei: Caros colegas, Talvez eu tenha sido meio enfático demais em minha proposta e talvez até não tenha sido levado a sério por causa disto. Mas tenho uma proposta concreta para melhorar o Qualis: acabar com ele. Seguem aqui alguns argumentos sérios para isto e que podem ser colocados em um documento bem embasado a ser apresentado à Capes. 1. Em meus diversos contatos com pesquisadores das mais diversas áreas dentro desta universidade e de outras descobri que os menos adeptos a uma classificação numérica de alunos, ou universidades, ou cursos, etc, somos nós cientistas exatos. É incrível, mas enquanto biólogos ou historiadores, só para citar dois exemplos, adoram atribuir números reais não-negativos a entes abstratos, nós, que estudamos os números, resistimos a isto. E o fazemos porque sabemos muito bem que os cursos de pós-graduação, por exemplo, não são um conjunto parcialmente ordenável. Muito menos linearmente ordenável. Acho que se a iniciativa de explicar isto aos demais cientistas partisse de nós matemáticos, existe uma boa chance de que sejamos escutados. 2. Por pior que seja, o Qualis atual foi baseado em um critério objetivo e tem por finalidade facilitar a avaliação de cursos. Tentar mesclar esse critério objetivo atual com uma certa dose de bom senso, por exemplo colocando no nível A1 uma revista de cada área da Matemática, significa que estamos aceitando que critérios puramente objetivos são inaceitáveis. Por que continuar insistindo com eles? 3. Supondo que decidamos então por continuar com um critério puramente objetivo, iremos propor um novo critério, pois estamos insatisfeitos com o atual. Quem garante que algum critério objetivo não irá causar distorções semelhantes ou até piores que o critério atual? Não seria a instituição de um critério objetivo para julgar cursos de PG uma mera luta de poder, cada um querendo inventar um critério que "justamente" o beneficie? 4. Embora o objetivo do Qualis não seja o de classificar pesquisadores, e sim cursos, qualquer um que quiser utilizar o Qualis para classificar pesquisadores poderá fazê-lo. Por exemplo, por ocasião da minha promoção a Professor Associado, o parecer que recomendava tal promoção dizia que eu possuía publicações em revistas de bom nível. Será que o parecerista não se baseou no Qualis? 5. Um dos bens mais preciosos que possuímos é a liberdade de pensamento. Nunca ouvi dentro da universidade, a não ser por questões éticas, que se dissesse a algum professor que ele não poderia dirigir sua pesquisa em uma determinada direção. Embora o Qualis não seja de forma alguma imperativo, não há como negar que sua existência direcione a pesquisa de forma a que seja publicável nas revistas mais bem classificadas. A Capes está ligada ao Ministério da Educação e portanto ao governo. Estamos portanto permitindo ingerência do governo dentro das instituições de pesquisa. No caso das universidades, isto é uma afronta ao art. 207 da Constituição, que diz que as universidades são autônomas do ponto de vista científico. 6. Cito novamente um trecho que retirei de "Citation Statistics, A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS)", www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf : "But citation data provide only a limited and incomplete view of research quality, and the statistics derived from citation data are sometimes poorly understood and misused. Research is too important to measure its value with only a single coarse tool." Embora o contexto de onde foi retirado esse trecho seja o de classificar pesquisadores através de número de publicações ou de citações ou fator de impacto, etc, o mesmo se aplica ao Qualis. A qualidade de um artigo não pode ser confundida com a qualidade de um periódico, assim como a qualidade de um periódico não pode ser medida por um único número. Além do mais, assim como eu, muitos devem ter suas experiências pessoais negativas de ter seus artigos rejeitados em determinadas revistas por serem pouco conhecidos, ou por rivalidade ou inimizade com o referee, ou por motivos políticos. Nesse caso, muda-se de revista, quase sempre para uma menos conhecida, de menor impacto, Qualis mais baixo, e publica-se onde for possível, não é? Será que os conceitos dos cursos de PG ou dos pesquisadores têm que sofrer por causa disto? Não seria muito mais justo, embora mais trabalhoso, se só a qualidade das publicações fosse levada em conta? Vou parar por aqui, mas gostaria que meus colegas mais influentes no meio científico abraçassem essa luta. Seria uma excelente contribuição da Matemática a si mesma e ao resto da Ciência brasleira.
1 registros total(ais)        
Adicionar Novo Comentário
Seu nome  
Assunto  
Conteúdo:  

10001000101010101100110011001100110011001010000011000000111111111010000011000000111100001010000010100000100010001000100010101010
blogsobre o bloglinksartigos 2007+2008fotoblogbudfale conosco