Critérios quantitativos para analisar o valor da publicação de artigos científicos (página 2)

A avaliação da publicação de um trabalho científico é muito difícil, principalmente quando é necessário julgar um currículo ou ponderar sobre a produtividade científica de uma instituição. Verificar o desempenho de uma faculdade de Medicina, de um programa de pós-graduação ou de um setor de pesquisa são desafios que raramente escapam da influência subjetiva^1-4. Não existindo padrões objetivos estabelecidos, cabe ao examinador guiar-se por critérios pessoais considerados por ele mais justos, mas que decorrem de sua experiência, sendo eventualmente sujeita a interesses alheios ao trabalho. Essa falta de regras pode, eventualmente, resultar em parcialidade ou falta de uniformidade dentro de uma mesma banca examinadora^3-15.

Ao se observar as publicações, o candidato ou a instituição devem ser julgados pela autoria do trabalho, pelo tipo de publicação e pelo valor do veículo de divulgação. As dificuldades para analisar criteriosamente publicações científicas motivaram o presente artigo, que tem por objetivo apresentar uma proposta para determinar, de maneira quantitativa, o valor dos trabalhos científicos, sem influências alheias aos fatores inerentes à divulgação da pesquisa^10,13.

O critério de avaliação tem por base o julgamento, de maneira quantitativa, dos diferentes fatores envolvidos no julgamento da autoria do trabalho, do veículo para sua divulgação e da qualificação da forma em que a pesquisa científica foi publicada.

Para facilitar e tornar menos subjetivo o julgamento da autoria, foi considerada a soma de pontos de todos os autores como sendo 15. Esse valor baseou-se na quantificação apresentada em outros artigos sobre esse tema^3,10. A Tabela 1 exibe uma proposta para quantificar o valor de cada posição do pesquisador na autoria do trabalho^{4,9,10,15,16,17}.

Tendo em vista que na padronização do presente critério a soma das autorias foi definida como sendo 15, quando um único autor tiver produzido sozinho o trabalho, ele merece receber o valor integral desses pontos^8,13,19.

Entre dois autores, é razoável atribuir ao primeiro um valor 50% superior ao segundo. Dessa maneira, para manter coerente a padronização quantitativa, a diferença proposta deve ser mantida mesmo quando houver mais autores^10,19,20.

Existem muitas formas de ordenar os autores e é muito difícil saber o critério utilizado para essa distribuição^{3,7,11,12,14,15,17,19} . Apenas para exemplificar, o primeiro autor pode ser o que teve a idéia, o que mais trabalhou, o orientador da investigação, o coordenador do grupo de pesquisa ou ainda o responsável pelo setor ou pela instituição onde foi desenvolvido o trabalho. Já o último autor pode ser entendido como o que menos trabalhou, o orientador da investigação, o responsável pela instituição onde a pesquisa foi desenvolvida ou aquele que financiou o trabalho.

Na presente padronização, optou-se por manter a ordem decrescente de valor entre o primeiro e o último. Caso o examinador saiba que a equipe ordenou os autores por um critério diferente, é evidente que ele deverá adequar os valores propostos para a autoria à seqüência decrescente por mérito relativo ao trabalho realizado e não pela ordem dos autores na autoria do artigo^10,18.

Os pontos atribuídos ao primeiro autor ou ao autor mais importante para o trabalho são maiores e a diferença entre ele e os demais seguirá uma constante até quando houver cinco autores⁷. A partir desse número, são concedidos valores idênticos para os autores mais afastados do primeiro.

Existem grandes diferenças entre os tipos de trabalhos realizados, portanto a sua pontuação também deve ser particularizada de acordo com seu valor para a comunidade científica à qual se destina^{10,11,14,19,20}. Frente às controvérsias encontradas na literatura, decidiu-se pela proposta de pontuação apresentada na Tabela 2. Por esse critério estão inseridos os tipos de divulgação do trabalho e seus respectivos valores¹⁰.

A apresentação em evento científico atinge um público muito restrito e seus conhecimentos são, geralmente, muito fugazes na memória de quem os assiste. É muito rara a consulta aos anais ou mesmo a suplementos de revista que contenham resumos de congressos para buscar subsídios a qualquer trabalho científico. Por outro lado, sabendo que a divulgação em eventos é quase livre de pré-julgamentos, muitos estudos sem critério científico e até mesmo condenáveis sob vários aspectos podem vir a ser expostos. Assim sendo, esse tipo de publicação receberia a menor pontuação.

Uma exceção deve ser feita com respeito à Nota Prévia, que é aprovada pela comissão científica e por um presidente de mesa do evento. Tratando-se, por princípio, de uma informação inédita e que pode ter grande valor, ela é apresentada para preservar a autoria de seu criador antes dos trâmites para uma publicação maior em uma revista. Portanto, essa forma de divulgação merece ser destacada com uma pontuação mais elevada^5,6,10,15.

Quanto às publicações em revista, elas devem receber uma pontuação superior, pois mesmo as Cartas ao Editor passam por um julgamento editorial antes de serem aprovadas.

Conceder valor ao autor e à instituição por seu trabalho é menos difícil do que ponderar a qualificação da revista^2,3,9,19. De início, não seria complicado se apenas fosse levado em conta o "fator de impacto" da revista em que o artigo foi publicado. Contudo, são notórios os seguintes aspectos^8,10,20,21:

Um outro aspecto a ser ponderado refere-se ao público específico a que se dirige cada trabalho realizado^8,9. Dessa forma, os autores precisam escolher o periódico mais adequado para atingir a essa população. Há pesquisas que interessam apenas à pequena comunidade na qual foram produzidas; outras podem ter alcance municipal ou regional; já a maioria é voltada para uma divulgação nacional e, se possível, mundial. Não se deve considerar que uma investigação de alcance mundial seja mais bem feita ou que tenha mais valor do que uma outra voltada a interesses comunitários específicos. O trabalho tem que ser analisado por suas qualidades intrínsecas e não pelo seu alcance em quantidade de público ao qual ele é direcionado.

Não é incomum encontrarem-se examinadores mais limitados intelectualmente, mesmo sendo renomados e pertencentes a grandes universidades ou até a órgãos governamentais, que, para avaliarem a produção científica, trazem consigo a lista do "fator de impacto" e fundamentam seu julgamento exclusivamente na soma dos impactos das revistas em que os artigos foram publicados^11,12,14. É evidente que a publicação em uma revista de maior impacto contribui para elevar o nome dos autores, da instituição e até de nosso país, mas há outros valores que precisam ser levados em conta e que somente os examinadores mais sensíveis e sábios são capazes de perceber^20,10.

Uma vez estabelecidos os pontos de cada um dos itens acima, com o auxílio das respectivas tabelas, a pontuação final é dada pelo produto de cada um desses fatores. Assim, multiplicam-se os pontos da posição do autor pelos pontos do tipo de publicação. Acrescenta-se a esse produto o fator de impacto da revista.

Considerando que os fatores de impacto variam entre zero e ao redor de 67, sendo que a grande maioria situa-se abaixo de um ponto, não se pode aplicar a multiplicação simples, pois todas as publicações em revistas com fator de impacto menor de um ponto seriam prejudicadas. Como conseqüência desse fato, sugere-se que o menor fator de impacto a ser atribuído a cada veículo de divulgação, indexada ou não, seja 0,1, mesmo para aquelas que estiverem abaixo desse valor ou que não tenham classificação. Em seguida, o fator de impacto seria multiplicado por 10 e esse resultado seria o levado em conta para ser multiplicado com o produto obtido pela posição do autor e tipo de publicação¹⁰.

Para se compreender melhor a aplicação prática desses parâmetros para a análise da produção científica, segue um exemplo de pontuação tendo como base um artigo que foi considerado aleatoriamente: Neugut AI, Marvin MR, Rella VA, Chabot JA: An overview of adenocarcinoma of the small intestine. Oncology 1997; 11: 529-36.

O valor da publicação para cada autor equivale ao produto de três parâmetros: (posição do autor entre os demais na autoria do artigo) X (tipo de publicação) X (fator de impacto X 10)

Nesse artigo há quatro autores, portanto, seguindo a Tabela 1, o primeiro autor receberá 6 pontos, o segundo autor, 4 pontos, o terceiro autor, 3 pontos e o quarto autor, 2 pontos, totalizando os 15 pontos propostos para o total da autoria.

Essa publicação é um artigo de revisão sem contribuição pessoal, que, de acordo com a Tabela 2, vale 40 pontos.

O fator de impacto da Revista "Oncology" é 1,274, que multiplicado por 10 resulta em 12,74.

Portanto, a pontuação de cada autor nesse artigo é:

Neugut AI: 6 X 40 X 12,74 = 3057,6 pontos

Marvin MR: 4 X 40 X 12,74 = 2038,4 pontos

Rella VA: 3 X 40 X 12,74 = 1528,8 pontos

Chabot JA: 2 X 40 X 12,74 = 1019,2 pontos

Observa-se, pelo presente artigo, a complexidade que gira em torno dos critérios para se avaliar a publicação de um trabalho científico. Este é um assunto muito delicado e que tem de ser cuidado com muita seriedade, pois envolve o nome de um pesquisador e, por trás dele, todos os princípios individuais, como honra, credibilidade, respeito, interesses, ideais e assim por diante^{1-5,7,10,13,14,17}.

Os tópicos abordados refletem os pontos de vista do autor, com base na literatura e vivência científica pessoal. Esses critérios vêm sendo utilizados por nós em várias oportunidades e diferentes tipos de julgamento, desde 1994, com bons resultados e sem problemas decorrentes de nossa avaliação, pois evitam interferências subjetivas. Previnem-se também conflitos de interesse, pois esse padrão é exposto no início do processo de análise, para o conhecimento dos interessados e demais membros das bancas examinadoras das quais participamos. Entretanto, cabe ao leitor meditar sobre os valores apresentados e seguir a conduta que lhe parecer mais correta e honesta.

Trabalho realizado no Departamento de Cirurgia da Faculdade de Medicina da UFMG, Belo Horizonte, MG

1. Conselho Federal de Medicina. Código de Ética Médica. Resolução CFM n.1246/88; 1988.

2. Petroianu A. A pesquisa em medicina. Medicina 1992; 25:327-9.

3. Petroianu A. Ética moral e deontologia médicas. Rio de Janeiro: Guanabara Koogan; 2000.

4. Petroianu A. Aspectos éticos da pesquisa em cirurgia. Bol Col Bras Cir 2001; 32:45-8.

7. King CR, McGuire DB, Longman AJ, Carroll-Johnson RM. Peer review, authorship, ethics, and conflict of interest. Image J Nurs Sch 1997; 29:29: 163-7.

8. Petroianu A. Publicação do trabalho científico. Ciência Cultura 1983; 37:410-3.

9. Petroianu A. Autoria de um trabalho científico. Arq Med Hosp Fac Santa Casa São Paulo 1991; 11:83-84.

10. Petroianu A. Autoria de um trabalho científico. Rev Assoc Med Bras 2002; 48:60-5.

13. Room R. Envolving standards for authorship. Addiction 1995; 90:1321-2.

17. Petroianu A. Elaboração do trabalho científico. Médico Moderno 1985; 4:63-72.

19. Petroianu A. Considerações sobre a pós-graduação stricto sensu em Medicina. Rev Assoc Med Bras 1995; 41:391-6.

20. Petroianu A. A pesquisa em Medicina, na graduação e pós-graduação. Bol Col Bras Cir 2001; 32:33-6.

21. SCI - J Citation Reports. 1993. p.50-69.