Os programas de pós-graduação Stricto Sensu brasileiros, e os da área de administração em particular, se encontram, mais uma vez, diante de novos desafios proporcionados pelo sistema de avaliação de periódicos. Neste texto serão apresentadas algumas reflexões acerca das últimas alterações introduzidas pela CAPES em seu sistema de avaliação de periódicos (QUALIS). Para tanto, será necessária uma breve discussão acerca da noção de Fator de Impacto (FI), como métrica de avaliação da qualidade dos periódicos. Serão aqui abordados as modificações no sistema QUALIS e os desafios que deverão ser enfrentados pelos periódicos editados no Brasil e programas de pós-graduação Stricto Sensu em administração.
Nos próximos anos, a produção científica realizada pelos grupos de pesquisa vinculados aos programas de pós-graduação em administração deverá passar uma avaliação mais rigorosa em termos de qualidade. Apesar das divergências quanto ao método de avaliação dos periódicos, a CAPES sinaliza que as exigências de qualidade da produção científica serão mais elevadas na próxima avaliação dos programas, a ser realizada em 2010. A avaliação da qualidade da produção será mensurada pelo FI dos periódicos, independente do âmbito da sua circulação. O reconhecimento desta métrica ocorreu 1955, sendo considerado como a forma mais representativa (quando comparada à contabilidade do número absoluto de publicações) de se avaliar a repercussão das publicações em periódicos. A aplicação do FI como instrumento de avaliação vem ocorrendo desde a década de 1960, quando os periódicos passaram a ser indexados na base de dados Science Citation Index (SCI).
Mas, afinal, quais seriam as especificidades do FI?
Esta métrica tem por objetivo avaliar, por meio de recursos computacionais e bibliométricos, o impacto científico de um periódico, levando-se em consideração o índice de citação dos artigos nele publicados. Este indicador tem sido publicado pelo Journal Citation Reports (JCR). Apesar das críticas que recebe, por parte da comunidade científica, a sua aplicação tem ocupado espaço e inspirado outros indexadores a produzirem as suas métricas, a exemplo da SCOPUS, do grupo Elsevier e do SciELO, que já estão publicando o FI dos periódicos por eles indexados.
Desde a sua implantação, em 1998, a base de dados Scientific Electronic Library Online (SciELO) tem contribuído para a melhoria da qualidade editorial dos periódicos editados em países ibero-americanos. Esta base de dados tem produzido estatísticas sobre o uso dos periódicos, a categorização de artigos e a definição de padrões de qualidade e circulação. Este trabalho tem contribuído não só para o mapeamento do conhecimento científico veiculado em diferentes periódicos, mas também para a promoção do acesso livre e a mensuração do impacto das publicações científicas ibero-americanas. Apesar desta contribuição, os indicadores até o momento produzidos pela SciELO estão ainda em fase de consolidação. Talvez por essa e por outras razões, a CAPES tenha empregado o índice de fator de impacto publicado pelo Journal Citation Reports (JCR) como uma referência para classificar os periódicos. A avaliação dos periódicos com base no seu fator de impacto era sinalizada pela CAPES desde o início de 2001, mas somente agora ela ganhou força institucional e condições de ser operacionalizada.
Assim, no triênio 2007-2009, os periódicos serão avaliados segundo o seu fator de impacto e a sua indexação em bases de dados de elevada reputação científica. Para tanto, o conselho técnico científico da CAPES introduziu modificações na metodologia de avaliação dos periódicos publicados no Brasil e em outros países. Eles serão classificados em 8 categorias, ou seja, AI, AII, BI, BII, BIII, BIV, BV e C, sem, contudo, considerar o âmbito da circulação do periódico (se nacional ou internacional). Com esta nova classificação, a CAPES espera produzir efeitos sinérgicos positivos na qualidade da produção científica brasileira, produzida, na sua quase totalidade (85%), por docentes e discentes dos programas de pós-graduação Stricto Sensu. Esta proposição exigirá uma nova dinâmica na gestão dos referidos programas ofertados pelas IES brasileiras, em diferentes áreas de conhecimento.
Com essa nova lógica de qualificação, os periódicos publicados no Brasil poderão ser classificados em outra categoria diferente daquela que ocupava no sistema QUALIS/CAPES, vigente no triênio 2004-2006. Este reposicionamento, além de modificar o “status” de diversos periódicos, produzirá conseqüências consideráveis no desempenho dos programas da área de administração. Há forte tendência de se priorizar e valorizar para efeitos de avaliação dos programas, cada vez mais, a publicação em periódicos de alto impacto e o número de mestres e doutores titulados.
No triênio de 2004-2006, a comissão de área já havia empregado o fator de impacto publicado pelo JCR como métrica para avaliação dos periódicos internacionais. Essa regra não foi aplicada para avaliar a reputação dos periódicos nacionais, cuja avaliação se fundamentou em uma ficha de conhecimento público que levava em consideração a forma, a qualidade do conteúdo veiculado, a circulação e o corpo editorial. Estes parâmetros contribuíram para uma melhoria significativa da qualidade dos periódicos da área. No entanto, há muito a ser feito, para que eles alcancem a reputação acadêmica de caráter internacional.
Espera-se que o corpo editorial de cada periódico da área de administração tenha uma reação positiva diante das novas regras definidas para o sistema de QUALIS/CAPES e passe a implementar novas políticas e práticas editoriais que consolidem o trabalho de qualidade realizado até o presente momento. A indexação dos periódicos da área de administração em bases de dados de reconhecida reputação acadêmica parece ser uma medida emergencial, pois muitos desses periódicos não se encontram indexados em bases de dados de destaque internacional, tais como a SCOPUS (Elsevier), ISI (Thomson Reuter), REDALYC (Universidade do México) e a base de dados brasileira SciELO. A superação desta barreira deve ser priorizada para que periódicos brasileiros da área de administração tenham reputação acadêmica destacada no cenário internacional. Este processo deve ser objeto de um planejamento de curto e médio prazo.
Apesar de ser emergencial, essa ação somente produzirá efeitos sinérgicos a médio e longo prazo. No entanto, algumas dúvidas sobre o impacto das proposições da CAPES para o Sistema QUALIS ainda perduram. Se a indexação dos periódicos nas referidas bases for tomada como referência para a sua avaliação, espera-se que os mesmos não tenham classificações equivalentes àquelas obtidas no triênio 2004-2006. Quais seriam, portanto, as repercussões deste cenário na avaliação da produção acadêmica da área de administração e, conseqüentemente, sobre a avaliação dos programas de pós-graduação Stricto Sensu? Esta questão não pode ser respondida de forma consistente neste momento. Contudo, algumas reflexões serão construídas, tomando-se como referência algumas estatísticas da produção intelectual do conjunto de programas de pós-graduação da área de Administração.
A produção intelectual dos 78 programas de pós-graduação acadêmicos em administração avaliados no triênio 2004-2006 apresentou algumas especificidades que merecem reflexão. A publicação em periódicos (A e B) internacionais foi muito incipiente e concentrada em poucos programas. Pela análise dos dados divulgados pela CAPES, nota-se que os 696 docentes permanentes vinculados aos programas de pós-graduação avaliados foram responsáveis pela publicação, no triênio, de apenas 111 artigos científicos em periódicos internacionais portadores de fator de impacto, ou seja, uma média trienal de 0,17 artigos por docente permanente. A média da produção veiculada em periódicos nacionais A e B, no referido triênio, foi de 1,83 artigos por docente permanente. Portanto, a publicação em periódicos A e B, considerada de muito boa qualidade, foi 10 vezes maior do que em periódicos internacionais A e B. Esta particularidade não fere o mérito da produção intelectual realizada pelos programas da área de administração, mas evidencia a necessidade de reorientação do processo de veiculação da produção científica em direção aos periódicos internacionais portadores de fator de impacto. Essa reorientação deverá pautar-se não só pelo aumento da publicação em periódicos de alto impacto, mas também pela melhoria da qualidade da produção científica brasileira em administração. Para tanto, torna-se necessário que os programas repensem suas práticas científicas e pedagógicas, com o objetivo de implementar mudanças que sejam capazes de estimular a formação de redes internacionais de cooperação científica, além de priorizar a publicação em periódicos portadores de fator de impacto, intensificar a realização de estágios de pós-doutoramento, fomentar a mobilidade discente por meio de estágios no exterior e incentivar a produção científica em bases epistemológicas que estejam alinhadas (e não submissas) ao desenvolvimento científico experimentado pelos programas de pós-graduação em administração ofertados pelas melhores universidades do mundo.
Devem-se acrescentar a essa reflexão algumas considerações sobre as modificações introduzidas pela CAPES na ficha de avaliação dos programas de pós-graduação. O CTC/CAPES deliberou que, na próxima avaliação, os resultados e produtos dos programas de pós-graduação Stricto Sensu serão mais enfatizados. Prova desta orientação foi a atribuição de maior peso aos quesitos de avaliação produção docente e corpo discente. Somados, estes dois quesitos terão um peso de 70% na avaliação de qualquer programa de pós-graduação Stricto Sensu. Portanto, os indicadores de qualidade da produção científica e capacidade de titulação dos programas serão determinantes na atribuição de conceitos, que ocorrerá em 2010. Estes critérios são elementos estruturantes do Sistema de Indicadores de Resultados (SIR).
A aplicação do SIR durante a avaliação possibilita que os resultados dos programas tenham uma maior prioridade sobre os processos. Este instrumento de avaliação permite que o CTC/CAPES avalie comparativamente os programas segundo o grau de concentração da produção intelectual e das atividades de orientação entre os docentes e o número de titulados e de artigos publicados em periódicos com alto fator de impacto. Em artigo de opinião intitulado “Terminou a Avaliação Trienal 2007”, o diretor de avaliação da CAPES sinalizava algumas tendências da avaliação para o próximo triênio. A formação de doutores deverá ter prioridade sobre a formação de mestres. Assim, os programas deverão empenhar-se para a formação de doutores de qualidade. A produção em periódicos de elevado impacto continua sendo de extrema relevância, mas os programas que não apresentarem um número de titulados acima da média da área e publicação científica (em periódicos de alto impacto) bem distribuída entre os docentes permanentes poderão não alcançar os conceitos esperados ou até mesmo terem seus conceitos vigentes rebaixados, a exemplo do ocorrido no último triênio. Estas velhas proposições parecem simples de ser colocadas em prática, mas, a rigor, o que estará em jogo será uma profunda mudança da cultura acadêmica construída por todos que militam como pesquisadores e docentes na área de administração.
Mozar José de Brito
