# data[].attributes.attachment_link.title
Roteiro para plano de aula DOC- ativ 2 Ed Inovadora

# data[].attributes.headline
Avaliação pelos pares na área de Vestuário

# data[].attributes.subject
Avaliação pelos pares na área de Vestuário

# data[].attributes.body
O público a quem se destina a atividade seria os estudantes jovens adolescentes de 16 anos cursando Técnico em Vestuário, na disciplina de Desenho de moda. Seriam apresentados os conceitos iniciais da disciplina na produção e interpretação de croquis e posteriormente a produção do croquis, haveria a troca entre os pares para análise pelos colegas.

# data[].attributes.body
Escola de Polos Uninter

# data[].attributes.headline
Exemplo de utilização para revisão de artigos

# data[].attributes.subject
Exemplo de utilização para revisão de artigos

# data[].attributes.body
Simone Semensatto

# data[].attributes.attachment_link.title
#14 Como ocorre o processo de avaliação pelos pares? OJS3, avaliadores SEER

# data[].attributes.attachment_link.readable_text
Services on Demand

Os avanços da ciência brasileira, a partir do início dos anos 50, quando foram criados o Conselho Nacional de Pesquisas (CNPq) e a Campanha de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), são inquestionáveis e visíveis sem necessidade de lentes de aumento.

A implantação, no CNPq, dos Comitês Assessores (CAs) e, na CAPES, das Coordenações de Áreas, com o objetivo de avaliar o pesquisador e os cursos de pós-graduação, respectivamente, foram decisivos para alçar o Brasil ao seleto grupo das 20 nações com maior produção científica no mundo. Graças ao sistema de avaliação da CAPES, os melhores Programas de Pós-Graduação na área de Química são de qualidade comparável ao de muitos países industrializados. Não é demais relembrar que o setor acadêmico forma, atualmente, 300 doutores e é responsável por mais de 90% das publicações no exterior, a despeito do Brasil ter duas revistas – Química Nova ( http://quimicanova.sbq.org.br/quimicanova.htm), FI = 0,627 e o Journal of the Brazilian Chemical Society ( http://jbcs.sbq.org.br), FI = 1,161, esta última a de maior impacto entre todas as revistas científicas latino-americanas da área de ciências exatas ²⁻⁴. Se a Química acadêmica brasileira está, neste momento, além da fronteira de publicações de artigos científicos e da formação de doutores, está aquém da transformação da indústria química brasileira em uma indústria de especialidades, bem como da transformação do conhecimento em riqueza para a nação.

O sistema de avaliação por pares ¹, "peer review", deve ser pautado no mérito acadêmico-científico-tecnológico do pesquisador ou do curso e utilizar critérios qualitativos, admitindo-se, no entanto, que subsidiariamente se utilizem critérios quantitativos. Os critérios precisam ser amplamente conhecidos (e legitimados), as mudanças requerem amplo debate e a construção de consensos. Na avaliação por pares, necessariamente, os critérios pertencem à comunidade avaliada e não aos avaliadores, caso contrário, a avaliação não seria realizada por "pares"!

O que se observa atualmente é uma crescente onda de insatisfação dos avaliados (pesquisadores e cursos) com os critérios e parâmetros da avaliação que, muitas vezes, ou não estão bem qualificados, ou utilizam parâmetros puramente quantitativos que negam o princípio da avaliação por pares. Isso sinaliza um futuro incerto, sem Comitês de Avaliação, onde uma planilha e um programa de computador poderão gerar um ranking como, por exemplo, no caso dos jogadores de tênis!

A partir dos anos 90, alguns bioquímicos brasileiros começaram a propor a introdução do parâmetro Fator de Impacto ² dos periódicos científicos e o número de citações para avaliação dos pesquisadores. O que era uma simples proposta ganhou projeção e virou uma verdadeira febre, apesar do parâmetro fator de impacto vir sendo abandonado pelas agências e universidades dos países desenvolvidos.

A utilização do FI nos sistemas de avaliação de departamentos, universidades e agências de fomento ganhou mais importância do que merece. Isso não significa que não deva ser usado nas avaliações. A comunidade química brasileira orgulha-se do fator de impacto das revistas da Sociedade Brasileira de Química 3,4. Estes números foram perseguidos com muita tenacidade durante cinco anos. Hoje, entretanto, observa-se uma tendência nos processos de avaliação em contar "papers" e ponderá-los com o fator de impacto do periódico onde foram publicados. A exacerbação da quantificação nas avaliações resguarda mais os avaliadores que os avaliados, especialmente quando o resultado do processo de avaliação é o financiamento, a concessão de bolsas de produtividade de pesquisa ou o conceito de um programa de pós-graduação. O reconhecimento de mérito é mais complexo e requer excelência tanto dos avaliados quanto dos avaliadores, não pode se limitar a um ou dois indicadores.

Uma das questões principais envolvidas na avaliação é a caracterização do "mérito" e do "impacto". A avaliação do mérito, necessariamente é qualitativa e a avaliação do impacto envolve critérios quantitativos. Como considerar o mérito e o impacto? Certamente, isto só poderá ser feito por "pares" que consigam perceber e reconhecer o mérito acadêmico-científico-tecnológico, bem como identificar parâmetros que permitam medir o impacto. Por exemplo, um pesquisador cujo trabalho tenha mérito e impacto relevantes, necessariamente não os transfere automaticamente para o curso no qual é docente! O inverso também é verdadeiro. A avaliação do pesquisador envolve o seu desempenho acadêmico-cientifico-tecnológico, enquanto que a avaliação de cursos de pós-graduação precisa considerar o desempenho dos seus professores e estudantes, os impactos regional, nacional e internacional do coletivo, bem como o destino dos estudantes.

Não compete aqui definir qual(is) o(s) melhor(es) ou pior(es) critérios para avaliação, mas sim convidar a comunidade de Química para a reflexão e um amplo debate sobre avaliação pelos pares. Com esse objetivo, os leitores são convidados a escrever para o endereço editor@jbcs.sbq.org.br de forma a contribuir para o aprimoramento do sistema de avaliação por pares, no qual o mérito, o impacto da publicação, a formação acadêmica e a transformação do conhecimento em riqueza coexistam de forma harmônica.

Para melhor balizamento dessa discussão, são feitas as seguintes perguntas:

1. de Andrade, J. B.; J. Braz. Chem. Soc. 2005, 16, 891-Editorial.

3. Pinto, A. C.; de Andrade, J. B.; J. Braz. Chem. Soc. 2005, 16, 683-Editorial.

4. Córdoba de Torresi, S. I.; Pardini, V. L.; Ferreira, V. F.; Pinto, A. C.; de Andrade, J. B.; Quim. Nova 2005, 28, 745-Editorial.

# data[].attributes.attachment_link.description
Os avanços da ciência brasileira, a partir do início dos anos 50, quando foram criados o Conselho Nacional de Pesquisas (CNPq) e a Campanha de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), são inquestionáveis e visíveis sem necessidade de lentes de aumento.

# data[].attributes.attachment_link.readable_text
A avaliação é mais que uma ação cotidiana na ciência; ela é parte integrante do processo de construção do conhecimento científico. É através da avaliação – seja de artigos para publicação, seja do currículo de um pesquisador para contratação, seja de um projeto de pesquisa submetido para financiamento, seja de outras várias situações e atores – que se definem os rumos, tanto do próprio conteúdo da ciência quanto das instituições a ela vinculadas. Diante disso, não surpreende que a avaliação da atividade científica tenha surgido com a própria ciência.
Evidentemente, isto não significa que os mecanismos e procedimentos da avaliação da ciência tenham sido sempre os mesmos desde seu surgimento, há mais de três séculos. Assim como a ciência e os cientistas de hoje diferem muito de suas contrapartes do tempo da revolução científica, também os critérios e instrumentos de avaliação da ciência têm mudado. Estes são modelados em contextos históricos particulares e tendem a traduzir e incorporar as mudanças contextuais, ainda que com algum atraso, no seu funcionamento interno.
O que parece ter se mantido durante todo este tempo é a noção de que apenas os próprios cientistas podem avaliar o trabalho de seus colegas. Desde Galileu na corte dos Médici em Florença, passando pelos editores de livros e periódicos do século XVII em diante, até os cientistas atuais tentando conseguir financiamento para seus projetos, os detentores do poder de decisão – príncipes, outros patronos, governos ou os próprios cientistas – sentiram necessidade de assessoria para tomar decisões. Desenvolveu-se, então, uma tradição em que tal assessoria seria solicitada aos 'pares', isto é, aos colegas daquele que estava em julgamento (colegas estes que, freqüentemente, competem com o julgado pelos mesmos recursos e recompensas: financiamento, premiações, espaço editorial, posições profissionais etc.) e que, por sua formação e experiência, fossem capazes de emitir opinião informada e confiável. Este processo tem sido, genericamente, denominado de 'revisão por pares' ou 'julgamento por pares' ( peer review). Apesar do nome comum, e de sempre envolver, de alguma maneira, a opinião de um 'par', o julgamento por pares, na realidade, não é um procedimento único e envolve uma enorme gama de formas institucionais. Estas, como já apontado, certamente refletem características do contexto histórico e social onde o processo se realiza.
Este artigo oferece um apanhado geral de diferentes aspectos – antecedentes históricos, elementos teóricos, conceituais e empíricos – relativos aos processos de avaliação por pares na ciência. Em particular, são revisadas as diferentes modalidades de julgamento por pares, desde suas origens nas primeiras associações científicas no século XVII até nossos dias. Apresentam-se também alguns dos seus desdobramentos e as principais críticas que o processo tem recebido. O argumento que se desenvolve é que as formas adotadas nos diferentes momentos e nas várias instituições resultam de processos de negociação entre atores sociais variados. Conseqüentemente, as críticas advêm, por um lado, dos atores que se sentem excluídos da negociação ou prejudicados por ela, e, por outro, de mudanças contextuais que chamam por novas negociações – o que está ocorrendo neste momento. Assim, o final do artigo reflete exatamente sobre que futuro (ou futuros) se pode esperar para o sistema de revisão por pares.

A utilização sistemática de referees, ou árbitros, para avaliar a atividade científica é apenas um exemplo de juízes encarregados de avaliar a qualidade do desempenho num sistema social. Esses juízes encontram-se em todos os âmbitos institucionais, sendo parte integral do sistema de controle social, avaliando os desempenhos e distribuindo recompensas (Zuckerman e Merton, 1973, p. 460). Na ciência, entretanto, a avaliação tem uma caraterística especial: as recompensas devem ser decididas na base da "análise por iguais" (Roy, 1984, p. 316). No processo de desenvolvimento e consolidação da ciência como instituição social, a revisão por pares define-se como 'o' método de avaliação formal, 'o' mecanismo auto-regulador da ciência moderna (Chubin e Hackett, 1990, p. 3). Tal procedimento contribui para a consolidação da comunidade científica, na medida em que são seus integrantes os únicos que definem as regras de acesso e exclusão e que, através de uma hierarquia própria, distribuem internamente tanto prestígio e autoridade como recursos (Nicoletti, 1985, p. 12).
Num sentido estrito, o método de julgamento por pares "baseia-se somente na avaliação de outros pesquisadores da mesma disciplina" (Cole, Rubin e Cole, 1977, p. 34), ou da "mais próxima subespecialidade que seja possível encontrar" (Roy, 1984, p. 318), do mesmo ou superior nível acadêmico. Alguns autores, entretanto, preferem utilizar o termo num sentido mais amplo, mais genérico: "um método organizado para avaliar o trabalho científico, que é usado pelos cientistas para garantir que os procedimentos estejam corretos, estabelecer a plausibilidade dos resultados e distribuir recursos escassos – como o espaço em revistas, fundos de pesquisa, reconhecimento e reputação" (Chubin e Hackett, 1990, p. 2). Ou seja, a definição de par faz-se mais ampla, mas mantém-se dentro dos limites da comunidade científica: os 'colegas' são os cientistas "capazes de conhecer o estado da arte no campo e dar um parecer sobre a qualidade do objeto avaliado" (Spagnolo, 1989, p. 123).
O julgamento é realizado pelos pares profissionais dos solicitantes, a partir de critérios de avaliação determinados internamente pela própria comunidade científica. A representatividade desses pares "não é definida genericamente pelas suas articulações com outras instâncias de participação social, mas por critérios arbitrados pela própria comunidade em termos da excelência de sua produção científica e de sua formação acadêmica" (Nicoletti, 1985, p. 13).
As razões para o sucesso deste mecanismo devem ser buscadas na estrutura de autoridade da ciência, "no qual o julgamento por pares encaixa-se perfeitamente" (Spagnolo, 1989, p. 124). Para alguns autores, é esta estrutura, "na qual o sistema de assessores ocupa um lugar central, que fornece a base institucional para a confiabilidade e a acumulação do conhecimento" (Zuckerman e Merton, 1973, p. 495). Outros autores atribuem este sucesso ao esforço dos próprios cientistas em manter uma estrutura que lhes é extremamente favorável: "(o julgamento por pares) é também fundamental para a instituição científica, defendido como símbolo e garantia da autonomia. ... preserva a autonomia da ciência através de uma aparentemente rigorosa auto-regulação. Mas ao mesmo tempo ... estabelece uma ponte entre o misterioso e esotérico conteúdo da ciência e o território mundano da alocação de recursos" (Chubin e Hackett, 1990, pp. 2-3).
O sistema de assessores não apareceu tal como é conhecido hoje, mas tem se modificado ao longo da história, em resposta ao desenvolvimento da própria instituição científica e aos contextos (Zuckerman e Merton, 1973, p. 462). É possível distinguir diferentes tipos, ou subsistemas, da avaliação científica através de pares, que se adequam aos diversos tipos de atividades. A distinção mais óbvia seria: a) avaliação de potencialidades: refere-se em particular ao desempenho possível do indivíduo, grupo, instituição, país ou outro ator social que execute pesquisa científica, ou à qualidade da pesquisa que ainda não foi realizada; b) avaliação da capacidade demonstrada: refere-se ao desempenho já demonstrado por aqueles atores ou à qualidade dos trabalhos por eles realizados (Merton, 1973, pp. 424-6). A seguir, tratamos de cada uma destas modalidades, começando pela última.
Histórico dos processos de avaliação em ciência
A avaliação da pesquisa realizada

A avaliação da pesquisa realizada é uma prática que se inicia dentro das primeiras sociedades e academias científicas no século XVII, quando os cientistas começam a criar maneiras próprias de se relacionar e de controlar o trabalho científico. Uma delas diz respeito ao controle do registro dos 'resultados' que deveriam receber o rótulo de científico.
Para obter credibilidade e assegurar seu status como conhecimento, a crença individual ou a experiência tinha que ser efetivamente comunicada aos outros, isto é, fazer sua passagem do domínio privado para o público. Entre as técnicas desenvolvidas com esta finalidade por Boyle e outros contemporâneos, destaca-se a recomendação de que "relatórios experimentais fossem escritos de maneira a permitir a leitores distantes – não presentes como testemunhas – replicar os efeitos relevantes" (Shapin, 1996, p. 107). Métodos, materiais e circunstâncias deveriam ser detalhados minuciosamente, de maneira que os leitores que o desejassem pudessem reproduzi-los e assim se tornar testemunhas diretas. Com estes procedimentos, que rapidamente se espalharam pelas sociedades científicas de outros países europeus, a comunidade experimental do século XVII mostrou-se capaz de fazer o trabalho de policiamento do conhecimento de maneira satisfatória: apenas os resultados de experimentos que fossem devidamente relatados, escrutinizados e tidos como verdadeiros pelos demais praticantes poderiam ser reconhecidos como científicos. Assim, para passar para o domínio público (isto é, ser publicado), o trabalho científico precisava da chancela de seus pares.
Assim, com poucos meses de diferença no ano de 1665, a Académie des Sciences de Paris, primeiro, e a Royal Society de Londres, logo depois, instituíram um grupo de editores – cientistas reconhecidos como competentes pelos demais associados –, com a função de 'revisar' os manuscritos remetidos para publicação em suas respectivas revistas científicas, o Journal des Sçavans e o Philosophical Transactions. Dessa forma, estes grupos constituíram-se na "estrutura de autoridade que transforma a simples 'impressão' do trabalho científico em sua 'publicação'" (Zuckerman e Merton, 1973, p. 494).
A partir desse momento, diversas sociedades científicas foram desenvolvendo sistemas de medidas para preservar sua credibilidade, adotando regras estritas de avaliação da atividade de seus integrantes. Assim, em meados do século XVIII, a Royal Society of Medicine, de Edimburgo, na Escócia, havia institucionalizado técnicas de avaliação que eram quase indistinguíveis do sistema vigente hoje (Spagnolo, 1989, pp. 125-6). Atualmente, os procedimentos estão fortemente padronizados, ainda que possam ocorrer pequenas variações de revista para revista. A variação mais recente é a adotada por algumas revistas eletrônicas, tais como o British Medical Journal, que, tendo como base desenvolvimentos da Internet e dos programas participativos de auditório na televisão, colocam os artigos submetidos para serem comentados por todos os leitores, sem que tenham passado por julgamento prévio de pares. Essa prática, no entanto, pode ser considerada bastante incomum e de modo algum representa o padrão das revistas eletrônicas. De fato, a grande maioria delas continua a decidir sobre publicação, seja pelo meio tradicional ou eletrônico, com base exclusivamente no julgamento por pares – o convite para comentários dos leitores é feito apenas para aqueles artigos que já receberam o aval dos pares. Fica claro, portanto, que, a despeito do enorme avanço nas tecnologias de comunicação, o cerne do sistema de revisão por pares para publicação continua imutável (Harnad, 1998). O julgamento por pares, neste caso, adota o nome de refereeing, ou melhor, arbitragem, em português.
O sistema de consulta prévia para publicação, além da função óbvia de facilitar a informação dentro da comunidade científica, "transforma um manuscrito científico num 'conhecimento' consensual" (Chubin e Hackett, 1990, p. 84). É, portanto, o processo 'por excelência' de construção de verdades científicas; é a prática que valida e autentica o conhecimento científico; outorga aceitação ao trabalho de um pesquisador, e, por isso, crédito e reconhecimento, da forma que seja.
A arbitragem é, assim, o ponto de encontro de duas transformações: o processo de negociação para atingir consensos na atividade científica, no qual as 'múltiplas' realidades transformam-se na 'verdade científica'; e o processo pelo qual interpretações subjetivas de resultados são colocadas num texto manuscrito seguindo determinadas regras, transformando-se num artigo científico, e logo, numa entidade quantificável. Isto descreve um processo de legitimação mútua de atores diferentes: pesquisadores e artigos (Callon, Law e Rip, 1986; Fabbri e Latour, 1995). Neste último caso, o processo de objetivação que acontece numa "caixa-preta" (Chubin e Hackett, 1990, p. 50) transforma os textos que 'sobrevivem' ao mecanismo de julgamento por pares em artigos que são depois contabilizados e utilizados como indicadores da produção científica. Voltaremos a comentar sobre os indicadores bibliométricos.

A avaliação da pesquisa por fazer

A avaliação de projetos de pesquisa é, para alguns autores, um exercício de futurologia, ou "uma elevada forma de nonsense" (Ziman, 1983). Para o futuro financiador (seja o Estado ou outro qualquer), no entanto, tal avaliação faz sentido, na medida em que, com base no parecer dos especialistas, acredita-se ser possível reduzir os riscos de financiar, por exemplo, um projeto atraente, promissor, mas não exeqüível. Com base nesta premissa, o julgamento por pares tem sido amplamente utilizado pelas agências financiadoras – governamentais, universitárias, privadas – para alocar recursos a indivíduos ou grupos que apresentam propostas de pesquisa.
A quantidade de formas diferentes de implementação do sistema pode ser maior que a de agências: "há uma infinidade de sistemas nos quais a influência do par científico varia desde quase nada mais que o empréstimo passivo do nome para legitimar, até um controle quase completo" (Roy, 1984, p. 318). O sistema de julgamento por pares deve ser considerado, então, como uma 'família' de procedimentos relacionados, com algumas características em comum e diferenças marcantes (Chubin e Hackett, 1990, p. 13). Em alguns casos, os pares efetivamente tomam as decisões, sendo a agência apenas um intermediário no processo de julgamento das propostas e alocação de recursos. Em outros casos, os pares aconselham, participando de um processo decisório mais amplo, onde a decisão final é tomada pelos gerentes ou outros órgãos colegiados. Às vezes, utilizam-se apenas as opiniões de pares emitidas sigilosamente por carta; outras vezes, constituem-se painéis com pares ou especialistas por área do conhecimento, que procedem à análise em bloco dos projetos juntamente com as opiniões dos assessores (Travis e Collins, 1991).
Ainda que tenha sido utilizado algumas vezes (Crosland e Galvez, 1989), o julgamento por pares para alocação de recursos para pesquisa passou a ser adotado, sistematicamente, nos Estados Unidos durante as décadas de 1940 e 1950, com a concepção e o estabelecimento do aparato institucional da política científica. O marco temporal é geralmente colocado em 1937, quando oNational Advisory Cancer Council passou a julgar as propostas de pesquisa do National Cancer Institute, através de um mecanismo deste tipo. O modelo adotado, formal e bem especificado nos estatutos da instituição, é até hoje utilizado pelos National Institutes of Health (NIH). Por outro lado, a National Science Foundation (NSF), desde sua criação no início da década de 1950, utiliza diversas formas de julgamento por pares, ainda que o procedimento não esteja expresso nos seus estatutos (Chubin e Hackett, 1990, pp. 19-20).
Diferentemente da revisão de artigos científicos, que foi instituída por iniciativa dos próprios cientistas, a revisão por pares para fins de financiamento da pesquisa originou-se nas agências de fomento, estabelecendo uma relação da comunidade científica com os organismos do Estado. Estes necessitavam do aconselhamento de cientistas reconhecidos para a nova atividade de alocar recursos para a ciência. As primeiras reações dos cientistas foram opostas a esse envolvimento, mas o mecanismo foi sendo aceito e, finalmente, "capturado" pelos cientistas, que o incorporaram ao sistema de recompensas da ciência (Rip, 1994, pp. 7-8)
O estabelecimento deste procedimento para a alocação de recursos, fortemente baseado na opinião da própria comunidade científica, relaciona-se, cronológica e conceitualmente, ao 'contrato' social entre ciência e sociedade expresso no documento de Vannevar Bush, 'Science: the endless frontier', entregue ao presidente Truman, dos Estados Unidos, em 1945. Nele se detalha o fundamento do que depois seria conhecido como modelo linear de inovação: a suposição de uma cadeia com uma ponta inicial na ciência pura, seguida pela aplicada, o desenvolvimento tecnológico, a inovação, levando, finalmente, ao progresso econômico e social (Ronayne, 1984). De acordo com este modelo, então, era lógico imaginar que o investimento público na ciência de qualidade, mais cedo ou mais tarde, retornaria para a própria sociedade. Para tanto, bastava garantir que, de fato, fosse apoiada a "ciência de qualidade", que só poderia ser identificada pelos próprios cientistas.
Dentro do contrato social estabelecido pelo mencionado documento, o Estado, como principal financiador da ciência, delegava tais tarefas às agências financiadoras (no caso dos Estados Unidos, foi criada a National Science Foundation para esta finalidade) e estas delegavam as principais decisões aos próprios cientistas – os únicos juízes competentes. A necessidade de prestar contas para a sociedade perdia sua importância quando confrontada com o argumento de que o sistema de revisão por pares estava selecionando a melhor pesquisa, e isto era o que o governo (e também a sociedade) desejava (ou deveria desejar). A comunidade científica, então, tinha grande autonomia na distribuição interna de recursos, prestava contas apenas a si própria e não sofria qualquer controle social direto (Dickson, 1988, pp. 25-6).
Este modelo de institucionalização da política científica logo influenciou os governos da maioria dos países industrializados, que estabeleceram instituições com funções semelhantes (Salomon, 1977, p. 49). Uma das características comuns de todos esses organismos foi o papel ativo da comunidade científica na sua organização (Rip, 1994, p. 6). Isto não é surpreendente quando se lembra que nessas instituições, onde a revisão por pares é a regra, os cientistas negociam seus interesses com os do Estado. Assim, o 'sucesso' deste sistema resulta na sua disseminação, principalmente a partir da década de 1960, quando os recursos para a ciência e tecnologia ganham destaque no orçamento dos países, e criam-se e consolidam-se instituições para gerir tais recursos. As práticas concretas implementadas adequaram-se às condições particulares de cada país e, dentro deles, de cada instituição (Castro, 1986, p. 152).
Os países em desenvolvimento não ficaram de fora desta vez. Uma das diretrizes centrais das políticas promovidas pelos organismos internacionais – como a Organização dos Estados Americanos (OEA) e a Organização Educacional, Científica e Cultural das Nações Unidas (Unesco) – para estes países, conjugada às pressões das incipientes comunidades científicas locais, foi a criação de conselhos de pesquisa. A década de 1960, em especial, está marcada por um aprofundamento da influência desses organismos na definição das políticas de ciência e tecnologia. A OEA, por um lado, urgia os diferentes países da América Latina a incluir o apoio explícito à pesquisa científica e à formação de pesquisadores nos seus planos de desenvolvimento (Bastos e Cooper, 1995, p. 16). A Unesco, por outro lado, organizou conferências em distintas regiões do mundo; na América Latina denominou-se Castala (Conferência sobre a Aplicação da Ciência e da Tecnologia ao Desenvolvimento na América Latina), e teve lugar em 1965 com a participação de especialistas e representantes das comunidades científicas e dos governos dos diferentes países da região. Dentre as recomendações da Castala destaca-se a da criação de organismos nacionais para a formulação das políticas, integrados principalmente com cientistas e tecnólogos (Unesco, 1965, grifo dos autores).
Os conselhos de pesquisa, criados com base nestas recomendações, ou reformulados como no caso do Brasil, eram responsáveis pela coordenação dos então chamados sistemas nacionais de ciência e tecnologia e, ao mesmo tempo, pelos arranjos institucionais para o financiamento da pesquisa (Braverman e González, 1980). A participação de cientistas nos altos cargos desses organismos, idéia incluída também nas sugestões, unida à pequena representatividade de outros setores da sociedade no caso latino-americano, possibilitou que a comunidade acadêmica tivesse papel destacado nas políticas implementadas. Assim, os organismos constituídos 'têm a cara' da comunidade, que lhes imprime a sua concepção de ciência, a sua lógica de vinculação entre ciência e desenvolvimento e, acima de tudo, a legitimidade do mérito científico como critério para alocação de recursos. Na implementação desta política, a comunidade acadêmica opta pela ênfase no apoio ao pesquisador que já tem reconhecimento de seus pares e ao projeto de pesquisa individual, e avalia tal projeto sem levar em consideração as necessidades da realidade nacional (Albagli, 1988, p. 35).
Desdobramentos e críticas sobre o julgamento por pares
A quantificação da revisão por pares e os indicadores bibliométricos

Paralelamente ao desenvolvimento e à consolidação do aparelho do Estado responsável pela alocação de recursos à ciência e tecnologia (C&T), logo depois do final da Segunda Guerra Mundial, começa a surgir um interesse desses organismos públicos – e dos próprios governos em geral – na medição das atividades científicas. Este interesse consolida-se com o desenvolvimento da teoria e da metodologia de indicadores de C&T (Holbrook, 1992, p. 262). É principalmente na década de 1960 que as ferramentas da ciência começam a ser utilizadas para estudar a própria atividade científica: com componentes metodológicos da sociologia e da história, é criada uma área de pesquisa que tem se denominado "ciência da ciência" (Price, 1986a). Aplicam-se, assim, os métodos de pesquisa habituais das ciências naturais, fundamentalmente os quantitativos, ao objeto 'ciência' enquanto fenômeno e instituição social.
Esta nova área de investigação, chamada cientometria ou cienciometria (ainda que o primeiro termo pareça uma tradução mais adequada do neologismo inglês scientometrics, cienciometria é mais comumente usada na literatura especializada em português e espanhol), desenvolve seus métodos, seus instrumentos, seus meios de comunicação, sua própria comunidade, sendo definida como a área que compreende todos os tipos de análises quantitativas dos recursos e resultados dos processos científicos, sem observação direta da atividade de pesquisa (Chubin e Restivo, 1983, p. 57). Baseada especialmente no referencial teórico conceitual da sociologia da ciência de Robert Merton, a cientometria já foi considerada por alguns a sociologia da ciência (Hargens, apud Chubin e Restivo, 1983, p. 57).
A variedade de temas que interessam à cienciometria inclui "o crescimento quantitativo da ciência, o desenvolvimento das disciplinas e subdisciplinas, a relação entre ciência e tecnologia, a obsolescência dos paradigmas científicos, a estrutura de comunicação entre cientistas, a produtividade e criatividade dos pesquisadores, as relações entre desenvolvimento científico e crescimento econômico etc." (Spinak, 1998, p. 142). E, sem dúvida alguma, o desenvolvimento desta especialidade foi facilitado pelo aparecimento das bases de dados e das técnicas e métodos quantitativos propostos por Eugene Garfield ao criar o Institute for Scientific Information (ISI) e publicar, entre outros, o Science Citation Index (SCI) a partir de 1963.
As diferentes modalidades de indicadores quantitativos da ciência são derivadas, principalmente, das publicações científicas. À medida que os novos conhecimentos são quase sempre publicados, de uma forma ou de outra, o número e a qualidade dessas publicações são os indicadores mais desenvolvidos e utilizados, constituindo os que são denominados de indicadores bibliométricos (Morita-Lou, 1985, p. 13). A diversidade de indicadores, simples e complexos, que têm surgido ao longo dos anos é imensa, conforme se percebe facilmente ao folhear os exemplares de uma das principais revistas da área, Scientometrics. Apesar disso, é possível agrupar a grande maioria de tais indicadores em duas categorias básicas: os indicadores de publicação – que medem a quantidade e o impacto das publicações – e os indicadores de citação – que medem a quantidade e o impacto das vinculações ou relações entre publicações. Cada um deles pode ser medido de forma simples, relativa ou ponderada segundo diversos critérios; além disso, com base em várias técnicas de mapeamento, é possível medir a colaboração e as posições relativas de pessoas, instituições e países (Macias-Chapula, 1998, pp. 137-8; Rousseau, 1998, pp. 150-2; Spinak, 1998, p. 145).
Os indicadores bibliométricos têm sido objeto de várias críticas e questionamentos. A limitação mais geral imputada ao uso dos mesmos baseia-se no argumento de que, na realidade, parte importante da atividade científica não é descrita na literatura, como o conhecimento tácito transmitido diretamente na formação do cientista (Gilbert, 1978, p. 17), e que a publicação é apenas um dos tipos de comunicação e, certamente, não o mais importante (Manten, 1980, p. 307).
Na defesa destes indicadores argumenta-se que eles conseguem, de uma maneira particular, unir qualidade e quantidade no contexto da avaliação da pesquisa; ou seja, a racionalidade das medidas procura dar conta de uma qualidade, já previamente definida pela racionalidade científica, que está expressa nos produtos gerados pela pesquisa (Guimarães, 1992, p. 42). Dessa forma, são construídos os indicadores 'objetivos' da produção científica, muitas vezes utilizados pelos administradores da ciência nas universidades e instituições de pesquisa, ainda que talvez pouco usados no nível dos planejadores das políticas de desenvolvimento nacionais, dos parlamentares ou dos executivos do governo (Velho 1998, pp. 34-8). É importante ressaltar que a racionalidade que dá sustentação a estes indicadores é a mesma das avaliações por pares: interna à lógica da ciência. O resultado do julgamento de um ou vários colegas transforma-se, reduzindo-se na apresentação de uma medida, num indicador objetivo da atividade científica.
Nas bases de dados internacionais, tem se gerado o que se pode denominar uma reificação de um sistema universal de avaliação da qualidade científica, um padrão único, passível de ser utilizado internacionalmente. Assim, não se consideram as diferenças significativas na organização, no sistema de comunicação e no comportamento dos cientistas das diferentes áreas do conhecimento, de diferentes países, e de naturezas diferentes de pesquisa básica ou aplicada (idem, 1989, p. 961). Sendo que as primeiras análises empíricas e a construção das bases tomaram como ponto de partida principalmente a área da física num contexto acadêmico, os incontáveis estudos a respeito dessas diferenças permitem várias críticas ao uso indiscriminado dos indicadores bibliométricos. Tem sido apontado, por exemplo, que é de se esperar que um núcleo de publicações de partida (o conjunto inicial de revistas) alternativo produziria distribuições de títulos bem diferentes das atualmente geridas pelo ISI (Rousseau, apud Spinak, 1998, p. 148).
No processo de construção dessas bases internacionais, em particular do SCI, produz-se uma nova seleção dos artigos publicados: as revistas onde eles aparecem também são avaliadas através de um complexo processo onde interagem muitos fatores ditos "qualitativos e quantitativos", como periodicidade, conteúdo editorial, inter-nacionalidade e análise de citação (Testa, 1998, p. 234). As revistas julgadas de melhor qualidade, segundo esses critérios das instituições que constroem os índices, são incluídas nessas bases de dados, constituindo assim "os canais mais importantes de comunicação científica internacional", ou seja, a literatura mainstream (Garfield, 1983, p. 113).
Ainda que as publicações seriadas sejam medidas válidas apenas para algumas áreas científicas, em particular as 'básicas' e entre elas as 'duras' (Frame, 1985), os indicadores derivados delas tendem a ser usados nas considerações de política científica no mundo todo. Assim, é lugar-comum assimilar a excelência científica ao reconhecimento e prestígio acadêmico internacionais, ao impacto na comunidade científica mundial, medidos através destes instrumentos. A dicotomia entre excelência e periferia científica é colocada por alguns autores ao analisar a situação da ciência nos países subdesenvolvidos: qualifica-se a ciência marginal à produção mainstream como não excelente, quase por definição (Cueto, 1989). Com este enfoque, na periferia só é possível ter ilhas de excelência, quando grupos de pesquisa conseguem trabalhar em áreas que despertam o interesse e são aceitas pela ciência internacional, ou quando, correndo atrás, logram atuar no limite da fronteira científica estabelecida por essa ciência e publicar seus artigos nos jornais científicos considerados excelentes.
O processo de construção de indicadores científicos, entretanto, é um processo social assentado em premissas teóricas válidas somente no seu contexto (Velho, 1989, p. 965). Isto porque qualquer exercício de avaliação implica certos valores; a base mínima a partir da qual se elaboram os indicadores é composta por julgamentos subjetivos. Estes incorporam, desde o início, uma série de elementos, premissas, condições e variáveis de contexto. Dessa forma, utilizar bases de dados construídas numa determinada realidade em outra consideravelmente distinta pode ser inadequado e trazer dificuldades e erros. A partir deste fato é que aparecem alguns outros questionamentos aos indicadores mais utilizados, num nível que pode ser denominado como 'técnico', relativo à metodologia usada na formação da base de dados, ainda que nem sempre sejam claramente distinguíveis as limitações técnicas das conceituais.
Os indicadores bibliométricos foram desenvolvidos em situações de financiamento em torno do steady-state, junto a uma base e uma prática científicas bem estabelecidas (Thomas, 1992, p. 150). A primeira distinção importante está, então, vinculada à situação dos países subdesenvolvidos, nos quais os esforços estão destinados a criar uma infra-estrutura para o crescimento da ciência (Cano e Burke, 1986, p. 2). Vários autores têm apontado o viés da cobertura de revistas pelo ISI, favorecendo os países cientificamente centrais (Rabkin e Inhaber, 1979, p. 262; Frame, 1980, p. 137). Ainda dentro deles, são apontadas diferenças em favor dos países de língua anglo-saxã, e em particular, dos Estados Unidos (Narin e Carpenter, 1975, pp. 84-6; Jagodzinski-Sigogneau et alii, 1982, p. 121; Arvanitis e Chatelin, 1988, p. 114). Assim, as tentativas de utilizar bases de dados como o SCI de forma universal implicariam uma manifestação, na prática, da 'internacionalização' de uma forma particular de ciência nacional, a ciência de alguns países 'do centro'. Ou, como afirmado por Spinak (1998, p. 144), "a chamada ciência internacional (ou mainstream) é, em grande medida, o resultado das 'ciências nacionais' dos países centrais".
Assim como os países cientificamente centrais têm apontado problemas no uso do SCI para medir o seu próprio esforço científico, espera-se que a cobertura incompleta da produção científica no mundo subdesenvolvido não afete a todos por igual. Existem trabalhos que mostram evidências de importantes diferenças entre regiões, em particular levando em conta distintas contribuições científicas segundo áreas de pesquisa ou especialidades (Frame et alii, 1977; Davis e Eisemon, 1989; Sancho, 1992); em particular, alguns estudos com resultados nesse sentido foram realizados especificamente para países latino-americanos (Frame, 1977; Roche e Freites, 1982; Cano e Burke, 1986). Em vista disso, a utilização dessa base de dados nas considerações e decisões de política científica dos países subdesenvolvidos – e em especial da América Latina – é ainda mais problemática e questionável.

As críticas e discussões sobre a revisão por pares

Existe uma ampla variedade de críticas que se referem tanto aos princípios e fundamentos do sistema de revisão por pares quanto aos mecanismos efetivamente implementados, seja de revisão de artigos para publicação, seja de propostas para financiamento. Principalmente nos Estados Unidos, originados da própria comunidade científica na década de 1960, e do Congresso a partir da década de 1970, e depois em outros países, realizaram-se estudos, inquéritos e análises sobre os procedimentos empregados por diversas agências. Estes estudos surgiram a partir desta série de críticas e, ao mesmo tempo, realimentaram as antigas críticas e originaram outras. Aliás, é de salientar que tanto as críticas ao sistema de pares quanto as suas alternativas têm ressurgido de tempo em tempo, retomando, às vezes com nova roupagem, os mesmos tópicos e problemáticas. Exemplo disso foi o recente debate conduzido na Internet sobre o sistema de revisão por pares nas ciências sociais, coordenado por Steve Fuller, da Universidade de Durham, sob os auspícios do Economic and Social Research Council da Grã-Bretanha. Organizado na forma de trinta tópicos, a conferência virtual acabou não tendo a repercussão que se esperava, tal como se indica pelo número considerável de tópicos que não recebeu qualquer contribuição dos participantes. Ainda que esta aparente falta de interesse num debate crucial para os pesquisadores e todo o scientific establishment tenha que ser melhor entendida e diagnosticada, é possível que ela seja devida, pelo menos em parte, à inexistência de fatos e comentários 'novos' sobre o tema. De fato, entre aqueles que se manifestaram sobre alguns tópicos, pode-se notar uma repetição de críticas e idéias já apresentadas em diversas oportunidades anteriores ( http://www.sciencecity.org.uk/cyberconference.html) .
Um dos primeiros autores, na década de 1960, que fez considerações em relação aos 'critérios de escolha em ciência', Weinberg (1963, pp. 161-2) centrou suas críticas e recomendações no "universo fechado" da avaliação. Ele chamava atenção para o fato de que os pares julgam com base em regras definidas pela própria comunidade disciplinar. Assim, os colegas analisam se o trabalho proposto adequa-se às regras da área; nunca questionam a validade das próprias regras. O par, por definição, pertence à disciplina do candidato, e "inevitavelmente compartilha o mesmo entusiasmo e paixão, (estando) todos contaminados pelo mesmo tóxico". A alternativa apontada por ele era obter opiniões de pessoas de outras disciplinas científicas – para determinar a relevância e o impacto da proposta de pesquisa nas demais áreas da ciência – e ainda de outras, fora da comunidade científica – para analisar o impacto no conjunto da sociedade.
De certa forma, este tipo de consideração deu origem, no começo da década de 1970, a múltiplas vozes no Congresso norte-americano que reclamavam desse 'universo fechado' e a um intenso debate em diferentes meios de comunicação, em especial na Science. As discussões diziam respeito, especificamente, ao sistema implementado naquela época na NSF, mas algumas das críticas podem ser generalizadas, tais como: a) privilégio conferido a pesquisadores e instituições de prestígio; b) resistência a idéias inovadoras, favorecendo linhas de pesquisa tradicionais; c) controle da burocracia interna sobre os processos; e) sigilo dos assessores, o que torna difícil a cobrança de resultados e isenção de julgamento; f) inexistência de outros mecanismos de assessoramento, ou da combinação entre eles; g) enorme gasto de tempo dos cientistas; h) o processo de elaboração das propostas e sua avaliação não corresponde à dinâmica do trabalho científico criativo, muito mais espontânea; i) promove 'competição' em lugar de cooperação e colaboração entre cientistas (Mitroff e Chubin, 1979, pp. 203-4; Roy, 1984, p. 319).
Outros aspectos, além dos apontados, têm sido criticados nestas quase três décadas de discussões a respeito do sistema de avaliação por pares. Alguns deles, entretanto, dada sua persistência em vários países do mundo, e a insistência com que têm sido mencionados, merecem ser comentados.
As críticas centradas na eficiência do processo, ou seja, no "desnecessário desperdício de recursos limitados de talento científico" (Roy, 1984, 318) é estendida ao gasto considerável em tempo e esforço, seja do proponente, do avaliador ou da burocracia que administra o processo, e também ao mau uso de recursos financeiros que poderiam ser utilizados diretamente na execução da pesquisa (Ziman, 1994, p. 103). Este tipo de crítica, em geral, tem resultado na recomendação de que o financiamento de propostas de pesquisa tome como referência a experiência passada dos proponentes, além de alguns procedimentos especiais para permitir o acesso de "sangue novo" ao sistema. Ao que parece, se estas recomendações, por um lado, oferecem uma solução ao problema de desperdício de recursos (e, particularmente do tempo de todos os atores envolvidos no processo), elas, por outro lado, poderiam alimentar os problemas da "resistência à inovação" e do "efeito halo", descritos a seguir.
A qualificação do sistema como 'conservador', na medida em que não favorece a inovação, implica que uma proposta ou artigo com idéias ou técnicas heterodoxas, fora das regras comumente aceitas, é muitas vezes rejeitado, ou, no mínimo, tem maiores dificuldades que manuscritos 'cautelosos', feitos em linhas de pesquisa bem estabelecidas (Chubin e Connolly, 1982, p. 301; Ziman, 1994, pp. 110, 254). Existem evidências de que o financiamento de projetos que utilizam métodos e técnicas já existentes, reconhecidas e consolidadas, é privilegiado, em detrimento daqueles que usam metodologias novas, ou fora dos 'paradigmas' convencionais (Fölster, 1995, p. 43). Para alguns críticos, esta objeção teórica não precisa de demonstração, pois "é inerentemente impossível prever (isto é, escrever uma proposta descrevendo) a direção da pesquisa inovativa futura; ela é, por definição, imprevisível" (Abrams, 1991, p. 125). Nas palavras de Roy (1984, p. 319), "o sistema de julgamento por pares ignora o papel crucial da mudança e da serendipity na ciência".
A crítica sobre o sigilo dos nomes dos assessores refere-se ao fato de que este é mantido, habitualmente, num só sentido: os julgados não conhecem os nomes dos juízes, mas estes sabem quem são os proponentes. Isto impediria, segundo seus defensores, a radicalização das relações entre autores e assessores, tanto no âmbito da própria agência quanto em reuniões científicas; por outro lado, facilitaria a necessária crítica profunda e franca em relação aos possíveis erros, que, dificilmente, é feita de maneira direta (Loría e Loría, 1996, p. 69). Os questionamentos apontam, por um lado, que o sigilo permitiria pareceres tendenciosos, maliciosos ou simplesmente de má qualidade (Chubin e Hackett, 1990, pp. 91, 203-4), e, por outro, que eles, os revisores, 'se escondem' no anonimato, quando deveriam prestar contas de suas palavras e decisões. Alguns estudos empíricos recentes não encontraram diferenças significativas nos resultados do processo de avaliação em termos de "qualidade da revisão", quando se guarda ou não sigilo, seja do revisor seja do 'revisado' (Godlee et alii, 1998; Justice et alii, 1998; van Rooyen et alii, 1998). Ficaria em pé, portanto, o argumento da accountability, da necessidade de todo juiz prestar contas de seus julgamentos. Nas palavras do conferencista que fez a abertura de um congresso recente sobre a temática, "o sistema predominante de revisão editorial, onde os nomes dos revisores são desconhecidos dos autores, é um exemplo perfeito de privilégio e poder ... desvinculados de accountability" (Rennie, 1998, p. 300).
A caracterização de 'sistema fechado e tendencioso', seja deliberadamente ou não, refere-se aos desvios a favor de, por exemplo, redes elitistas de old boys (cientistas com visões comuns sobre a sua área de pesquisa, colegas ou ainda amigos), ou apenas a favor de pesquisadores muito reconhecidos, situados nas universidades de maior prestígio ("efeito halo"). Isso é vinculado aos desvios em detrimento de um ou outro grupo: minorias étnicas, mulheres, pesquisadores jovens, pesquisadores de centros acadêmicos de menor prestígio etc. Como exemplo pode-se mencionar um estudo recente sobre os processos de avaliação de propostas de pesquisa no Conselho de Pesquisas Médicas da Suécia – país reconhecido, e ele mesmo orgulhoso disso, por suas políticas igualitárias no tratamento de todos os grupos sociais que encontrou uma tendência significativa contra as mulheres nas práticas de avaliação, bem como um favorecimento dos candidatos conhecidos dos membros dos painéis que tomam as decisões de financiamento (Wenneras e Wold, 1997). Vale mencionar também estudos que têm encontrado evidências claras de preferências dos revisores de periódicos importantes por artigos provenientes de seus próprios países (Link, 1998).
Este tipo de críticas, agrupadas sob o tema de 'confiabilidade' por Spagnolo (1989, p. 130), envolve também as possíveis imparcialidades do processo no momento de seleção do parecerista ou na própria decisão do assessor. Os trabalhos de Zuckerman e Merton (1973) sobre o processo de julgamento em revistas científicas e depois os de Cole, Rubin e Cole (1977) sobre o mecanismo utilizado pela NSF dos Estados Unidos procuraram refutar as acusações de que a revisão por pares é um processo discriminatório e subjetivo. Estas críticas centram-se na idéia do cientista 'neutro', capaz de julgar de forma imparcial com base exclusivamente em seu conhecimento técnico. Tal idéia "pressupõe um nível de objetividade, desinteresse e honestidade, que nunca foi obtido em nenhum grupo humano" (Roy, 1984, p. 319).
Na prática, os pares freqüentemente divergem nas suas opiniões a respeito de uma proposta de pesquisa. Para os sociólogos da ciência tradicionais, a explicação para isto pode estar na diferente percepção da adequação da proposta aos critérios estabelecidos ou na ambigüidade desses critérios, visto que o grau de coincidência entre dois árbitros "tem se mostrado, ao longo dos anos, notavelmente alto" (Zuckerman e Merton, 1973, p. 495). Eles reconhecem que algumas áreas do conhecimento apresentam divergências de opinião entre árbitros, mas atribuem este fato ao nível de desenvolvimento paradigmático do campo, quer dizer, ao grau de consenso a respeito dos padrões de conhecimento adequados.
Desde então, inúmeros trabalhos têm tratado das diferenças entre ciências básicas e aplicadas (Price 1969; Moravcsik,1976), entre 'duras' e 'brandas' (Price, 1986b; Lindsey, 1978), entre disciplinas (Price 1969; Lodahl e Gordon, 1972; Abt, 1992; Prpic, 1994) e ainda entre subdisciplinas (Cagnin, 1985) quanto ao comportamento de suas respectivas comunidades. Com base nestes trabalhos, destacam-se duas tendências relativas ao grau de consenso paradigmático: ele tende a decrescer das áreas básicas às aplicadas e das áreas 'duras' às 'brandas'. Assume-se, assim, que uma certa (quantidade inespecífica) de divergência é esperada nas áreas mais 'aplicadas' e 'brandas', mas o julgamento, mesmo nestas áreas, tende a ser 'justo', ou seja, não influenciado por critérios particularistas.
Em termos gerais, as causas das divergências ou variações entre assessores não têm sido claramente estabelecidas; pode-se dizer que existe um importante desacordo. Alguns autores preferem qualificá-las de "inexplicáveis" (Ziman, 1994, p. 259); outros centram-se nas diferentes exigências – ou nível de severidade – de cada árbitro, ou seja, atribuem as diferenças à maneira particular como cada pessoa traduz sua opinião em um número ou categoria de qualificação, ou, ainda, a "reais e legítimas diferenças de opinião entre especialistas acerca do que é ou deveria ser boa ciência" (Cole, Cole e Simon, 1981, p. 885).
Esta última explicação para a ocorrência de divergências implica a existência de um objeto 'real' – a atividade científica –, a respeito do qual distintos observadores – os pares ou juízes – podem ter percepções um pouco diferentes. Uma explicação deste tipo somente justificaria pequenas diferenças no julgamento a respeito de um objeto que tem qualidade em si mesmo. Outros autores, com base em perspectiva teórica alternativa, destacam o fato de que o julgamento por pares é parte do processo de produção de conhecimento e das negociações para atingir consenso nas afirmações científicas, as quais são, portanto, produto de um processo social e não apenas científico (Chubin, 1990, p. 159). Então, qualquer grupo de pares pode produzir seu próprio consenso, quer dizer, sua "verdade" (Spagnolo, 1989, p. 132). A validade geral do sistema é, assim, posta em questão: "o juízo coletivo sobre a qualidade de um trabalho depende, pelo menos, tanto dos valores, padrões, interesses e tendências dos cientistas-juízes quanto dos próprios manuscritos" (Chubin e Hackett, 1990, p. 38).
Dentro desta nova visão sociológica da ciência assume-se que várias outras considerações, além das estritamente 'científicas', são incorporadas nas opiniões dos próprios pares. Uma delas, é certamente, a relevância (em termos de impacto extracientífico), ainda que, muitas vezes, o próprio avaliador não seja explícito sobre isto ao registrar sua opinião. Ou seja, não é possível separar as valorações sobre as proposições lógicas das opiniões sobre oportunidade. As relações cotidianas dos pesquisadores com seu contexto, com os outros atores vinculados direta ou indiretamente à ciência, levam-nos a compartilhar a responsabilidade na definição dos problemas, através de interações e induções de critérios. Mas esses critérios estão implícitos, e não se tem qualquer controle sobre sua aplicação. As avaliações incorporam, desde o início, uma série de elementos e premissas relacionados tanto aos valores e subjetividades do avaliador como às condições e variáveis de contexto do processo. Tudo isto, entretanto, fica submerso, na medida em que o que se espera do par, dentro do contrato social Science the Endless Frontier, é que ele informe sua opinião científica e contextualmente 'neutra'.
Existem vários sinais, neste momento, que o contrato social entre ciência e Estado – que originou o aparato institucional de política científica cujo processo decisório central é o sistema de revisão por pares – está em crise. Um novo contrato está sendo negociado. Que contrato é esse e como ele está afetando ou pode afetar os mecanismos de alocação de recursos nos organismos de financiamento à pesquisa?
A consideração explícita da relevância: um novo contrato?
As condições contextuais que permitiram o contrato social do tipo Science theEndless Frontier começaram a se desvanecer em meados da década de 1960, particularmente nos Estados Unidos, com a constatação de que não era mais possível atender ao crescimento das demandas da comunidade científica – seja pelo aumento do número de seus membros, seja pelo aumento do custo da ciência – simplesmente pela expansão dos recursos públicos. Além disso, os benefícios sociais prometidos pela ciência não pareciam mais ser tão automáticos. O modelo linear de inovação passou a ser criticado com base em estudos que apontavam numerosas ocasiões em que a tecnologia parece ter 'guiado' a ciência (Layton, 1988). E, sobretudo, a revisão por pares, além das críticas já apresentadas, passou a se mostrar ineficiente para levar em consideração tanto as opiniões dos usuários quanto questões mais amplas de estratégia científica, incluindo a distribuição de recursos entre áreas científicas.
À luz das restrições orçamentárias, do colapso do modelo linear de inovação e da erosão da credibilidade irrestrita do julgamento por pares, estamos testemunhando, então, a emergência de um contrato social novo e muito mais específico entre ciência e sociedade. Alguns falam de "segunda revolução acadêmica" (Etzkowitz, 1990) ao referir-se à pesquisa que se desenvolve nas universidades. Outros, ao se perguntarem sobre o que está acontecendo à ciência, trabalham sobre um " steady state (estado estacionário) dinâmico" (Ziman, 1994). Este caracteriza-se por vários fatores, tais como: os crescentes níveis de demanda externa por utilidade social e econômica da pesquisa, a sua privatização e coletivização e o aumento da interdependência econômica global da pesquisa. Na mesma linha de análise, Teich (1990) refere-se a três tendências atuais na transição dos sistemas de pesquisa: a escolha da ciência ( priority setting), o uso da ciência (a busca de relevância econômica), e o abuso da ciência (desafios à autoridade moral da ciência). Isto tudo reflete uma expectativa generalizada de que o apoio de recursos públicos para a pesquisa científica deveria se concentrar em áreas que prometem os maiores benefícios sociais e econômicos – em outras palavras, em pesquisa estratégica ou que possa ser aplicada para obtenção de certos objetivos predefinidos (Skoie, 1996).
Dentro de novo contrato, ainda em negociação, não se tem ainda muita clareza do papel que será destinado ao mecanismo de revisão por pares na alocação de recursos. Muitas alternativas são possíveis e existem indicações de que diferentes países estão adotando diferentes arranjos, dependendo da correlação de forças entre os vários atores sociais e de seus interesses.
Algumas agências têm conseguido sobreviver trabalhando exatamente como o faziam dentro do acordo anterior, isto é, com autonomia e poder irrestrito para a comunidade científica. Este é o caso, por exemplo, do DFG, o Conselho de Pesquisa da Alemanha e, também, da Fapesp brasileira (Rip, 1998; Petrucci, 1993). Estas agências não sentem necessidade de se modificar por algumas razões especiais: elas têm uma longa história de sucessos e têm conseguido manter seus orçamentos em níveis altos, além de gozarem de status legal especial. Dadas as especificidades requeridas para manter este modelo, é muito difícil que outras agências em outros países sejam capazes deste feito.
Aparentemente, o mais comum tem sido uma tendência das agências a se adaptar aos novos tempos para, assim, sobreviver. Este é o caso, por exemplo, da NSF dos Estados Unidos, que começou a considerar a relevância como um critério explícito no seu processo de revisão, renomeado "julgamento de mérito" em 1986, com base na idéia de que a qualidade científica pode não ser critério suficiente para a seleção de projetos. Como relatam Chubin e Hackett (1990, p. 159, grifos no original), "(m)ais recentemente, a presença crescente da engenharia dentro da National Science Foundation, a retitulação dos Science Indicators para Science and Engineering Indicators, e a mudança na NSF de julgamento por pares a julgamento de mérito – este último misturando avaliações de mérito técnico pelos pares com assessoramentos de utilidade prática – assinalam um novo ponto de balanço no equilíbrio dinâmico entre conhecimento e utilidade".
Porém, nesse contexto de 'novos pontos de equilíbrio', de mudanças, a premissa central de que o julgamento por pares cumpre um papel- chave na avaliação de pesquisadores não tem sido desafiada, pelo menos não frontalmente; o centro do processo de revisão de propostas de pesquisa, de alocação de recursos para a ciência – que inclui uma ampla gama de participantes – continua sendo dominado pelos cientistas, os pares (Chubin, 1990, p. 301). Ante esta situação, alguns autores perguntam: "Que conceito de objetivos, que critérios de mérito, vamos usar na avaliação da pesquisa? Vamos restringir-nos ao conceito de excelência científica, conforme definido pela comunidade científica em determinado momento?" (Cozzens, 1990, p. 292).
Algumas agências já responderam 'não' a esta pergunta, adotando a recomendação de diferentes autores (desde Weinberg, 1964 e 1963, até Ziman, 1994, entre outros) de avaliar propostas de pesquisa de acordo com dois tipos de critério: internos e externos. Os primeiros relacionam-se ao desempenho científico, têm a ver com questões eminentemente técnicas e só podem ser apreciados por especialistas da mesma área de conhecimento; em outras palavras, julgamento por pares em sentido estrito. Os externos são mais gerais em escopo, incluindo resultados esperados de tipo científico, tecnológico ou social, para os quais devem ser levadas em conta opiniões de não especialistas, fora da comunidade científica. Este procedimento já foi adotado pelos conselhos de pesquisa do Reino Unido, particularmente para os programas chamados de 'pesquisa estratégica' (Hills e Dale, 1995), pela Comisión Sectorial de Investigación Científica (CSIC) do Uruguai para financiamento dos projetos de pesquisa de vinculação entre universidade e setor produtivo (Davyt, 1997) e pela Fundação Holandesa de Tecnologia (Dutch Technology Foundation, STW) para a mesmas finalidades das duas instituições anteriores (van dem Beemt, 1995).
Todas as modificações até hoje realizadas no sistema de alocação de recursos das agências de pesquisa ainda guardam um papel de destaque para a opinião dos pares, e, provavelmente, isto não vai mudar no futuro. Entretanto, como os exemplos do Reino Unido, do Uruguai, da Holanda e ainda de outros países têm indicado, a revisão por pares não reina mais soberana. É possível, desejável e factível agregar opiniões de outros atores sociais sobre a pesquisa que deve ou não receber financiamento, sem com isso 'ameaçar' o avanço da ciência.

# data[].attributes.attachment_link.title
A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro?

# data[].attributes.attachment_link.description
A avaliação é mais que uma ação cotidiana na ciência; ela é parte integrante do processo de construção do conhecimento científico. É através da avaliação - seja de artigos para publicação, seja do currículo de um pesquisador para contratação, seja de um projeto de pesquisa submetido para financiamento, seja de outras várias situações e atores - que se definem os rumos, tanto do próprio conteúdo da ciência quanto das instituições a ela vinculadas.

# data[].attributes.body
Baixar o arquivo para leitura

# data[].attributes.attachment_link.readable_text
O arquivo PDF selecionado deve ser carregado no navegador caso tenha instalado um plugin de leitura de arquivos PDF (por exemplo, uma versão atual do Adobe Acrobat Reader).

Como alternativa, pode-se baixar o arquivo PDF para o computador, de onde poderá abrí-lo com o leitor PDF de sua preferência. Para baixar o PDF, clique no link abaixo.

Caso deseje mais informações sobre como imprimir, salvar e trabalhar com PDFs, a Highwire Press oferece uma página de Perguntas Frequentes sobre PDFs bastante útil.

# data[].attributes.attachment_link.title
Autoavaliação e avaliação pelos pares: uma análise de pesquisas internacionais recentes | Barroso da Costa | Revista Diálogo Educacional

# data[].attributes.attachment_link.description
O arquivo PDF selecionado deve ser carregado no navegador caso tenha instalado um plugin de leitura de arquivos PDF (por exemplo, uma versão atual do Adobe Acrobat Reader). Como alternativa, pode-se baixar o arquivo PDF para o computador, de onde poderá abrí-lo com o leitor PDF de sua preferência.

# data[].attributes.headline
Metodologia Ativa: Como fazer avaliação por pares na sala de aula

# data[].attributes.subject
Metodologia Ativa: Como fazer avaliação por pares na sala de aula

# data[].attributes.body
Professor Ideal

# data[].attributes.attachment_link.title
Metodologia Ativa: Como fazer avaliação por pares na sala de aula

# data[].attributes.headline
Instruções pelos pares na aprendizagem ativa

# data[].attributes.subject
Instruções pelos pares na aprendizagem ativa

# data[].attributes.body
Variação da, atividade - Instrução por pares (Peer Instruction)

# data[].attributes.attachment_link.title
Instruções pelos pares na aprendizagem ativa (legendado)

# data[].attributes.headline
Proposta de utilização da metodologia escolhida combinada com outra proposta

# data[].attributes.subject
Proposta de utilização da metodologia escolhida combinada com outra proposta

# data[].attributes.body
Combinação com Aprendizagem Baseada em Problemas:

# data[].attributes.headline
Avaliação pelos pares de erros deliberados

# data[].attributes.subject
Avaliação pelos pares de erros deliberados

# data[].attributes.body
Consiste em apresentar uma proposta que contenha erros intencionais para que o aluno possa analisar e tentar identifica-los, justifica-los e corrigi-los.

Obs: Um processo bastante semelhante é utilizado para revisão de artigos científicos, livros e revistas com o intuito de encontrar inconformidades.

# data[].attributes.body
Sou mãe do Pedro, formada em Design-Moda, com Técnico em Modelagem do Vestuário, estudante de Licenciatura em Artes Visuais e de Pós graduação em Docência para Educação Profissional. Costureira a alguns anos, hoje trabalho como prototipista. Estou em constante transformação, me desconstruindo para me reconstruir uma pessoa melhor.