IV Congresso NorteNordeste de Psicologia O monitoramento da

IV Congresso Norte-Nordeste de Psicologia O monitoramento da Pós-Graduação: questões, desafios, perspectivas Oswaldo H. Yamamoto UFRN/CAPES Salvador, maio de 2005

Roteiro A CAPES e a avaliação da pós-graduação ® Avaliação da pós-graduação: comparando áreas ® Questões acerca da avaliação da pós-graduação ® 2

A CAPES e a avaliação da pós-graduação

CAPES ® Coordenação de Aperfeiçoamento de Pessoal de Nível Superior: criada como “campanha” em 11 de julho de 1951 ® 1965: CAPES classifica os 38 cursos existentes (27 de mestrado; 11 de doutorado) 1976: início do processo de avaliação sistemática da PG ® Primeiras tentativas: desenvolvimento de sistemas de ® indicadores objetivos quantificáveis que gerassem uma classificação ® Sistema atual: avaliação trienal (desde 1998), com acompanhamento anual, por comissões por área de conhecimento 4

Avaliação da pós-graduação: objetivos A avaliação da PG deve permitir ® tomar decisões com relação ao fomento e ao planejamento do sistema de C&T (incluindo atendimento das necessidades nacionais e regionais) ® estabelecer padrões de qualidade visando a certificação dos programas que compõem o sistema ® aprimorar dos próprios programas, pela identificação de fragilidades ® registrar a memória do sistema 5

Representação e Comissões de Área ® Representação: consulta à comunidade, construção de lista tríplice (CS), indicação da Direção – ® Comissão de Área: indicação conjunta representação/direção – 2005: Comissão ad hoc e “núcleo duro” – ® Critérios para composição da Comissão: diversificação regional – representação de sub-áreas – reconhecimento da comunidade* – * CAPES: Pesquisadores CNPq (1)/Programas acima de 4 – 6 Não são (necessariamente) especialistas em avaliação

Comissões de Área: Avaliação 2004 ® Grandes Áreas: 8 (44 áreas) Ciências Humanas: 8 áreas – Ciências Sociais Aplicadas: 7 áreas – Ciências Agrárias: 4 áreas – Saúde: 8 áreas – Ciências Biológicas: 4 áreas – Engenharias: 4 áreas – Ciências Exatas e da Terra: 5 áreas – Letras, Lingüística e Artes: 2 áreas § Multidisciplinar e Ensino: 2 áreas – ® Consultores: – 7 Consultores: 547

Avaliação da pós-graduação: comparando áreas

Áreas comparadas Grande Área 9 Área ® C. Humanas ® Psicologia ® Educação ® Sociologia ® C. Sociais Aplicadas ® Direito ® C. Biológicas II ® Saúde ® Medicina II ® Engenharias II ® C. Exatas e da Terra ® Química

Comparando áreas: conceitos na Avaliação 2004 10

Avaliação: etapas ® Fase preparatória: definição de critérios e de procedimentos l elaboração de documentos l elaboração/atualização do Qualis da área l ® Fase de execução da Avaliação: avaliação dos Programas pelas Comissões de Área l análise dos resultados pelas Grandes Áreas (2004) l deliberação sobre os resultados pelo CTC l comunicação dos resultados l avaliação de recursos pelas Comissões de Área l deliberação final sobre os recursos pelo CTC l ® 11 Fase de homologação dos resultados (CNE)

Critérios: a Ficha de Avaliação ® Sete quesitos (ponderados): ® ® ® ® Proposta do Programa Corpo Docente Atividade de Pesquisa Atividade de Formação Corpo Discente Teses e Dissertações Produção Intelectual Subdivisão de cada quesito em itens (4 -6) ® Possibilidade de inclusão de itens e de ponderação pelas áreas ® 12

Comparando áreas: pesos dos quesitos Med II Eng II Edu Soc Dir* Qual C. Docente 15 15 10 20 5 20 15 20 A. Pesquisa 5 20 30 20 15 10 10 5 A. Formação 15 15 10 10 20 15 15 5 C. Discente 15 10 10 10 15 20 Teses/Dissertações 25 20 10 20 20 15 20 20 P. Intelectual 25 20 30 30 25 30 Proposta 13 CBio II Psi Quim Qual

Psicologia Procedimentos ® ® ® ® ® 14 Atualização do Qualis periódicos* Reunião para definir critérios** Distribuição dos Programas pelos avaliadores (2 Programas para cada dupla) Elaboração de análise preliminar Preparação de análise de produção intelectual Reunião: dia 1 - ajuste de critérios Trabalho em duplas (variáveis) Discussão grupo todo (busca de consenso) Revisão das Fichas (grupo menor) Critérios ® Documento de Critérios: descrição das características que correspondem às avaliações (ex. ) ® Atividades de formação: “Quando todos os docentes atuam lecionando disciplinas (ainda que isso não ocorra em todos os anos do triênio), quando todos orientam, quando não há dependência de docentes colaboradores, quando os alunos estão bem distribuídos entre os orientadores, quando a maior parte dos docentes atua também na graduação, além de orientar alunos em iniciação científica, e quando as ementas e a bibliografia das disciplinas mostram-se pertinentes e atualizadas, o quesito é avaliado como “muito bom”. ”

Psicologia ® ® ® ® ® 15 % de artigos em relação ao total de itens de produção % de artigos com autoria exclusivamente discente % de artigos publicados em periódicos estrangeiros % de artigos concentrados em um mesmo periódico % de docentes sem artigos publicados no triênio total de itens de produção (artigos + capítulos + livros + trabalhos completos) por docente, por ano total de artigos por docente, por ano, considerando a qualificação dos periódicos total de itens de produção por docente, por ano, considerando a qualificação dos periódicos no caso dos artigos

Educação Critérios Procedimentos ® ® ® ® ® Elaboração do Qualis (eventos, periódicos, livros) Reunião para afinar critérios Definição de critérios para Programas 6 e 7 Distribuição dos Programas pelos avaliadores (2 a 5 Programas) Elaboração de pareceres preliminares (individualmente/correio eletrônico) Reunião: dia 1 - ajuste de critérios Discussão das fichas Indicação para Programas 6 e 7 Revisão das Fichas (grupo menor) Definidos critérios quantitativos para cada quesito e item (ex. : ) ® Indicadores Peso Critério % doc com doutorado D ou pesos abaixo Abaixo de 100%= D Doutor em Ed. NRD 6/NRD 6 40 Tabela 4 Vinculação titulados Ed. em áreas e linhas 30 Quali Vinculação nãotitulados Ed. 30 Quali ® 16 Corpo docente: Abrangência e especialização do NRD 6 Tabela 4: MB=+75; B=65 -74; R=5564; F=45 -54; D=-45

Sociologia Critérios Procedimentos ® ® ® ® ® 17 Visita a todos os Programas Busca de homogeneidade: tomada de decisões por consenso 4 reuniões com coordenadores no triênio Entrega dos CDs Reunião prévia de 5 membros para qualificar livros e coletâneas (+200 livros em 2 dias. . . ) Produção de síntese dos indicadores de cada Programa Primeiro dia: consenso sobre padrões de qualidade Trabalho em duplas (pelo menos 1 dos visitantes) Leitura em voz alta das avaliações Descrição dos critérios por quesito/item (Ex. ) Teses e dissertações: Tempo médio de titulação - O tempo médio de titulação para a menção Muito Bom deve observar dois critérios: 1) o tempo ideal proposto pela Capes, e 2) a série histórica do programa. Tempo elevado em instituições consolidadas há bastante tempo, mas que têm se esforçado para a redução do TMT, com resultados visíveis, é aceitável. Produção intelectual: Qualidade dos veículos - Muito bom implica publicar boa parte dos resultados de pesquisa em periódicos nacionais e internacionais de níveis A e B classificados no Qualis da Sociologia. .

Direito Procedimentos ® ® ® ® 18 Distribuição dos Relatórios na reunião preliminar Divisão da Comissão em subgrupos para relato Análise coletiva, a partir dos relatos dos subgrupos Avaliadores relataram Programas diferentes dos da Avaliação Continuada Discussão ampla antes de definir conceito final Discussão do Programa do avaliador sem a sua presença Avaliação predominantemente qualitativa Critérios Produção intelectual Adequação (25): MB (Entre 80 e 100% da produção de publicações originárias de autores-docentes e autores-discentes, com adequação à proposta do Programa e vinculada às Áreas de Concentração, Linhas e Projetos de Pesquisa). . . ® Qualidade (25): MB (70% e 100% de sua produção intelectual veiculada em publicações distribuídas de acordo com o perfil das respectivas áreas de concentração e publicadas por editoras de reconhecida expressão nacional ou internacional para a área do Direito). . . ®

Ciências Biológicas II Procedimentos ® Elaboração de tabela-síntese com 51 indicadores (total de docentes, pesquisadores com bolsa, publicações cf. Qualis, publicações por orientador, somatório do índice de impacto por orientador, etc. ) ® Avaliação pelo conjunto dos itens contemplados Ex. : Conceito 5: Produção de pelo menos 3 artigos completos publicados em revistas classificadas como categoria "A" do Qualis da área por 50% dos orientadores do programa no triênio. 19 Regularidade da produção científica individual, indicando adequada contribuição coletiva dos orientadores para o desempenho do programa. Somatório do índice de impacto das revistas. Relação índice de impacto por orientador. Número de publicações categoria "A" do Qualis da área por discentes. Total de dissertações e teses defendidas. Relação entre as publicações categoria "A" do Qualis da área com discente sobre número de dissertações e teses defendidas. Baixa dependência de orientadores externos. Tempo médio de titulação dos mestres e doutores. Baixo índice de evasão.

Engenharia II ® ® ® 20 Procedimentos Atualização do Qualis Distribuição do CD (avaliação por pares) Reunião para uniformização de critérios Análise detalhada dos casos limites Análise por subáreas (Química, Materiais, Metalúrgica, Minas e Nuclear) Definição de procedimentos/planilhas por Grande Área Critérios ® Produção intelectual: M=fração computada por item IA, IB, CLI, PI Qualidade dos produtos do NRD 6 (15%): M=M 1/NRD 6 onde M 1 =IA+0, 5 IB+ x. CLI + y. LI + z. PI (MB=1 M; B=0, 75 M 1. . . ) ® Qualidade dos produtos no Programa (10%): M=M 2/n docentes M 2= IA+0, 5 IB+ x. CLI + y. LI + z. PI. . . ®

Medicina II* Procedimentos Seguiu critérios definidos pela Grande Área ® Publicações: Qualis (definido em reunião anterior da Comissão) ® Critérios ® Quantificação de todos os quesitos/itens. Ex. : Corpo Discente: Dimensão do corpo discente com relação ao NRD 6: MB=até 5 alunos; B=5 -6; R=6 -7; F=7 -8; D=+8 ® Teses e dissertações: Tempo médio de titulação (M): MB=24 meses; ® 21 B=25 -30; R=31 -36; F=37 -42; D=+42 ® Produção bibliográfica: Adequação dos veículos: MB=80% NDR 6 3 Qualis Nac A + 1 In A ou B/doc no triênio; B= 80% NDR 6 3 Qualis Nac B + 1 In C/doc no triênio; R= 80% NDR 6 3 Qualis Nac C + 0, 5 In C/doc no triênio ® Produção científica: Qualis ® In A: fator de impacto (fi) 1 In B: 1 fi 0 In C: sem fi, mas no Medline Nac A: Scielo Nac B: Lilacs Nac C: demais ® ® ®

Química ® ® 22 Procedimentos Análise prévia dos Programas (duplas) Preenchimento de planilha com indicadores definidos na reunião de preparação Reunião: construção de planilha única Revisão dos dados (falhas detectadas nos documentos) ® ® Critérios Produção intelectual: JCR: 0, 007 -0, 499 (IC) JCR: 0, 5 -0, 999 (IB) JCR: 1 (IA) Equiparação de tipos de produção (livros=artigos; capítulos i/n=art. nacional. . . )

Questões acerca da avaliação da pós-graduação

Questões e perspectivas ® O que é avaliado: o relatório ou o Programa? ® ® ® A produção científica é adequadamente avaliada? ® ® 24 Modelo comum às 44 áreas Caráter declaratório Visitas como alternativa Mudanças no Coleta e na Ficha de Avaliação Qualis Periódicos: classificação da Comissão CAPES-ANPEPP Classificação das demais áreas aceita Livros e capítulos de livros: Qualis? Qualis livros e indicação de melhor produção

Questões ® O processo de avaliação é cuidadoso? ® ® ® A avaliação é objetiva? ® ® 25 A questão do tempo destinado à preparação e à avaliação propriamente dita A análise do CTC (diante do volume de processos) O material é adequado? Meta-avaliação (Spagnolo e Souza, 2005) Subjetividade da Comissão (escolha de membros; definição de critérios e pesos; seleção, análise e interpretação dos dados; compromissos e tendenciosidade) A base de dados

Questões ® Como articular (a) padrões gerais do SNPG, (b) quadro evolutivo da área e (c) proposta do Programa? ® ® ® Ênfase na produção científica ® ® ® 26 O significado do “padrão médio da área” Avaliar processo ou estabilidade? Avaliação como indutor (de qualidade ou de padrão comum? ) Padronizar ou inovar? Flexibilização do tempo de titulação + Portaria 68 Pressuposto: uma formação adequada só pode ser assegurada por um corpo docente qualificado Formação de recursos humanos como missão da CAPES A questão do egresso