25/12/2010

Texto do Correio do Brasil sobre o avanço da Avaliação Educacional no Brasil


Avaliação educacional estimula a busca pela melhoria

24/12/2010 12:30,  Redação, com ABr - de Brasília
No início do governo Lula, o país tinha um sistema de avaliação educacional ainda tímido, com poucos exames e em sua maioria amostrais. Em oito anos, foram criados novas provas e índices que permitiram um retrato mais preciso da qualidade do ensino no país. Muitos desses resultados ainda mostram uma situação ruim em boa parte das escolas brasileiras.
Entre os novos exames está a Prova Brasil, aplicada a alunos do 5° e 9° ano do ensino fundamental e o Exame Nacional do Desempenho de Estudantes (Enade), para aferir a qualidade dos cursos superiores.
A principal inovação foi a criação do Índice Desenvolvimento da Educação Básica (Ideb), lançado em 2005. A ideia era ter um indicador que pudesse funcionar como um termômetro da qualidade do ensino público, combinando a nota dos alunos na Prova Brasil com as taxas de aprovação. Ele foi desenvolvido pelo então presidente do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) Reynaldo Fernandes, especialista em avaliação educacional.
O Ideb permite atribuir uma nota, em uma escala 0 a 10, para cada escola, município e estado, além de uma média nacional. Para Fernandes, o principal mérito do indicador foi conseguir estabelecer um sistema de metas de evolução para cada uma das escolas brasileiras, a partir do patamar em que elas se encontram.
– Além da expansão das avaliações, o sistema de metas está comprometendo as redes com os bons resultados. Esse é o grande ganho que tivemos –, aponta.
Outro ponto positivo das mudanças implementadas no sistema foi a ampla publicidade aos resultados dos exames. Junto com esse crescimento veio também uma forte resistência de alguns setores da academia e dos profissionais em educação. Para Reynaldo, essas críticas são “naturais” e hoje os questionamentos se referem mais à forma como a sociedade e o governo utilizam e interpretam os dados.
– Não temos o monopólio dos resultados, cada um interpreta da sua forma. Quando solto a nota por escola, eu estou vendo naquele número que o diretor não está fazendo direito seu trabalho e ele pode ter vários motivos para isso. Mas o dado em si é um retrato, uma informação. O pior dos mundos seria não aferir um dado porque ele pode ser mal interpretado –, defende.
Ele reconhece, entretanto, que os indicadores e as próprias avaliações podem ser melhorados.
– Essa é uma crítica positiva –, afirma.
O relatório do Programa Internacional de Avaliação de Alunos (Pisa), divulgado recentemente ela Organização para Cooperação e Desenvolvimento Econômico (OCDE), cita o Ideb como uma das razões para a melhoria da proficiência dos alunos. Segundo Reynaldo, o índice tem sido citado em estudos internacionais como um modelo inovador.
Ainda não há um estudo que estabeleça a relação direta do impacto do índice na aprendizagem, mas Reynaldo afirma que as conversas com secretários de educação e diretores de escola levam a crer que o Ideb estimula a busca pela melhoria das práticas.
Além de ampliar seu sistema de avaliação, a participação do Brasil no Pisa a partir de 2000, ainda no governo Fernando Henrique Cardoso, foi importante para que o país pudesse situar qual era o nível de seus alunos em relação ao restante do mundo. Nas últimas edições o desempenho brasileiro evoluiu, mas ainda está entre os piores do ranking.
– O Pisa foi importante para sabermos onde estávamos e aonde queríamos chegar. O país precisa ter um parâmetro externo. Nós sabíamos que o Brasil tinha atrasos, que ficaríamos nos últimos lugares e que as pessoas iriam reclamar. Mas é fundamental continuar participando –, aponta.
O texto do futuro Plano Nacional de Educação (PNE), cuja tramitação no Congresso Nacional começa em 2011, já indica a criação de novos exames e indicadores. Entre eles uma prova para aferir a alfabetização das crianças até os 8 anos de idade e a inclusão de ciências na Prova Brasil – hoje os estudantes são avaliados apenas em português e matemática.
– É sem volta [a expansão das avaliações educacionais]. E isso não é um fenômeno brasileiro, mas mundial –, acredita Reynaldo.
Professor da Universidade de São Paulo (USP) e atual membro do Conselho Nacional de Educação (CNE), Reynaldo ocupou a presidência do Inep entre 2005 e 2009. Saiu depois dos problemas ocorridos na edição de 2009 do Exame Nacional do Ensino Médio (Enem), quando as provas foram roubadas de dentro da gráfica que imprimia o material, e a avaliação com 4 milhões de inscritos teve que ser adiada.

18/12/2010

Divulgação de conteúdo de testes psicológicos: qual a solução?

A divulgação de conteúdos de testes psicológicos pela internet, é claro, não é exclusividade no Brasil. Vejam o vídeo abaixo. Trata-se do teste de Raven (ou de uma adaptação, mas com alguns itens do Raven).



Como acabar com essa divulgação indiscriminada dos testes? Os principais testes do Brasil estão livres na Internet. Que instrumentos podemos utilizar em um processo seletivo para concursos públicos? Difícil situação.

Os Conselhos regional e federal têm feito a sua parte, mas é pouco.A solução é utilizarmos as ferramentas disponíveis.

Um bom banco de itens e a utilização de algoritmos no computador permitem-nos compor um grande número de testes, se tivermos um bom "arsenal" de itens. Nossas preocupações devem ser: como validar um grande número de itens, dependendo de um grande número de respostas a eles para diversos contextos; usar algoritmos, no mínimo, razoáveis para a composição de testes; e manter os itens seguros na internet, onde hackers não tenham a possibilidade de entrar em seu servidor com facilidade.

A Psicométrica Consultoria e Pesquisa tem investido na produção de conhecimento como o objetivo de diminuir a pirataria em testes psicológicos. Chamado aos pesquisadores e às instituições: estamos abertos a parcerias para desenvolvimento de tecnologia na área de construção e de validação de testes psicológicos.

Não queremos exclusividade de mercado, esse é o lema da Psicométrica. Nosso modelo só funciona se existirem parceria e divulgação de conhecimento produzido. Sigam @FredCondé e @Psicométrica no Twitter que vocês constatarão isso.

Frederico Neves Condé

PSI / SISE - Parte 1/3

O Sistema Personalizado de Ensino, abordagem de ensino centrada no aluno.

Conheçam a experiência do IESB. Aprimoramento do Método Keller, utilizado para ensino superior em Psicologia. Méritos ao Prof. João Cláudio Todorov e ao Prof. Márcio Borges Moreira.

Excelente ferramenta para ser utilizadas nos mais diversos contextos educacionais, principalmente hoje com o avanço da tecnologia, incluindo plataformas de ensino e mídias sociais.

São três vídeos imperdíveis.

17/12/2010

PSI / SISE - Parte 2/3

PSI / SISE - Parte 3/3

A Verdade do Exame de Ordem

Situação difícil quanto ao Exame de Ordem da OAB. Não acredito em fraudes no exame, mas a investigação se faz necessária.

O comentário quanto ao tempo de prova ser curto não procede. Qualquer testagem é assim configurada, desde que estávamos no Ensino Médio. Ademais, o tempo é o mesmo para todos.

Quanto a questões não serem corrigidas, justo o recurso. Se houve erros, etapa de recorreção.

10/12/2010

SIMEC Escola Aberta

O SIMEC é o sistema de monitoramento dos programas do Ministério da Educação. Possibilita o cadastro e o monitoramento de informações referentes aos programas desenvolvidos e que otimizam as ações de gestão.


Em 9 de dezembro de 2010, o módulo do SIMEC, referente ao Programa Escola Aberta, foi disponibilizado aos partícipes do programa, responsáveis pelas etapas de planejamento, execução e avaliação do programa.

Escola e Secretaria, empenhem-se para que o Programa continue sendo um sucesso. Escola, insira as informações no sistema. Secretaria, confira as informações e encaminhe, com apenas um clique, para o MEC. A agilidade do processo de cadastramento é o diferencial.

O SIMEC Escola Aberta foi fruto do esforço técnico de Regina Vassimon, Frederico Condé, Vanya Albuquerque, Carla Medeiros e Herô Rocha, integrantes da Coordenação Nacional do Escola Aberta e Consultores da UNESCO; e da equipe de TI do Mec, Daniel Brito e André Neto. Créditos e méritos para os gestores da SECAD: Secretário André Lázaro, Diretora Jaqueline Moll, Coordenador-Geral Leandro Fialho e Coordenadora do Programa Regina Vassimon, principais incentivadores do projeto.

09/12/2010

Problemas na prova da OAB

Problemas no gabarito da prova da OAB e erros nos itens. O ocorrido lança luz a advogados sobre o alto grau de complexidade de um processo de avaliação em larga escala. Formadores de opinião como os membros da classe advocatícia deveriam avaliar com mais rigor e cuidado antes de emitirem suas opiniões e pautarem suas ações (muitas vezes baseadas exclusivamente no que os candidatos dizem e no que a imprensa divulga) sobre anulação de testes, mesmo porque estão e foram sujeitos a problemas semelhantes. Estaremos atentos. Aguardamos a informação de qual Juiz, membro da OAB, requisitará a anulação da prova.

04/12/2010

Pinoyvote: Ink blot

Provinha Brasil


Novamente, o PTh requisita ao MEC que forneça os devidos créditos ao INEP e a seus técnicos com relação à elaboração da Provinha. Veja algumas informações sobre essa excelente ferramenta de avaliação da Educação Brasileira. Suporte ao professor em sala de aula.


30/11/2010

Mais de 3 milhões de estudantes de escolas públicas podem fazer a provin...


Entrevista com Edna, Coordenadora da Secretaria de Educação Básica, sobre a Provinha Brasil. Muito boa a entrevista e seus esclarecimentos. No entanto, sugiro ao MEC que dê os devidos créditos ao INEP que, com todo cuidado, prepara a Provinha.

25/11/2010

IBGE Censo 2010


Acesse os questionários do Censo 2010, realizado pelo IBGE.

Para os estudiosos em avaliação em ciências sociais, essa excelente ferramenta para revermos nossas práticas de medidas ou já contarmos com essas informações para nossas pesquisas.

IBGE Censo 2010

Equipe Psicométrica
Frederico Neves Condé

23/11/2010

ALVORI AHLERT: ENTREVISTA COM NICOLELIS - Via Fundação Perseu Abr...

ALVORI AHLERT: ENTREVISTA COM NICOLELIS - Via Fundação Perseu Abr...: "Nicolelis: Só no Brasil a educação é discutida por comentarista esportivo publicado em 18/11/2010 Por Conceição LemesFonte Blog Viomundo, e..."

17/11/2010

Alteração no Decreto 6944 sobre avaliações psicológicas em concursos públicos

http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2008/Decreto/Image4.gif

Presidência da República
Casa Civil
Subchefia para Assuntos Jurídicos

Altera o Decreto nº 6.944, de 21 de agosto de 2009, no tocante à realização de avaliações psicológicas em concurso público.


O PRESIDENTE DA REPÚBLICA, no uso das atribuições que lhe confere o art. 84, inciso VI, alínea “a”, da Constituição,
DECRETA:
Art. 1o  O art. 14 do Decreto no 6.944, de 21 de agosto de 2009, passa a vigorar com a seguinte redação:
“Art. 14.  A realização de avaliação psicológica está condicionada à existência de previsão legal específica e deverá estar prevista no edital.
§ 1o  Para os fins deste Decreto, considera-se avaliação psicológica o emprego de procedimentos científicos destinados a aferir a compatibilidade das características psicológicas do candidato com as atribuições do cargo.
§ 2o  A avaliação psicológica será realizada após a aplicação das provas escritas, orais e de aptidão física, quando houver.
§ 3o  Os requisitos psicológicos para o desempenho no cargo deverão ser estabelecidos previamente, por meio de estudo científico das atribuições e responsabilidades dos cargos, descrição detalhada das atividades e tarefas, identificação dos conhecimentos, habilidades e características pessoais necessários para sua execução e identificação de características restritivas ou impeditivas para o cargo.
§ 4o  A avaliação psicológica deverá ser realizada mediante o uso de instrumentos de avaliação psicológica, capazes de aferir, de forma objetiva e padronizada, os requisitos psicológicos do candidato para o desempenho das atribuições inerentes ao cargo.
§ 5o  O edital especificará os requisitos psicológicos que serão aferidos na avaliação.” (NR)
Art. 2o  O Decreto no 6.944, de 2009, passa a vigorar acrescido do seguinte artigo:
“Art. 14-A.  O resultado final da avaliação psicológica do candidato será divulgado, exclusivamente, como “apto” ou “inapto”.
§ 1o  Todas as avaliações psicológicas serão fundamentadas e os candidatos poderão obter cópia de todo o processado envolvendo sua avaliação, independentemente de requerimento específico e ainda que o candidato tenha sido considerado apto.
§ 2o  Os prazos e a forma de interposição de recurso acerca do resultado da avaliação psicológica serão definidos pelo edital do concurso.
§ 3o  Os profissionais que efetuaram avaliações psicológicas no certame não poderão participar do julgamento de recursos.
§ 4o  É lícito ao candidato apresentar parecer de assistente técnico na fase recursal.
§ 5o  Caso no julgamento de recurso se entenda que a documentação e a fundamentação da avaliação psicológica são insuficientes para se concluir sobre as condições do candidato, a avaliação psicológica será anulada e realizado novo exame.” (NR)
Art. 3o  Este Decreto entra em vigor na data de sua publicação.
Brasília, 22 de setembro de 2010; 189º da Independência e 122º da República.
LUIZ INÁCIO LULA DA SILVA
Paulo Bernardo Silva
Este texto não substitui o publicado no DOU de 23.9.2010  

14/11/2010

Comparação entre resultados obtidos por duas aplicações do ENEM

Quando escrevi, no dia da realização do ENEM 2010, o artigo "ENEM: resultados comparáveis entre 2009 e 2010",  não podia imaginar que o tema virasse assunto de fundamental importância para tomada de decisão judicial sobre essa avaliação. No artigo, busquei apresentar o poder da metodologia de construção de testes e de análise de dados baseada na Teoria de Resposta ao Item (TRI) ao permitir a comparação entre os testes do ENEM 2009 e do ENEM 2010, via pré-testes realizado entre essas avaliações.

Pauta da semana passada: Pode-se comparar os resultados entre a primeira aplicação do ENEM 2010 com os de  uma possível segunda aplicação? Resposta: Perfeitamente.

Os itens do ENEM 2010 foram selecionados entre itens contidos Banco Nacional de Itens, cujas características ou parâmetros foram previamente pré-testados e estimados na escala única do ENEM. A construção de um novo teste para o ENEM, contendo itens diferentes aos do primeiro teste, originários desse Banco e estando na mesma escala ENEM, permitirá a emissão de resultados de proficiência dos estudantes, de forma justa, isonômica e com o mesmo grau de validade. Poderíamos comparar os resultados entre ENEM 2010, primeira e (suposta) segunda aplicação, da mesma forma como podemos comparar os resultados do ENEM 2009 com os do ENEM 2010, mesmo que os testes não apresentem itens comuns entre eles.

Isso foi feito ano passado. Por questão de segurança os candidatos dos presídios foram submetidos ao ENEM em uma segunda aplicação, com itens completamente diferentes aos aplicados na avaliação principal. Ainda, candidatos de Santa Catarina foram avaliados em 2009, em um segundo momento, com um teste diferente ao primeiro, em função da impossibilidade de participarem da primeira avaliação. Esses não foram injustiçados e nem um percentual maior ou menor deles foram aprovados em alguma IES.

Claro. Alguns aspectos técnicos devem ser considerados.

1) Considerar o equilíbrio entre os itens dos testes em termos de dificuldade (parâmetro b da TRI): Se em um primeiro teste, por exemplo, temos 25% de itens com complexidade baixa, para o segundo teste, esse percentual deve ser mantido. O mesmo equilíbrio entre os itens deve ser observado para as faixas de complexidades média e alta.

2) Considerar o equilíbrio quanto ao conteúdo (competências e habilidades): Deve-se construir o segundo teste com o mesmo número de itens por habilidade da matriz de referência. Se temos dois itens que avaliam, por exemplo, a habilidade 1 de Ciências da Natureza, para o novo teste, esse quantitativo para essa habilidade deve ser mantido. Isso tem relação com o conceito de testes equivalentes ou paralelismo postulado pela Psicometria.

3) Considerar a manutenção de itens com alto índice de discriminação (parâmetro a da TRI) para a segunda prova, da mesma forma como deve ter sido considerado para a construção do primeiro teste.

4) Considerar a manutenção de itens com baixa probabilidade de acerto ao acaso (parâmetro c da TRI) como deve ter sido considerado pelo INEP na construção do primeiro teste aplicado.

A TRI é robusta em seus princípios se esses critérios são rigorosamente observados. Não veremos, caso tome-se a decisão de realizar uma segunda aplicação para o ENEM, notas médias maiores ou menores para os estudantes que venham a responder a um segundo teste, caso não mereçam essa notas maiores ou menores.


Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
www.psicometrica.com.br

Planejamento Estratégico nas Organizações

O Censo de 2010: Espaço físico

Avaliações do MEC 1/10: Avaliação Institucional Externa

Teorema de Pitágoras

06/11/2010

ENEM: resultados comparáveis entre 2009 e 2010

Estudantes e candidato ao ENEM. Vocês sabem que os resultados dos estudantes do ENEM 2009 podem ser comparados com os resultados de 2010? Graças à metodologia de equalização pela Teoria de Resposta ao Item (TRI) utilizada pela avaliação. Como funciona?

Os resultados do ENEM 2009 foram inseridos em uma escala que varia de 0 a 1000. Ninguém tira zero, ninguém tira mil, portanto, varia na prática de 100 a 900. 

Esse ano o INEP fez dois pré-testes com estudantes do Ensino Médio. 

Em um pré-teste, uma grande quantidade de itens é aplicada. Cada um dos cadernos é composto por uma maioria de itens novos e por alguns itens comuns com a última avaliação, no caso, com o ENEM 2009. Qual o objetivo do pré-teste? Avaliar os itens e não as pessoas.

Com itens comuns à avaliação 2009 do ENEM, houve a possibilidade de avaliar as características dos itens do pré-teste, ou seus parâmetros (discriminação, dificuldade e probabilidade de acerto ao acaso), na mesma escala (de 0 a 1000 e com o mesmo tamanho de unidade de medida) do ENEM. Os itens e suas características são armazenados no Banco Nacional de Itens do INEP.

Ao construir as provas, o ENEM utiliza apenas itens pré-testados e prezam pela sua não-modificação, já que modificações substanciais poderiam alterar suas características. Assim, os testes do ENEM 2010 foram compostos por itens com suas características estimadas na mesma escala de 2009.

Em síntese:
ENEM 2009 -> Pré-teste 2010 -> ENEM 2010

Um estudante que prestou o ENEM 2009 e o ENEM 2010 pode comparar sua evolução e verificar, com base na variação de sua nota, o quanto melhorou quanto a sua proficiência. Espero que você não tenha precisado prestar os dois exames, mas, se for o caso, a sua evolução entre esses anos pode ser calculada.

O presente artigo é apresentado como uma evidência da relevância da TRI como metodologia para avaliações educacionais como o ENEM.

Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
@psicometrica no Twitter

Novo Enem: Dicas para uma boa redação

Teoria de Resposta ao Item no ENEM: vamos simplificar?

Prezado estudante e candidato ao ENEM.

Realmente, as metodologias de construção de testes e de análise de resultados do ENEM, pautadas na Teoria de Resposta ao Item (TRI), não são fáceis de serem explicadas. Não é falta de mérito brasileiro quanto à divulgação dessas informações. Tratam-se de metodologias baseadas em métodos matemáticos que, muitas vezes, se distanciam do senso comum.

De toda forma, meu propósito aqui é explicar de modo fácil e objetivo.

A TRI utilizada no ENEM é pautada em três características (ou parâmetros estatísticos) das questões (ou dos itens). Essas questões foram pré-testadas e cada uma delas tem seu conjunto de parâmetros.

Parâmetro a: trata da discriminação do item, ou seja, seu poder em diferenciar quem sabe de quem não sabe a resposta correta. De uma forma mais precisa: "discriminar" quem já construiu de quem ainda não constuiu a competência avaliada pelo item. O ENEM busca selecionar os itens que apresentam os parâmetros "a" mais altos, é claro. Geralmente, os itens muito difíceis ou muito fáceis apresentam discriminação mais baixa que os itens com dificuldade média. De toda forma a equipe do INEP seleciona, de um conjunto de questões pré-testadas, as que apresentam as maiores discriminações para cada faixa de dificuldade de questões.

Parâmetro b: refere-se à característica de dificuldade das questões (parâmetro de posição). Em uma régua que varia de 0 a 1000, os itens são classificados em termos de dificuldades. Temos itens de dificuldade baixa (em torno de 250), de dificuldade média (aproximadamente 500) e de dificuldade alta (750). Em 2009, foi selecionado um quantitativo equilibrado de itens para cada faixa de dificuldade. Os itens mais fáceis foram utilizados para discriminar grupos de estudantes que mereciam ou ainda não o certificado de ensino médio (antigo encceja). Os itens mais difíceis foram utilizados para avaliar os estudantes excelentes dos muito bons; diferenciar os examinandos muito bons dos bons. A idéia é termos itens com as mais variadas dificuldades para cobrir todos os níveis de conhecimento.

Parâmetro c: Chance de acerto no chute. O INEP seleciona os itens com menores parâmetros "c". Se um item tem 5 alternativas, se eu fechar os olhos, tenho 20% de chance de acertar. Os melhores itens são aqueles que tem uma probabilidade menor de acerto sem ter o conhecimento necessário para acertá-lo.

Bom. Essas são as características dos itens. Mandando todas as características para o computador, ele faz a ponderação de discriminação, de dificuldade e de probabilidade de acerto ao acaso na hora de computar sua nota. Não há mágica. Há maior controle das características das questões. Enquanto em uma prova de sala de aula o item mais difícil pode valer a mesma pontuação que o item mais fácil, com a TRI, isso é compensado. Enquanto na prova de sala de aula, não se sabe se o item é bom para diferenciar alunos que sabem dos que não sabem a matéria, a TRI permite uma maior garantia que os itens são de qualidade. Enquanto em sala de aula uma alternativa pode ser absurda e ninguém marcá-la, sabe-se previamente como prevenir esse erro de construção e consequente injustiça nos resultados quanto a TRI é usada.

No ENEM 2010, faça a prova tranqüilamente. Não se preocupe com esses aspectos técnicos, já que o que importará será o número de questões que você responderá corretamente. A TRI só irá ajudar a buscar justiça para que você consiga a excelente nota que você merece.

Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
frederico.conde@psicometrica.com.br

Poste aqui seu comentário
Siga o twitter @psicometrica

05/11/2010

Enem: palavras aos estudantes

Estudantes. Acreditem no potencial de vocês e na competência técnica dos especialistas do INEP. Bom final de semana. Produzam bastante. Muita calma. Lembrem-se que o tempo de realização das questões é o mesmo para todos.
Psicométrica
Published with Blogger-droid v1.6.5

04/08/2010

Avaliação Psicológica para Progressão de Pena

Psicólogos são proibidos de avaliar presos para progressão de pena.

Jornal Nacional

01/07/2010

Prova Brasil 2009

Os resultados de 2009 da Prova Brasil, filha querida do Sistema Nacional de Avaliação da Educação Básica - SAEB, instrumento de monitoramento da qualidade da educação básica, foram apresentados hoje, dia 1/7/2010, inseridos nos dados do IDEB 2009.

Cabe ressaltar a seriedade com que os testes de Língua Portuguesa e de Matemática da Prova Brasil foram constituídos, ano passado. Sob a Coordenação-Geral de Instrumentos e Medidas (CGIM-INEP), vários profissionais, dentre Psicometristas (Estatísticos e Psicólogos), Professores das áreas e Diagramadores, foram envolvidos. O cuidado com a validade e a precisão dos resultados foi redobrado, embora o delineamento dos testes foi mantido o mesmo para garantir a comparação entre ciclos (1995 a 2009). Embora a Teoria de Resposta ao Item e estudos empíricos realizados (inclusive da minha dissertação de mestrado) mostrem que a diferença da dificuldade das provas entre ciclos não influenciem nas estimativas de proficiência dos estudantes, para os testes de 2009, houve esse cuidado adicional. Houve uma tentativa de manutenção das dificuldades entre blocos de itens e entre a Prova Brasil 2007 e 2009 (com exceção dos blocos comuns entre séries). Quanto à discriminação, só itens com qualidade alta (com base no parâmetro a da TRI e no índice de correlação bisserial) foram considerados.

Com relação aos aspectos pedagógicos dos itens, o cuidado não foi menor. Uma elaboração de questões cuidadosa, uma revisão criteriosa e a seleção dessas questões privilegiando um bom equilíbrio de cobertura da matriz e do grau de complexidade foram realizados. Críticas quanto aos aspectos pedagógicos sempre ocorreram quanto ao SAEB e continuarão ocorrendo. Isso é produtivo. De toda forma reforço a seriedade com que os Especialistas da CGIM e os Consultores contratados lidaram com relação à Prova Brasil.

Como estudioso da questão psicométrica e pedagógica de instrumentos de avaliação educacional, a partir da divulgação dos resultados, a Psicométrica Consultoria e Pesquisa requisitará ao INEP a cessão das bases de dados dos estudantes e dos parâmetros dos itens para analisarmos mais aprofundadamente os pontos positivos e negativos do instrumento. Temos um grupo de pesquisa em Brasília preocupado com o avanço dos testes educacionais utilizados no Brasil. Parabéns ao INEP e à toda a equipe da CGIM pela competência com que desenvolvem instrumentos de medida, sem deixar a dever para qualquer instituto internacional de avaliação educacional.

Frederico Neves Condé

Veja o depoimento do Ministro Fernando Haddad sobre os resultados do IDEB.

Veja o que a Prova Brasil avalia.

06/06/2010

Avaliação psicológica para seleção e certificação

Candidatos a concursos. Uma seleção psicológica realizada de forma séria, com certeza, permite prever com segurança o desempenho de uma pessoa no exercício das tarefas relacionadas ao cargo a que está concorrendo. Vamos analisar de forma crítica o vídeo a seguir. Avaliação psicológica para seleção de pessoal tem se mostrado bastante eficiente para predição de comportamento.

É claro que margens de erro devem ser consideradas. Mas, convenhamos, avaliação psicológica em concurso público é imprescindível.



Principalmente para cargos que envolva segurança pública.

10/04/2010

"Vai entender..."

13/02/2010

Teoria dos Tipos Psicológicos - As 4 dimensões da personalidade

Jung... Sua teoria fez história na elaboração de testes.


Entrevista com o Prof. Alchieri sobre avaliação psicológica

Entrevista do Prof. João Carlos Alchieri à TVIBNeuro. Recomendo....

Recruta Zero - Teste psicológico


A caricatura é sempre válida para analisarmos a visão histórica e que a sociedade forma e mantém sobre a avaliação psicológica. Divirtam-se, mas analisem as situações criticamente.


Diretrizes para o uso dos testes ITC

Diretrizes para o uso de testes da "International Test Commission" em Português. Tradução autorizada pela ITC para o Instituto Brasileiro de Avaliação Psicológica.

Um teste de humanidade

Recomendo... Leitura e reflexão de um conto de Alessandro Vieira dos Reis de título "Como analistas do comportamento vêem o mundo". Recomendarei aos meus alunos do IESB para discussão em grupo. Comentem...

Standards for Educational and Psychological Testing



Desenvolvido pela Associação Americana de Pesquisa Educacional, pela Associação Americana de Psicologia e pelo Conselho Nacional de Medida em Educação, os "Standards for Educational and Psychological Testing" (última atualização em 1999) fornecem informações sobre o uso e o desenvolvimento de testes em educação, psicologia e organizações. Incluem informações sobre leis federais (Estados Unidos), aspectos referentes à validade e à fidedignidade, testagem individual, novos tipos de testes e utilizações. Bom ressaltar a mudança de paradigma que o documento apresenta com relação aos conceitos de validade e de fidedignidade. Esses passaram a ser associados aos resultados dos testes aplicados em determinados contextos e não aos testes propriamente ditos. O livro ainda é vendido e não há disponibilização de graça pela internet, mas trata-se de um documentos de conhecimento obrigatório por parte dos especialistas em medidas em ciências humanas.

Resolução para uso, elaboração e comercialização de testes


Sempre é bom relembrar que o CFP possui resoluções específicas para construção, utilização e comercialização de testes psicológicos. A resolução n. 002/2003 define e regulamenta o uso, a elaboração e a comercialização de testes psicológicos e revoga a Resolução CFP n° 025/2001.

16/01/2010

SATEPSI


Psicólogo. Acesse a última lista dos testes aprovados pelo Conselho Federal de Psicologia. Para tomada de decisões, utilize sempre os testes aprovados.

13/01/2010

Tese de doutorado analisa eficácia das provas de concursos públicos

A matéria a seguir tem como fonte o site do CESPE e remete a uma pesquisa de extrema relevância à psicometria, à prática da avaliação educacional e à estruturação de processos seletivos em organizações. Parabenizações à Fabiana Queiroga, autora da tese.

****

23/12/2009 - PESQUISA

Tese de doutorado analisa eficácia das provas de concursos públicos

O trabalho, desenvolvido pela pesquisadora do Cespe/UnB, Fabiana Queiroga, foi aprovado pelo Instituto de Psicologia da UnB


Ciléia Pontes
Da Assessoria Técnica de Comunicação do Cespe/UnB

Quem já não se perguntou: será que os conhecimentos exigidos nas provas de concurso vão servir para o desempenho dos aprovados no trabalho? Em busca de uma resposta, a psicometrista da Coordenadoria de Pesquisa em Avaliação do Cespe/UnB, Fabiana Queiroga, fez da dúvida o tema de sua tese de doutorado. Com o título “Seleção de Pessoas e Desempenho no Trabalho: um estudo sobre a validade preditiva dos testes de conhecimentos”, ela apresentou o resultado da tese ao Instituto de Psicologia da Universidade de Brasília na última segunda-feira, dia 21.

Uma das conclusões do estudo refere-se à relação direta entre o conteúdo exigido nos testes e o trabalho a ser realizado quando o candidato assumir o cargo. “Quanto mais a prova for direcionada para o que a pessoa vai fazer no emprego, maior é a chance de selecionar pessoas que apresentarão os desempenhos esperados pelas organizações”, explica Fabiana.

De modo geral, a psicometrista verificou que os conhecimentos gerais exigidos nas provas têm pouca relação com a prática dos cargos, diferentemente do que ocorre com os conhecimentos específicos, pois, dependendo do que for exigido, têm mais chances de ter relação com o trabalho prático dos candidatos. “E há também outra variável. Quanto maior o grau de complexidade do conteúdo cobrado, maior a relação com a função a ser desempenhada. Ou seja, as provas que exigem apenas memorização de conteúdos têm menor chance de selecionar as pessoas procuradas pelas organizações”, ressaltou.

PESQUISA – Durante três anos e meio, sob a orientação do Professor Doutor Jairo E. Borges Andrade, Fabiana pesquisou os bancos de dados dos concursos realizados pelo Cespe/UnB para duas organizações no período de 10 anos. Ela verificou as provas aplicadas, as notas dos aprovados e depois pesquisou o desempenho deles dentro das organizações. “Na pesquisa com esses profissionais, o objetivo era saber qual a motivação deles no trabalho e que suporte era oferecido pela organização para que eles tivessem um bom desempenho”.

Depois da aprovação da tese pela banca examinadora do Instituto de Psicologia da Universidade, o desafio da pesquisadora do Cespe/UnB é divulgar os resultados, de modo que os dados sejam utilizados para melhorar a seleção de funcionários de empresas públicas ou privadas. “Foi possível verificar que as organizadoras de concursos públicos, por exemplo, devem estar atentas a esses resultados e estudar a mudança das provas, apesar de sabermos que isso não pode ser feito se não houver demanda dos clientes”, finaliza.

A tese de doutorado da Fabiana Queiroga estará disponível em breve no portal da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). O endereço é: www.capes.gov.br

**

Fabiana Queiroga

Possui graduação em Licenciatura em Psicologia (2002) e Formação de Psicólogo (2003) pela Universidade Federal da Paraíba. Fez especialização em Matemática e Estatística na Universidade Federal de Lavras (MG). Concluiu a carga horária necessária para aquisição do título de mestre na Universidade de Brasília. Seu doutorado acaba de ser defendido na UnB no programa de Psicologia Social, do Trabalho e das Organizações (dezembro de 2009). Atua como psicometrista do Cespe/UnB desde 2003. Tem experiência na área de Construção de Medidas e Avaliação em Psicologia, com ênfase em avaliação educacional em larga escala, avaliação de aprendizagem e de desempenho em organizações e seleção de pessoas.