06/11/2010

Teoria de Resposta ao Item no ENEM: vamos simplificar?

Prezado estudante e candidato ao ENEM.

Realmente, as metodologias de construção de testes e de análise de resultados do ENEM, pautadas na Teoria de Resposta ao Item (TRI), não são fáceis de serem explicadas. Não é falta de mérito brasileiro quanto à divulgação dessas informações. Tratam-se de metodologias baseadas em métodos matemáticos que, muitas vezes, se distanciam do senso comum.

De toda forma, meu propósito aqui é explicar de modo fácil e objetivo.

A TRI utilizada no ENEM é pautada em três características (ou parâmetros estatísticos) das questões (ou dos itens). Essas questões foram pré-testadas e cada uma delas tem seu conjunto de parâmetros.

Parâmetro a: trata da discriminação do item, ou seja, seu poder em diferenciar quem sabe de quem não sabe a resposta correta. De uma forma mais precisa: "discriminar" quem já construiu de quem ainda não constuiu a competência avaliada pelo item. O ENEM busca selecionar os itens que apresentam os parâmetros "a" mais altos, é claro. Geralmente, os itens muito difíceis ou muito fáceis apresentam discriminação mais baixa que os itens com dificuldade média. De toda forma a equipe do INEP seleciona, de um conjunto de questões pré-testadas, as que apresentam as maiores discriminações para cada faixa de dificuldade de questões.

Parâmetro b: refere-se à característica de dificuldade das questões (parâmetro de posição). Em uma régua que varia de 0 a 1000, os itens são classificados em termos de dificuldades. Temos itens de dificuldade baixa (em torno de 250), de dificuldade média (aproximadamente 500) e de dificuldade alta (750). Em 2009, foi selecionado um quantitativo equilibrado de itens para cada faixa de dificuldade. Os itens mais fáceis foram utilizados para discriminar grupos de estudantes que mereciam ou ainda não o certificado de ensino médio (antigo encceja). Os itens mais difíceis foram utilizados para avaliar os estudantes excelentes dos muito bons; diferenciar os examinandos muito bons dos bons. A idéia é termos itens com as mais variadas dificuldades para cobrir todos os níveis de conhecimento.

Parâmetro c: Chance de acerto no chute. O INEP seleciona os itens com menores parâmetros "c". Se um item tem 5 alternativas, se eu fechar os olhos, tenho 20% de chance de acertar. Os melhores itens são aqueles que tem uma probabilidade menor de acerto sem ter o conhecimento necessário para acertá-lo.

Bom. Essas são as características dos itens. Mandando todas as características para o computador, ele faz a ponderação de discriminação, de dificuldade e de probabilidade de acerto ao acaso na hora de computar sua nota. Não há mágica. Há maior controle das características das questões. Enquanto em uma prova de sala de aula o item mais difícil pode valer a mesma pontuação que o item mais fácil, com a TRI, isso é compensado. Enquanto na prova de sala de aula, não se sabe se o item é bom para diferenciar alunos que sabem dos que não sabem a matéria, a TRI permite uma maior garantia que os itens são de qualidade. Enquanto em sala de aula uma alternativa pode ser absurda e ninguém marcá-la, sabe-se previamente como prevenir esse erro de construção e consequente injustiça nos resultados quanto a TRI é usada.

No ENEM 2010, faça a prova tranqüilamente. Não se preocupe com esses aspectos técnicos, já que o que importará será o número de questões que você responderá corretamente. A TRI só irá ajudar a buscar justiça para que você consiga a excelente nota que você merece.

Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
frederico.conde@psicometrica.com.br

Poste aqui seu comentário
Siga o twitter @psicometrica

05/11/2010

Enem: palavras aos estudantes

Estudantes. Acreditem no potencial de vocês e na competência técnica dos especialistas do INEP. Bom final de semana. Produzam bastante. Muita calma. Lembrem-se que o tempo de realização das questões é o mesmo para todos.
Psicométrica
Published with Blogger-droid v1.6.5

04/08/2010

Avaliação Psicológica para Progressão de Pena

Psicólogos são proibidos de avaliar presos para progressão de pena.

Jornal Nacional

01/07/2010

Prova Brasil 2009

Os resultados de 2009 da Prova Brasil, filha querida do Sistema Nacional de Avaliação da Educação Básica - SAEB, instrumento de monitoramento da qualidade da educação básica, foram apresentados hoje, dia 1/7/2010, inseridos nos dados do IDEB 2009.

Cabe ressaltar a seriedade com que os testes de Língua Portuguesa e de Matemática da Prova Brasil foram constituídos, ano passado. Sob a Coordenação-Geral de Instrumentos e Medidas (CGIM-INEP), vários profissionais, dentre Psicometristas (Estatísticos e Psicólogos), Professores das áreas e Diagramadores, foram envolvidos. O cuidado com a validade e a precisão dos resultados foi redobrado, embora o delineamento dos testes foi mantido o mesmo para garantir a comparação entre ciclos (1995 a 2009). Embora a Teoria de Resposta ao Item e estudos empíricos realizados (inclusive da minha dissertação de mestrado) mostrem que a diferença da dificuldade das provas entre ciclos não influenciem nas estimativas de proficiência dos estudantes, para os testes de 2009, houve esse cuidado adicional. Houve uma tentativa de manutenção das dificuldades entre blocos de itens e entre a Prova Brasil 2007 e 2009 (com exceção dos blocos comuns entre séries). Quanto à discriminação, só itens com qualidade alta (com base no parâmetro a da TRI e no índice de correlação bisserial) foram considerados.

Com relação aos aspectos pedagógicos dos itens, o cuidado não foi menor. Uma elaboração de questões cuidadosa, uma revisão criteriosa e a seleção dessas questões privilegiando um bom equilíbrio de cobertura da matriz e do grau de complexidade foram realizados. Críticas quanto aos aspectos pedagógicos sempre ocorreram quanto ao SAEB e continuarão ocorrendo. Isso é produtivo. De toda forma reforço a seriedade com que os Especialistas da CGIM e os Consultores contratados lidaram com relação à Prova Brasil.

Como estudioso da questão psicométrica e pedagógica de instrumentos de avaliação educacional, a partir da divulgação dos resultados, a Psicométrica Consultoria e Pesquisa requisitará ao INEP a cessão das bases de dados dos estudantes e dos parâmetros dos itens para analisarmos mais aprofundadamente os pontos positivos e negativos do instrumento. Temos um grupo de pesquisa em Brasília preocupado com o avanço dos testes educacionais utilizados no Brasil. Parabéns ao INEP e à toda a equipe da CGIM pela competência com que desenvolvem instrumentos de medida, sem deixar a dever para qualquer instituto internacional de avaliação educacional.

Frederico Neves Condé

Veja o depoimento do Ministro Fernando Haddad sobre os resultados do IDEB.

Veja o que a Prova Brasil avalia.

06/06/2010

Avaliação psicológica para seleção e certificação

Candidatos a concursos. Uma seleção psicológica realizada de forma séria, com certeza, permite prever com segurança o desempenho de uma pessoa no exercício das tarefas relacionadas ao cargo a que está concorrendo. Vamos analisar de forma crítica o vídeo a seguir. Avaliação psicológica para seleção de pessoal tem se mostrado bastante eficiente para predição de comportamento.

É claro que margens de erro devem ser consideradas. Mas, convenhamos, avaliação psicológica em concurso público é imprescindível.



Principalmente para cargos que envolva segurança pública.

10/04/2010

"Vai entender..."