Acesse as fotos da defesa.
Relação entre características do teste educacional e estimativa de habilidade do estudante
Frederico Neves Condé
Resumo
O presente estudo teve como objetivo verificar a relação de características de testes educacionais de matemática e a validade e a fidedignidade das habilidades de estudantes estimadas por meio da Teoria de Resposta ao Item (TRI). Estudos prévios mostraram que dois testes de matemática aplicados em 2005 a estudantes de 8ª série do Ensino Fundamental, a ANEB, contendo 155 itens, e a Prova Brasil, contendo 81 itens, apresentaram resultados de estimativas de habilidade diferentes para grupos com características semelhantes. Esses resultados não foram os esperados, já que a TRI, teoricamente, permite a estimação das habilidades dos estudantes independentemente das características do teste, uma vez que seus pressupostos são atendidos. O grau de cobertura da matriz de referência e os parâmetros psicométricos dos testes foram analisados para subsidiar a composição de testes simulados. Utilizando o teste ANEB como referência, quatro testes (formas A, B, C e D) foram simulados com diferentes números de itens (104 e 81) itens, a partir da variação de seu grau de dificuldade e de discriminação. As estimativas de habilidade dos estudantes foram comparadas entre os testes originais ANEB e Prova Brasil e entre os quatro testes simulados. Evidências de validade e de fidedignidade foram investigadas. Resultados revelaram que estudantes que responderam à Prova Brasil obtiveram estimativas de habilidade maiores em 0,2 desvios-padrão que estudantes que responderam ao teste ANEB. Essa diferença, significativa ao nível de 5%, não pode ser explicada em função de baixo grau de validade de um dos testes, já que foram encontradas evidências de bom grau de validade para ambos os testes quanto às características: grau de cobertura da matriz de referência, elaboração e revisão de itens, análise pedagógica e análise de Funcionamento Diferencial do Item. Os resultados de análise unidimensionalidade podiam ter sido utilizados para decidir quais itens seriam considerados para estimar as habilidades dos estudantes e serviriam como uma evidência adicional de validade. A comparação ente quatro testes simulados e os testes originais indicaram que o número de itens dos testes respondidos pelos estudantes, a qualidade discriminativa dos itens e a relação do parâmetro b com o parâmetro de habilidade são acompanhados de um aumento da fidedignidade dos testes. Os resultados da investigação sugerem que as diferenças observadas quanto às estimativas de habilidade entre ANEB e
Prova Brasil estão associadas ao pequeno número de itens discriminativos para estudantes com estimativas baixas e médias. Com base nos resultados do estudo, recomenda-se a inclusão, nos testes de matemática, 8ª série, de um número maior de itens discriminativos para as faixas baixa e média de habilidades estimadas. Os resultados podem auxiliar o Instituto Nacional de Estudos e Pesquisas Educacionais (INEP) na composição de testes para os próximos processos avaliativos.
Palavras-chave: Construção de testes, Teoria de Resposta ao Item, Validade, Fidedignidade, SAEB, Prova Brasil.
Nenhum comentário:
Postar um comentário