Entrevista com Edna, Coordenadora da Secretaria de Educação Básica, sobre a Provinha Brasil. Muito boa a entrevista e seus esclarecimentos. No entanto, sugiro ao MEC que dê os devidos créditos ao INEP que, com todo cuidado, prepara a Provinha.
30/11/2010
25/11/2010
IBGE Censo 2010
Acesse os questionários do Censo 2010, realizado pelo IBGE.
Para os estudiosos em avaliação em ciências sociais, essa excelente ferramenta para revermos nossas práticas de medidas ou já contarmos com essas informações para nossas pesquisas.
Equipe Psicométrica
Frederico Neves Condé
23/11/2010
ALVORI AHLERT: ENTREVISTA COM NICOLELIS - Via Fundação Perseu Abr...
ALVORI AHLERT: ENTREVISTA COM NICOLELIS - Via Fundação Perseu Abr...: "Nicolelis: Só no Brasil a educação é discutida por comentarista esportivo publicado em 18/11/2010 Por Conceição LemesFonte Blog Viomundo, e..."
20/11/2010
17/11/2010
Alteração no Decreto 6944 sobre avaliações psicológicas em concursos públicos
Presidência da República
Casa Civil
Subchefia para Assuntos Jurídicos
O PRESIDENTE DA REPÚBLICA, no uso das atribuições que lhe confere o art. 84, inciso VI, alínea “a”, da Constituição,
DECRETA:
Art. 1o O art. 14 do Decreto no 6.944, de 21 de agosto de 2009, passa a vigorar com a seguinte redação:
“Art. 14. A realização de avaliação psicológica está condicionada à existência de previsão legal específica e deverá estar prevista no edital.
§ 1o Para os fins deste Decreto, considera-se avaliação psicológica o emprego de procedimentos científicos destinados a aferir a compatibilidade das características psicológicas do candidato com as atribuições do cargo.
§ 2o A avaliação psicológica será realizada após a aplicação das provas escritas, orais e de aptidão física, quando houver.
§ 3o Os requisitos psicológicos para o desempenho no cargo deverão ser estabelecidos previamente, por meio de estudo científico das atribuições e responsabilidades dos cargos, descrição detalhada das atividades e tarefas, identificação dos conhecimentos, habilidades e características pessoais necessários para sua execução e identificação de características restritivas ou impeditivas para o cargo.
§ 4o A avaliação psicológica deverá ser realizada mediante o uso de instrumentos de avaliação psicológica, capazes de aferir, de forma objetiva e padronizada, os requisitos psicológicos do candidato para o desempenho das atribuições inerentes ao cargo.
§ 5o O edital especificará os requisitos psicológicos que serão aferidos na avaliação.” (NR)
“Art. 14-A. O resultado final da avaliação psicológica do candidato será divulgado, exclusivamente, como “apto” ou “inapto”.
§ 1o Todas as avaliações psicológicas serão fundamentadas e os candidatos poderão obter cópia de todo o processado envolvendo sua avaliação, independentemente de requerimento específico e ainda que o candidato tenha sido considerado apto.
§ 2o Os prazos e a forma de interposição de recurso acerca do resultado da avaliação psicológica serão definidos pelo edital do concurso.
§ 3o Os profissionais que efetuaram avaliações psicológicas no certame não poderão participar do julgamento de recursos.
§ 4o É lícito ao candidato apresentar parecer de assistente técnico na fase recursal.
§ 5o Caso no julgamento de recurso se entenda que a documentação e a fundamentação da avaliação psicológica são insuficientes para se concluir sobre as condições do candidato, a avaliação psicológica será anulada e realizado novo exame.” (NR)
Art. 3o Este Decreto entra em vigor na data de sua publicação.
Brasília, 22 de setembro de 2010; 189º da Independência e 122º da República.
LUIZ INÁCIO LULA DA SILVA
Paulo Bernardo Silva
Este texto não substitui o publicado no DOU de 23.9.2010
14/11/2010
Comparação entre resultados obtidos por duas aplicações do ENEM
Quando escrevi, no dia da realização do ENEM 2010, o artigo "ENEM: resultados comparáveis entre 2009 e 2010", não podia imaginar que o tema virasse assunto de fundamental importância para tomada de decisão judicial sobre essa avaliação. No artigo, busquei apresentar o poder da metodologia de construção de testes e de análise de dados baseada na Teoria de Resposta ao Item (TRI) ao permitir a comparação entre os testes do ENEM 2009 e do ENEM 2010, via pré-testes realizado entre essas avaliações.
Pauta da semana passada: Pode-se comparar os resultados entre a primeira aplicação do ENEM 2010 com os de uma possível segunda aplicação? Resposta: Perfeitamente.
Os itens do ENEM 2010 foram selecionados entre itens contidos Banco Nacional de Itens, cujas características ou parâmetros foram previamente pré-testados e estimados na escala única do ENEM. A construção de um novo teste para o ENEM, contendo itens diferentes aos do primeiro teste, originários desse Banco e estando na mesma escala ENEM, permitirá a emissão de resultados de proficiência dos estudantes, de forma justa, isonômica e com o mesmo grau de validade. Poderíamos comparar os resultados entre ENEM 2010, primeira e (suposta) segunda aplicação, da mesma forma como podemos comparar os resultados do ENEM 2009 com os do ENEM 2010, mesmo que os testes não apresentem itens comuns entre eles.
Isso foi feito ano passado. Por questão de segurança os candidatos dos presídios foram submetidos ao ENEM em uma segunda aplicação, com itens completamente diferentes aos aplicados na avaliação principal. Ainda, candidatos de Santa Catarina foram avaliados em 2009, em um segundo momento, com um teste diferente ao primeiro, em função da impossibilidade de participarem da primeira avaliação. Esses não foram injustiçados e nem um percentual maior ou menor deles foram aprovados em alguma IES.
Claro. Alguns aspectos técnicos devem ser considerados.
1) Considerar o equilíbrio entre os itens dos testes em termos de dificuldade (parâmetro b da TRI): Se em um primeiro teste, por exemplo, temos 25% de itens com complexidade baixa, para o segundo teste, esse percentual deve ser mantido. O mesmo equilíbrio entre os itens deve ser observado para as faixas de complexidades média e alta.
2) Considerar o equilíbrio quanto ao conteúdo (competências e habilidades): Deve-se construir o segundo teste com o mesmo número de itens por habilidade da matriz de referência. Se temos dois itens que avaliam, por exemplo, a habilidade 1 de Ciências da Natureza, para o novo teste, esse quantitativo para essa habilidade deve ser mantido. Isso tem relação com o conceito de testes equivalentes ou paralelismo postulado pela Psicometria.
3) Considerar a manutenção de itens com alto índice de discriminação (parâmetro a da TRI) para a segunda prova, da mesma forma como deve ter sido considerado para a construção do primeiro teste.
4) Considerar a manutenção de itens com baixa probabilidade de acerto ao acaso (parâmetro c da TRI) como deve ter sido considerado pelo INEP na construção do primeiro teste aplicado.
A TRI é robusta em seus princípios se esses critérios são rigorosamente observados. Não veremos, caso tome-se a decisão de realizar uma segunda aplicação para o ENEM, notas médias maiores ou menores para os estudantes que venham a responder a um segundo teste, caso não mereçam essa notas maiores ou menores.
Pauta da semana passada: Pode-se comparar os resultados entre a primeira aplicação do ENEM 2010 com os de uma possível segunda aplicação? Resposta: Perfeitamente.
Os itens do ENEM 2010 foram selecionados entre itens contidos Banco Nacional de Itens, cujas características ou parâmetros foram previamente pré-testados e estimados na escala única do ENEM. A construção de um novo teste para o ENEM, contendo itens diferentes aos do primeiro teste, originários desse Banco e estando na mesma escala ENEM, permitirá a emissão de resultados de proficiência dos estudantes, de forma justa, isonômica e com o mesmo grau de validade. Poderíamos comparar os resultados entre ENEM 2010, primeira e (suposta) segunda aplicação, da mesma forma como podemos comparar os resultados do ENEM 2009 com os do ENEM 2010, mesmo que os testes não apresentem itens comuns entre eles.
Isso foi feito ano passado. Por questão de segurança os candidatos dos presídios foram submetidos ao ENEM em uma segunda aplicação, com itens completamente diferentes aos aplicados na avaliação principal. Ainda, candidatos de Santa Catarina foram avaliados em 2009, em um segundo momento, com um teste diferente ao primeiro, em função da impossibilidade de participarem da primeira avaliação. Esses não foram injustiçados e nem um percentual maior ou menor deles foram aprovados em alguma IES.
Claro. Alguns aspectos técnicos devem ser considerados.
1) Considerar o equilíbrio entre os itens dos testes em termos de dificuldade (parâmetro b da TRI): Se em um primeiro teste, por exemplo, temos 25% de itens com complexidade baixa, para o segundo teste, esse percentual deve ser mantido. O mesmo equilíbrio entre os itens deve ser observado para as faixas de complexidades média e alta.
2) Considerar o equilíbrio quanto ao conteúdo (competências e habilidades): Deve-se construir o segundo teste com o mesmo número de itens por habilidade da matriz de referência. Se temos dois itens que avaliam, por exemplo, a habilidade 1 de Ciências da Natureza, para o novo teste, esse quantitativo para essa habilidade deve ser mantido. Isso tem relação com o conceito de testes equivalentes ou paralelismo postulado pela Psicometria.
3) Considerar a manutenção de itens com alto índice de discriminação (parâmetro a da TRI) para a segunda prova, da mesma forma como deve ter sido considerado para a construção do primeiro teste.
4) Considerar a manutenção de itens com baixa probabilidade de acerto ao acaso (parâmetro c da TRI) como deve ter sido considerado pelo INEP na construção do primeiro teste aplicado.
A TRI é robusta em seus princípios se esses critérios são rigorosamente observados. Não veremos, caso tome-se a decisão de realizar uma segunda aplicação para o ENEM, notas médias maiores ou menores para os estudantes que venham a responder a um segundo teste, caso não mereçam essa notas maiores ou menores.
Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
www.psicometrica.com.br
06/11/2010
ENEM: resultados comparáveis entre 2009 e 2010
Estudantes e candidato ao ENEM. Vocês sabem que os resultados dos estudantes do ENEM 2009 podem ser comparados com os resultados de 2010? Graças à metodologia de equalização pela Teoria de Resposta ao Item (TRI) utilizada pela avaliação. Como funciona?
Os resultados do ENEM 2009 foram inseridos em uma escala que varia de 0 a 1000. Ninguém tira zero, ninguém tira mil, portanto, varia na prática de 100 a 900.
Esse ano o INEP fez dois pré-testes com estudantes do Ensino Médio.
Em um pré-teste, uma grande quantidade de itens é aplicada. Cada um dos cadernos é composto por uma maioria de itens novos e por alguns itens comuns com a última avaliação, no caso, com o ENEM 2009. Qual o objetivo do pré-teste? Avaliar os itens e não as pessoas.
Com itens comuns à avaliação 2009 do ENEM, houve a possibilidade de avaliar as características dos itens do pré-teste, ou seus parâmetros (discriminação, dificuldade e probabilidade de acerto ao acaso), na mesma escala (de 0 a 1000 e com o mesmo tamanho de unidade de medida) do ENEM. Os itens e suas características são armazenados no Banco Nacional de Itens do INEP.
Ao construir as provas, o ENEM utiliza apenas itens pré-testados e prezam pela sua não-modificação, já que modificações substanciais poderiam alterar suas características. Assim, os testes do ENEM 2010 foram compostos por itens com suas características estimadas na mesma escala de 2009.
Em síntese:
ENEM 2009 -> Pré-teste 2010 -> ENEM 2010
Um estudante que prestou o ENEM 2009 e o ENEM 2010 pode comparar sua evolução e verificar, com base na variação de sua nota, o quanto melhorou quanto a sua proficiência. Espero que você não tenha precisado prestar os dois exames, mas, se for o caso, a sua evolução entre esses anos pode ser calculada.
O presente artigo é apresentado como uma evidência da relevância da TRI como metodologia para avaliações educacionais como o ENEM.
Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
@psicometrica no Twitter
Teoria de Resposta ao Item no ENEM: vamos simplificar?
Prezado estudante e candidato ao ENEM.
Realmente, as metodologias de construção de testes e de análise de resultados do ENEM, pautadas na Teoria de Resposta ao Item (TRI), não são fáceis de serem explicadas. Não é falta de mérito brasileiro quanto à divulgação dessas informações. Tratam-se de metodologias baseadas em métodos matemáticos que, muitas vezes, se distanciam do senso comum.
De toda forma, meu propósito aqui é explicar de modo fácil e objetivo.
A TRI utilizada no ENEM é pautada em três características (ou parâmetros estatísticos) das questões (ou dos itens). Essas questões foram pré-testadas e cada uma delas tem seu conjunto de parâmetros.
Parâmetro a: trata da discriminação do item, ou seja, seu poder em diferenciar quem sabe de quem não sabe a resposta correta. De uma forma mais precisa: "discriminar" quem já construiu de quem ainda não constuiu a competência avaliada pelo item. O ENEM busca selecionar os itens que apresentam os parâmetros "a" mais altos, é claro. Geralmente, os itens muito difíceis ou muito fáceis apresentam discriminação mais baixa que os itens com dificuldade média. De toda forma a equipe do INEP seleciona, de um conjunto de questões pré-testadas, as que apresentam as maiores discriminações para cada faixa de dificuldade de questões.
Parâmetro b: refere-se à característica de dificuldade das questões (parâmetro de posição). Em uma régua que varia de 0 a 1000, os itens são classificados em termos de dificuldades. Temos itens de dificuldade baixa (em torno de 250), de dificuldade média (aproximadamente 500) e de dificuldade alta (750). Em 2009, foi selecionado um quantitativo equilibrado de itens para cada faixa de dificuldade. Os itens mais fáceis foram utilizados para discriminar grupos de estudantes que mereciam ou ainda não o certificado de ensino médio (antigo encceja). Os itens mais difíceis foram utilizados para avaliar os estudantes excelentes dos muito bons; diferenciar os examinandos muito bons dos bons. A idéia é termos itens com as mais variadas dificuldades para cobrir todos os níveis de conhecimento.
Parâmetro c: Chance de acerto no chute. O INEP seleciona os itens com menores parâmetros "c". Se um item tem 5 alternativas, se eu fechar os olhos, tenho 20% de chance de acertar. Os melhores itens são aqueles que tem uma probabilidade menor de acerto sem ter o conhecimento necessário para acertá-lo.
Bom. Essas são as características dos itens. Mandando todas as características para o computador, ele faz a ponderação de discriminação, de dificuldade e de probabilidade de acerto ao acaso na hora de computar sua nota. Não há mágica. Há maior controle das características das questões. Enquanto em uma prova de sala de aula o item mais difícil pode valer a mesma pontuação que o item mais fácil, com a TRI, isso é compensado. Enquanto na prova de sala de aula, não se sabe se o item é bom para diferenciar alunos que sabem dos que não sabem a matéria, a TRI permite uma maior garantia que os itens são de qualidade. Enquanto em sala de aula uma alternativa pode ser absurda e ninguém marcá-la, sabe-se previamente como prevenir esse erro de construção e consequente injustiça nos resultados quanto a TRI é usada.
No ENEM 2010, faça a prova tranqüilamente. Não se preocupe com esses aspectos técnicos, já que o que importará será o número de questões que você responderá corretamente. A TRI só irá ajudar a buscar justiça para que você consiga a excelente nota que você merece.
Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
05/11/2010
Enem: palavras aos estudantes
Estudantes. Acreditem no potencial de vocês e na competência técnica dos especialistas do INEP. Bom final de semana. Produzam bastante. Muita calma. Lembrem-se que o tempo de realização das questões é o mesmo para todos.
Psicométrica
Psicométrica
Published with Blogger-droid v1.6.5
Assinar:
Postagens (Atom)