17/11/2010

Alteração no Decreto 6944 sobre avaliações psicológicas em concursos públicos

http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2008/Decreto/Image4.gif

Presidência da República
Casa Civil
Subchefia para Assuntos Jurídicos

Altera o Decreto nº 6.944, de 21 de agosto de 2009, no tocante à realização de avaliações psicológicas em concurso público.


O PRESIDENTE DA REPÚBLICA, no uso das atribuições que lhe confere o art. 84, inciso VI, alínea “a”, da Constituição,
DECRETA:
Art. 1o  O art. 14 do Decreto no 6.944, de 21 de agosto de 2009, passa a vigorar com a seguinte redação:
“Art. 14.  A realização de avaliação psicológica está condicionada à existência de previsão legal específica e deverá estar prevista no edital.
§ 1o  Para os fins deste Decreto, considera-se avaliação psicológica o emprego de procedimentos científicos destinados a aferir a compatibilidade das características psicológicas do candidato com as atribuições do cargo.
§ 2o  A avaliação psicológica será realizada após a aplicação das provas escritas, orais e de aptidão física, quando houver.
§ 3o  Os requisitos psicológicos para o desempenho no cargo deverão ser estabelecidos previamente, por meio de estudo científico das atribuições e responsabilidades dos cargos, descrição detalhada das atividades e tarefas, identificação dos conhecimentos, habilidades e características pessoais necessários para sua execução e identificação de características restritivas ou impeditivas para o cargo.
§ 4o  A avaliação psicológica deverá ser realizada mediante o uso de instrumentos de avaliação psicológica, capazes de aferir, de forma objetiva e padronizada, os requisitos psicológicos do candidato para o desempenho das atribuições inerentes ao cargo.
§ 5o  O edital especificará os requisitos psicológicos que serão aferidos na avaliação.” (NR)
Art. 2o  O Decreto no 6.944, de 2009, passa a vigorar acrescido do seguinte artigo:
“Art. 14-A.  O resultado final da avaliação psicológica do candidato será divulgado, exclusivamente, como “apto” ou “inapto”.
§ 1o  Todas as avaliações psicológicas serão fundamentadas e os candidatos poderão obter cópia de todo o processado envolvendo sua avaliação, independentemente de requerimento específico e ainda que o candidato tenha sido considerado apto.
§ 2o  Os prazos e a forma de interposição de recurso acerca do resultado da avaliação psicológica serão definidos pelo edital do concurso.
§ 3o  Os profissionais que efetuaram avaliações psicológicas no certame não poderão participar do julgamento de recursos.
§ 4o  É lícito ao candidato apresentar parecer de assistente técnico na fase recursal.
§ 5o  Caso no julgamento de recurso se entenda que a documentação e a fundamentação da avaliação psicológica são insuficientes para se concluir sobre as condições do candidato, a avaliação psicológica será anulada e realizado novo exame.” (NR)
Art. 3o  Este Decreto entra em vigor na data de sua publicação.
Brasília, 22 de setembro de 2010; 189º da Independência e 122º da República.
LUIZ INÁCIO LULA DA SILVA
Paulo Bernardo Silva
Este texto não substitui o publicado no DOU de 23.9.2010  

14/11/2010

Comparação entre resultados obtidos por duas aplicações do ENEM

Quando escrevi, no dia da realização do ENEM 2010, o artigo "ENEM: resultados comparáveis entre 2009 e 2010",  não podia imaginar que o tema virasse assunto de fundamental importância para tomada de decisão judicial sobre essa avaliação. No artigo, busquei apresentar o poder da metodologia de construção de testes e de análise de dados baseada na Teoria de Resposta ao Item (TRI) ao permitir a comparação entre os testes do ENEM 2009 e do ENEM 2010, via pré-testes realizado entre essas avaliações.

Pauta da semana passada: Pode-se comparar os resultados entre a primeira aplicação do ENEM 2010 com os de  uma possível segunda aplicação? Resposta: Perfeitamente.

Os itens do ENEM 2010 foram selecionados entre itens contidos Banco Nacional de Itens, cujas características ou parâmetros foram previamente pré-testados e estimados na escala única do ENEM. A construção de um novo teste para o ENEM, contendo itens diferentes aos do primeiro teste, originários desse Banco e estando na mesma escala ENEM, permitirá a emissão de resultados de proficiência dos estudantes, de forma justa, isonômica e com o mesmo grau de validade. Poderíamos comparar os resultados entre ENEM 2010, primeira e (suposta) segunda aplicação, da mesma forma como podemos comparar os resultados do ENEM 2009 com os do ENEM 2010, mesmo que os testes não apresentem itens comuns entre eles.

Isso foi feito ano passado. Por questão de segurança os candidatos dos presídios foram submetidos ao ENEM em uma segunda aplicação, com itens completamente diferentes aos aplicados na avaliação principal. Ainda, candidatos de Santa Catarina foram avaliados em 2009, em um segundo momento, com um teste diferente ao primeiro, em função da impossibilidade de participarem da primeira avaliação. Esses não foram injustiçados e nem um percentual maior ou menor deles foram aprovados em alguma IES.

Claro. Alguns aspectos técnicos devem ser considerados.

1) Considerar o equilíbrio entre os itens dos testes em termos de dificuldade (parâmetro b da TRI): Se em um primeiro teste, por exemplo, temos 25% de itens com complexidade baixa, para o segundo teste, esse percentual deve ser mantido. O mesmo equilíbrio entre os itens deve ser observado para as faixas de complexidades média e alta.

2) Considerar o equilíbrio quanto ao conteúdo (competências e habilidades): Deve-se construir o segundo teste com o mesmo número de itens por habilidade da matriz de referência. Se temos dois itens que avaliam, por exemplo, a habilidade 1 de Ciências da Natureza, para o novo teste, esse quantitativo para essa habilidade deve ser mantido. Isso tem relação com o conceito de testes equivalentes ou paralelismo postulado pela Psicometria.

3) Considerar a manutenção de itens com alto índice de discriminação (parâmetro a da TRI) para a segunda prova, da mesma forma como deve ter sido considerado para a construção do primeiro teste.

4) Considerar a manutenção de itens com baixa probabilidade de acerto ao acaso (parâmetro c da TRI) como deve ter sido considerado pelo INEP na construção do primeiro teste aplicado.

A TRI é robusta em seus princípios se esses critérios são rigorosamente observados. Não veremos, caso tome-se a decisão de realizar uma segunda aplicação para o ENEM, notas médias maiores ou menores para os estudantes que venham a responder a um segundo teste, caso não mereçam essa notas maiores ou menores.


Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
www.psicometrica.com.br

Planejamento Estratégico nas Organizações

O Censo de 2010: Espaço físico

Avaliações do MEC 1/10: Avaliação Institucional Externa

Teorema de Pitágoras

06/11/2010

ENEM: resultados comparáveis entre 2009 e 2010

Estudantes e candidato ao ENEM. Vocês sabem que os resultados dos estudantes do ENEM 2009 podem ser comparados com os resultados de 2010? Graças à metodologia de equalização pela Teoria de Resposta ao Item (TRI) utilizada pela avaliação. Como funciona?

Os resultados do ENEM 2009 foram inseridos em uma escala que varia de 0 a 1000. Ninguém tira zero, ninguém tira mil, portanto, varia na prática de 100 a 900. 

Esse ano o INEP fez dois pré-testes com estudantes do Ensino Médio. 

Em um pré-teste, uma grande quantidade de itens é aplicada. Cada um dos cadernos é composto por uma maioria de itens novos e por alguns itens comuns com a última avaliação, no caso, com o ENEM 2009. Qual o objetivo do pré-teste? Avaliar os itens e não as pessoas.

Com itens comuns à avaliação 2009 do ENEM, houve a possibilidade de avaliar as características dos itens do pré-teste, ou seus parâmetros (discriminação, dificuldade e probabilidade de acerto ao acaso), na mesma escala (de 0 a 1000 e com o mesmo tamanho de unidade de medida) do ENEM. Os itens e suas características são armazenados no Banco Nacional de Itens do INEP.

Ao construir as provas, o ENEM utiliza apenas itens pré-testados e prezam pela sua não-modificação, já que modificações substanciais poderiam alterar suas características. Assim, os testes do ENEM 2010 foram compostos por itens com suas características estimadas na mesma escala de 2009.

Em síntese:
ENEM 2009 -> Pré-teste 2010 -> ENEM 2010

Um estudante que prestou o ENEM 2009 e o ENEM 2010 pode comparar sua evolução e verificar, com base na variação de sua nota, o quanto melhorou quanto a sua proficiência. Espero que você não tenha precisado prestar os dois exames, mas, se for o caso, a sua evolução entre esses anos pode ser calculada.

O presente artigo é apresentado como uma evidência da relevância da TRI como metodologia para avaliações educacionais como o ENEM.

Frederico Neves Condé
Psicométrica Consultoria e Pesquisa
@psicometrica no Twitter