Fonte: IG.
A recente batalha jurídica em torno da anulação ou não de questões do Exame Nacional do Ensino Médio (Enem) que foram divulgadas antecipadamente a alunos de colégio em Fortaleza levanta, pelo terceiro ano consecutivo – o mesmo tempo que o teste passou a ser usado para selecionar vagas do ensino superior –, uma discussão sobre a logística, organização e metodologia do exame. Além dos problemas de segurança e impressão já apresentados, o Enem tem agora questionados seu banco de questões e a maneira como elas são testadas.
Para defender o exame, o governo já recorreu algumas vezes às qualidades da Teoria de Resposta ao Item (TRI), método tradicionalmente utilizado em exames norte-americanos que permite que edições distintas de uma avaliação tenham nível de dificuldade igual. Com objetivo de entender como um dos mais tradicionais, o SAT - Scholastic Assessment Test - ou Teste de Avaliação Escolar, é aplicado e como suas questões são formuladas, o iG foi aos Estados Unidos.
Exame obrigatório para os alunos do ensino médio que querem ingressar em uma faculdade americana, o teste existe há 85 anos e já foi ministrado a mais de 100 milhões de estudantes – só em 2011, cerca de 1,65 milhão de pessoas se submeteram ao exame. Diferentemente do Enem, que é gratuito para alunos de escolas públicas, para prestar o SAT o aluno tem que pagar uma taxa de US$ 49. Além disso, ele não é um exame anual, sendo ministrado 7 vezes por ano nos EUA em diferentes localidades. “Os alunos se inscrevem no site da instituição e agendam a data da prova. Se eles não forem bem, eles podem fazer um novo teste em 3 meses”, explica Wil Hatcher, professor especialista em testes de padronização.
O SAT foi criado em 1926 pela College Board – uma organização sem fins lucrativos fundada em 1900 pelos presidentes das principais universidades americanas que queriam democratizar o acesso às universidades. Inicialmente, a College desenvolveu testes obrigatórios para alunos que quisessem ingressar nessas faculdades específicas. Anos mais tarde, durante a Primeira Guerra Mundial, os testes foram ministrados a alunos do exército americano. Já em 1926, o então presidente da College Board, Carl C. Brigham, professor da Universidade de Princeton que havia trabalhado nos experimentos do exército, decidiu criar um exame que fosse aplicado a estudantes do ensino médio em um novo formato de múltipla escolha – surgia assim o SAT.
Seção experimental foi introduzida desde o início
A grande novidade do teste, já naquela época, era a inclusão de uma seção experimental que pudesse avaliar novas questões. “Pelo menos 30 minutos de cada aluno era dedicado a essa seção experimental e os estudantes não sabiam que estavam fazendo uma prova com itens que não tinham validade para a sua nota final. E isso era exatamente o que a College queria”, explica Thomas Ewing, porta voz da College Board. Segundo arquivos da própria organização, nos primeiros três anos do teste, o professor Brigham realizou cerca de 20 seções experimentais que depois foram reavaliadas, reescritas ou descartadas.
A recente batalha jurídica em torno da anulação ou não de questões do Exame Nacional do Ensino Médio (Enem) que foram divulgadas antecipadamente a alunos de colégio em Fortaleza levanta, pelo terceiro ano consecutivo – o mesmo tempo que o teste passou a ser usado para selecionar vagas do ensino superior –, uma discussão sobre a logística, organização e metodologia do exame. Além dos problemas de segurança e impressão já apresentados, o Enem tem agora questionados seu banco de questões e a maneira como elas são testadas.
Para defender o exame, o governo já recorreu algumas vezes às qualidades da Teoria de Resposta ao Item (TRI), método tradicionalmente utilizado em exames norte-americanos que permite que edições distintas de uma avaliação tenham nível de dificuldade igual. Com objetivo de entender como um dos mais tradicionais, o SAT - Scholastic Assessment Test - ou Teste de Avaliação Escolar, é aplicado e como suas questões são formuladas, o iG foi aos Estados Unidos.
Exame obrigatório para os alunos do ensino médio que querem ingressar em uma faculdade americana, o teste existe há 85 anos e já foi ministrado a mais de 100 milhões de estudantes – só em 2011, cerca de 1,65 milhão de pessoas se submeteram ao exame. Diferentemente do Enem, que é gratuito para alunos de escolas públicas, para prestar o SAT o aluno tem que pagar uma taxa de US$ 49. Além disso, ele não é um exame anual, sendo ministrado 7 vezes por ano nos EUA em diferentes localidades. “Os alunos se inscrevem no site da instituição e agendam a data da prova. Se eles não forem bem, eles podem fazer um novo teste em 3 meses”, explica Wil Hatcher, professor especialista em testes de padronização.
O SAT foi criado em 1926 pela College Board – uma organização sem fins lucrativos fundada em 1900 pelos presidentes das principais universidades americanas que queriam democratizar o acesso às universidades. Inicialmente, a College desenvolveu testes obrigatórios para alunos que quisessem ingressar nessas faculdades específicas. Anos mais tarde, durante a Primeira Guerra Mundial, os testes foram ministrados a alunos do exército americano. Já em 1926, o então presidente da College Board, Carl C. Brigham, professor da Universidade de Princeton que havia trabalhado nos experimentos do exército, decidiu criar um exame que fosse aplicado a estudantes do ensino médio em um novo formato de múltipla escolha – surgia assim o SAT.
Seção experimental foi introduzida desde o início
A grande novidade do teste, já naquela época, era a inclusão de uma seção experimental que pudesse avaliar novas questões. “Pelo menos 30 minutos de cada aluno era dedicado a essa seção experimental e os estudantes não sabiam que estavam fazendo uma prova com itens que não tinham validade para a sua nota final. E isso era exatamente o que a College queria”, explica Thomas Ewing, porta voz da College Board. Segundo arquivos da própria organização, nos primeiros três anos do teste, o professor Brigham realizou cerca de 20 seções experimentais que depois foram reavaliadas, reescritas ou descartadas.
Em 1947, a College Board, o Conselho Americano de Educação e a Fundação
Carnegie para o Avanço do Ensino, criaram a ETS (Educational Testing
Service), uma empresa privada dedicada à pesquisa e avaliação do
progresso da educação nos EUA. “Desde então a ETS é a responsável pelo
SAT, e pela maioria dos testes de padronização como o TOEFL (de
proficiência na língua inglesa), o GRE e dezenas de outros. Isso é tudo o
que eles sabem fazer”, declara Wil Hatcher.
Além de ter a College como seu principal cliente, a ETS herdou todo o expertise que a organização tinha na criação e realização destes exames. “A seção experimental existe até hoje. É assim que eles analisam se as questões realmente testam o que elas deveriam para produzir uma curva perfeita de avaliação dos alunos. Então, basicamente os estudantes são as cobaias do SAT. Eles sabem que há uma seção experimental, mas não sabem qual das 10 seções não tem validade”, completa Wil.
O professor acredita que este é o melhor modelo para garantir a idoneidade da amostragem. “Na minha opinião, o SAT funciona aqui porque a amostragem é perfeita. Todos os estudantes que estão fazendo o teste respondem às questões experimentais. Então a ETS não precisam realizar simulados com estudantes que não são o público alvo do teste. Assim também não há vazamento de informações”, explica.
Repetições de questões não acontece
Apesar de um mesmo estudante poder fazer o SAT mais de uma vez no ano, a College Board garante que a probabilidade de as questões se repetirem nas provas é praticamente nula. “As questões são feitas por especialistas neste tipo de teste, muitos dos quais são ex-professores ou experts no assunto. Nós também temos equipes de comitês de desenvolvimento externo, compostas principalmente por professores, que ajudam na formulação das questões iniciais que são refinadas pelos nossos especialistas da parte de desenvolvimento”, explica o porta-voz da College Board. Segundo ele, a organização não pode detalhar o tamanho do banco de dados de questões, mas está constantemente desenvolvendo novas perguntas, porque realiza testes frequentes. “As questões utilizadas não podem ser usadas novamente. Mesmo as questões da seção experimental passam por uma revisão adicional e são, muitas vezes, reescritas antes de acabarem fazendo parte de um exame no futuro. Mas a probabilidade de uma mesma seção experimental cair igualzinha em uma prova futura é praticamente nula”, completa Thomas.
Além de ter a College como seu principal cliente, a ETS herdou todo o expertise que a organização tinha na criação e realização destes exames. “A seção experimental existe até hoje. É assim que eles analisam se as questões realmente testam o que elas deveriam para produzir uma curva perfeita de avaliação dos alunos. Então, basicamente os estudantes são as cobaias do SAT. Eles sabem que há uma seção experimental, mas não sabem qual das 10 seções não tem validade”, completa Wil.
O professor acredita que este é o melhor modelo para garantir a idoneidade da amostragem. “Na minha opinião, o SAT funciona aqui porque a amostragem é perfeita. Todos os estudantes que estão fazendo o teste respondem às questões experimentais. Então a ETS não precisam realizar simulados com estudantes que não são o público alvo do teste. Assim também não há vazamento de informações”, explica.
Repetições de questões não acontece
Apesar de um mesmo estudante poder fazer o SAT mais de uma vez no ano, a College Board garante que a probabilidade de as questões se repetirem nas provas é praticamente nula. “As questões são feitas por especialistas neste tipo de teste, muitos dos quais são ex-professores ou experts no assunto. Nós também temos equipes de comitês de desenvolvimento externo, compostas principalmente por professores, que ajudam na formulação das questões iniciais que são refinadas pelos nossos especialistas da parte de desenvolvimento”, explica o porta-voz da College Board. Segundo ele, a organização não pode detalhar o tamanho do banco de dados de questões, mas está constantemente desenvolvendo novas perguntas, porque realiza testes frequentes. “As questões utilizadas não podem ser usadas novamente. Mesmo as questões da seção experimental passam por uma revisão adicional e são, muitas vezes, reescritas antes de acabarem fazendo parte de um exame no futuro. Mas a probabilidade de uma mesma seção experimental cair igualzinha em uma prova futura é praticamente nula”, completa Thomas.
TRI desde 1950
O SAT utiliza a TRI (Teoria de Resposta ao Item) desde 1950. Esse sistema permite que todas as provas tenham o mesmo nível de dificuldade. O mesmo sistema é utilizado pelo Enem há apenas há 3 anos. Além disso, no exame brasileiro, as cores das provas podem variar e, com elas, a ordem das questões, mas as perguntas são iguais para todos. Já no SAT, em um mesmo dia há diferentes grupos de provas distintas sendo aplicadas. “Por questões de segurança não podemos revelar quantas são, mas poucos grupos de alunos respondem às mesmas questões”, declara o porta voz do College Board.
O SAT utiliza a TRI (Teoria de Resposta ao Item) desde 1950. Esse sistema permite que todas as provas tenham o mesmo nível de dificuldade. O mesmo sistema é utilizado pelo Enem há apenas há 3 anos. Além disso, no exame brasileiro, as cores das provas podem variar e, com elas, a ordem das questões, mas as perguntas são iguais para todos. Já no SAT, em um mesmo dia há diferentes grupos de provas distintas sendo aplicadas. “Por questões de segurança não podemos revelar quantas são, mas poucos grupos de alunos respondem às mesmas questões”, declara o porta voz do College Board.
Depois de impressas, as provas do SAT passam por uma série de
procedimentos de segurança. Primeiro, um funcionário do ETS se
responsabiliza pela certificação da qualidade dos testes impressos ainda
na gráfica. Depois disso, as provas são numeradas, embaladas a vácuo e
transportadas em caixas lacradas. “Ter vários formatos do teste
certamente dificulta o vazamento de informações, mas nossos
procedimentos de segurança contribuem para isso também”, diz Thomas.
Os alunos norte-americanos têm 3 horas e 45 minutos para responderem às 10 seções do teste, divididas em Leitura e Interpretação de Textos, Matemática, Redação e Seção Experimental. A maioria das questões é de múltipla escolha.
Os gabaritos são corrigidos eletronicamente por computador. “O primeiro passo para calcular a pontuação do aluno é determinar o escore bruto para cada uma das três seções válidas. Uma resposta correta vale um ponto, enquanto que uma resposta incorreta subtrai 0,25 pontos do escore do aluno”, explica Wil Hatcher. “O sistema é para não encorajar o aluno a chutar a resposta se ele não souber. É melhor deixar a questão em branco do que responder errado. Se ele deixar em branco ele não perde nem ganha pontos”, completa.
Sistema não está livre de falhas
Apesar de todas as medidas de segurança, o SAT não está livre de erros. Em 2005, uma falha na leitura dos gabaritos deixou mais de 4.400 alunos com notas menores do que as que eles deveriam receber. O erro foi corrigido e o dinheiro devolvido aos estudantes, que tiveram a oportunidade de realizar outro exame.
Já em setembro passado, sete alunos foram presos em Long Island depois de serem acusados de trapacear no SAT. Cada um deles teriam pago US$ 2,5 mil para o estudante Sam Eshaghoff, de 19 anos, fazer a prova no lugar deles. Sam teria se passado por pelo menos mais cinco estudantes e agora deve responder na justiça por conspiração e falsidade ideológica.
Na época o presidente executivo da ETS, Kurt Landgraf, disse à imprensa americana que sua empresa gasta US$ 25 milhões por ano em segurança e que cerca de 3 mil, dos mais de 2 milhões de exames aplicados anualmente, são cancelados todos os anos por irregularidades ou salto de notas de alunos que tinham tido uma pontuação muito menor em testes anteriores.
Os alunos norte-americanos têm 3 horas e 45 minutos para responderem às 10 seções do teste, divididas em Leitura e Interpretação de Textos, Matemática, Redação e Seção Experimental. A maioria das questões é de múltipla escolha.
Os gabaritos são corrigidos eletronicamente por computador. “O primeiro passo para calcular a pontuação do aluno é determinar o escore bruto para cada uma das três seções válidas. Uma resposta correta vale um ponto, enquanto que uma resposta incorreta subtrai 0,25 pontos do escore do aluno”, explica Wil Hatcher. “O sistema é para não encorajar o aluno a chutar a resposta se ele não souber. É melhor deixar a questão em branco do que responder errado. Se ele deixar em branco ele não perde nem ganha pontos”, completa.
Sistema não está livre de falhas
Apesar de todas as medidas de segurança, o SAT não está livre de erros. Em 2005, uma falha na leitura dos gabaritos deixou mais de 4.400 alunos com notas menores do que as que eles deveriam receber. O erro foi corrigido e o dinheiro devolvido aos estudantes, que tiveram a oportunidade de realizar outro exame.
Já em setembro passado, sete alunos foram presos em Long Island depois de serem acusados de trapacear no SAT. Cada um deles teriam pago US$ 2,5 mil para o estudante Sam Eshaghoff, de 19 anos, fazer a prova no lugar deles. Sam teria se passado por pelo menos mais cinco estudantes e agora deve responder na justiça por conspiração e falsidade ideológica.
Na época o presidente executivo da ETS, Kurt Landgraf, disse à imprensa americana que sua empresa gasta US$ 25 milhões por ano em segurança e que cerca de 3 mil, dos mais de 2 milhões de exames aplicados anualmente, são cancelados todos os anos por irregularidades ou salto de notas de alunos que tinham tido uma pontuação muito menor em testes anteriores.
Nenhum comentário:
Postar um comentário