Resultado do Enem não é de todo confiável

                          

        Uma decisão do Instituto Nacional de Estudos e Pesquisas Educacionais (INEP) de pular uma etapa no recálculo do Enem para apressar a resposta aos erros em notas no exame de 2019 abre dúvidas sobre os resultados da prova, afirmam funcionários do instituto e do Mec.

            O Inep reavaliou o desempenho dos participantes no exame após os erros virem à tona. Mas, uma vez que obteve  os novos índices de acertos, não recalculou os parâmetros  usados para atribuir peso às diferentes perguntas do teste.

             Como esse cálculo exigiria mais tempo para ser concluído, o governo Bolsonaro abriu mão dele para dar  uma resposta rápida aos erros e manter o cronograma do Sisu (Sistema de Seleção Unificada).

              Sem esse procedimento, uma espécie de recalibragem do exame, não é possível ter 100% de confiança nos resultados publicados, afirmam funcionários que falaram sob condição de anonimato.

               Na avaliação de técnicos da pasta, o recálculo dos parâmetros poderia reduzir o erro  padrão do exame e indicar variações nas notas - que provavelmente seriam pequenas, mas suficientes para alterar, v.g., a lista de aprovados em cursos concorridos.

                 A cúpula do instituto, entretanto, evita o retrabalho na base de dados com re- ceio de novos questionamentos da nota. O entendimento é que isso só será feito caso haja determinação da Justiça, segundo relatos obtidos pela Folha.

                   Após comemorar o que seria o melhor Enem de todos os tempos, o ministro da Educação, Abraham Weintraub, confirmou que milhares de notas tinham sido divulgadas com erros.

                     Candidatos que haviam feito a prova de uma cor tiveram suas provas corrigidas como se tivessem feito outra - segundo o Inep, 5.974 foram afetados com o problema e seus resultados alterados.

                 A divulgação dos resultados do Sisu chegou a ser barrada na Justiça, mas o Governo conseguiu reverter a decisão no STJ (Superior Tribunal de Justiça) na 3ª feira (28).

                        O Enem adota um conjunto de modelos matemáticos chamado TRI (Teoria da Resposta ao Item). Para atender ao modelo, os ítens da prova passam por pré- testes (a partir das respostas de um público similar ao que faz a prova, são estabelecidos parâmetros das questões, como os níveis de dificuldade).

                           Ocorre que nem todas as perguntas que caíram no Enem 2019 foram pré-testadas. Nota técnica do Inep, mencionada no recurso da AGU (Advocacia Geral da União) levado ao STJ, indica que houve calibragem de ítens na própria prova.

                             A adoção de ítens não pré-testados já ocorreu em anos anteriores por causa da escassez de questões disponíveis, segundo servidores, mas essa informação nunca fora confirmada oficialmente.

                               Para lidar com ítens não pré-testados, o Inep precisa realizar a calibragem a partir do desempenho real na prova. O órgão, então, seleciona uma amostra aleatória de participantes e, a partir dessas respostas, regula os parâmetros desses ítens.

                                 A amostra usada no Enem  2019 foi de cem mil participantes e, somente depois disso, os parâmetros gerais da prova foram estipulados, e as notas dos alunos, calculadas. Além de ter ítens novos na prova, os resultados de parte dos 5.974 participantes que estavam com as notas erradas por troca de gabarito fizeram parte dessa amostra.

                                    Foram 83 casos na prova de ciências da natureza e 105 na de matemática, segundo a própria nota técnica do Inep. Dessa forma, a calibração ocorrida na prova de ítens não pré-testados contou com respostas erradas e isso causou preocupação em integrantes do Inep e do MEC.

                                      As notas do Enem dependem não só do número de questões certas, mas também de quais foram assinaladas corretamente. A TRI identifica como um possível chute, por exemplo, o candidato que erra duas questões fáceis e acerta uma difícil - e isso tem impacto na sua pontuação.

                                         A Folha questionou o Inep sobre o assunto, mas não obteve resposta.

                                           Na nota técnica usada pela AGU, o órgão defende que "a proposta de selecionar  nova amostra, recalibrar os ítens e recalcular as proficiências (parâmetros), se apresentaria como medida inócua".

                                            O Inep menciona um estudo acadêmico que trata do tema e, com base neste estudo, argumenta que "a proporção de indivíduos com inconsistências encontradas na amostra não produziu efeitos significativos na estimação  dos parâmetros dos ítens frente ao tamanho da amostra".

                                          Ocimar Alavarse, professor da USP e especialista em avaliação educacional,diz que só é possível ter a real dimensão do problema se houver total transparência por parte do Inep e das escolhas feitas.

                                                "A melhor saída seria recalcular e fazer uma auditoria detalhada nas notas", diz. "O argumento de que o problema foi pequeno não se justifica porque, quando se trata de um vestibular, a nota tem que corresponder exatamente."

                                                  O professor Dalton Francisco de Andrade, do Departamento de Informática e Estatística da UFSC, por sua vez, afirma que o processo de calibragem está adequado pelas informações oferecidas pelo Inep.

                                                  "Se esses participantes (que depois tiveram notas alteradas) não tivessem entrado na amostra,teriam incluído uma pessoa com o mesmo número de acertos", diz.  "Esse processo não é afetado pelo fato de as (cerca de) 200 pessoas terem o gabarito lido errado.."

                                                    Não há informações de quantos ítens novos (sem pré- teste) figuraram  nas provas do Enem 2019. De acordo com um servidor do Inep, seriam ao menos 15 das 45 questões de cada prova.

                                                     Para chegar ao número de afetados, o Inep inicialmente identificou quatro casos com erros e fez cruzamentos em uma amostra de participantes que tinham divergências de notas parecidas com estes- casos com grandes diferenças entre os resultados das provas do primeiro e segundo dia.

                                                      O Instituto então cruzou os gabaritos corretos e também as outras opções de cor para encontrar inconsistências. Após esse processo é que se chegou ao número final de 5.974 casos.

                                                        O governo recebeu 172 mil reclamações de notas, Participaram do Enem 2019 cerca de 3,9 milhões de estudantes.

( Fonte: Folha de S. Paulo )