domingo, 28 de dezembro de 2014

As notas do Enem

Daqui poucos dias, no comecinho de janeiro, teremos a divulgação das notas do Enem 2014. E como acontece todo ano, muita gente não consegue entender as notas recebidas:

Isso acontece porque a nota do Enem é dada de acordo com o conhecimento do aluno (que o Enem chama de proficiência) ao invés da quantidade de acertos. A proficiência é calculada usando a metodologia TRI (Teoria de Resposta ao Item) a partir do perfil de acertos, ou seja, de quais questões o aluno acertou e não quantas ele acertou.

Vamos estudar um exemplo prático?
Considere uma prova com 5 questões. No Enem, elas não valem pontuação, como estamos acostumados (por exemplo, cada questão valendo 2 pontos, se acertar todas tira 10 pontos). No Enem, as questões sugerem a nota merecida na prova como um todo. Então, elas são escalonadas por dificuldade, e conforme quais questões o aluno acerta, ele tem uma nota merecida. Por exemplo, quem acertar a questão 1 merece nota 2,0 e assim por diante:

prova tipo tradicional:
prova tipo Enem:
Questão 1: valor 2,0 pontos
Questão 1: vc merece tirar 2,0 na prova
Questão 2: valor 2,0 pontos
Questão 2: vc merece tirar 4,0 na prova
Questão 3: valor 2,0 pontos
Questão 3: vc merece tirar 6,0 na prova
Questão 4: valor 2,0 pontos
Questão 4: vc merece tirar 8,0 na prova
Questão 5: valor 2,0 pontos
Questão 5: vc merece tirar 10,0 na prova

Nesse nosso exemplo, na prova "tipo Enem", a questão 1 exige um conhecimento "nota 2,0", ou seja, um aluno que tire 2,0 numa prova deve ser capaz de fazer essa questão. A questão 2 exige um conhecimento maior que a questão 1, e o aluno que tiver o conhecimento exigido para acertar a questão 2 necessariamente também teria condições totais de acertar a questão 1. E a questão 3 exige um conhecimento maior que a questão 2, e assim por diante. Assim, se um aluno tem capacidade de acertar a questão 5, ele também tem capacidade de acertar as outras 4 anteriores.

Parece confuso, mas é bem bacana, veja: Lembra que citamos que a nota do Enem (proficiência) é calculada em cima do perfil de acertos, ou seja, quais questões foram acertadas? Continuando com nosso exemplo, vamos supor 5 alunos, cada um acertou apenas uma questão da nossa prova:

André acertou só a questão 1 e isso faz sentido para o perfil de um aluno que acerta apenas uma questão. André, portanto, merece a nota sugerida pela questão que ele acertou: 2,0 

Beto acertou só a questão 2 e isso não faz sentido, pois se acertou a questão 2, deveria também ter acertado a 1. O perfil de Beto sugere que ele chutou a questão 2 e portanto não merece nota por esse acerto. Vai tirar menos que 2,0. 

Carlos acertou só a questão 3 e isso também não faz sentido, pois se acertou a questão 3, deveria também ter acertado a 1 e a 2. O perfil acertos de Carlos sugere que ele chutou a questão 3 e portanto não merece nota por esse acerto. Vai tirar menos que 2,0. 

Daniel acertou só a questão 4 e isso também não faz sentido, pois se acertou a questão 4, deveria também ter acertado a 1, a 2 e a 3. O perfil de acertos de Daniel sugere que ele chutou a questão 4 e portanto não merece nota por esse acerto. Vai tirar menos que 2,0. 

Everton acertou só a questão 5 e isso não faz o menor sentido, pois se acertou a questão 5, deveria também ter acertado a 1, a 2, a 3 e a 4. O perfil de acertos de Everton sugere que ele chutou a questão 5 e portanto não merece nota por esse acerto. Vai tirar menos que 2,0. 

A realidade não é exatamente assim, mas nosso exemplo permite clarear melhor as diferenças entre o modelo de notas do Enem e o modelo tradicional (Fuvest, por exemplo). No Enem as notas não são de 0 a 10 como no nosso exemplo, elas estão numa escala em que 500 é considerado o conhecimento médio. Entretanto, o mínimo não é zero e o máximo não é 1000. Tanto o mínimo como o máximo dependem da dificuldade de cada prova.

Uma pergunta que nos ocorre nessa hora seria "Mas e se Beto errou a questão 1 por bobeira, embora soubesse resolvê-la?". É para evitar isso que o Enem verdadeiro tem 45 questões e não apenas 5. Mesmo que alguém erre "por bobeira" uma ou outra questão que ele teria conhecimento para resolver, os outros acertos coerentes deixarão um perfil justo.

Vamos dar mais um exemplo, ainda em cima de nosso Enem de 5 questões. Quem vai tirar maior nota: Acácio, que acertou somente a questão 1 e a questão 2, ou Bernardo, que acertou somente a 3, a 4 e a 5? Acertou se você pensou em Acácio, pois o perfil dele é coerente, e o de Bernardo não é. 

Outra coisa muito bacana na prova do Enem: Imagine se nossa prova fictícia tivesse questões no máximo "nível 6,0", como por exemplo:

prova do Enem:
Questão 1: vc merece tirar 2,0 na prova
Questão 2: vc merece tirar 4,0 na prova
Questão 3: vc merece tirar 6,0 na prova
Questão 4: vc merece tirar 6,0 na prova
Questão 5: vc merece tirar 6,0 na prova

O que iria acontecer é que Cláudio, que acertou apenas as questões 1, 2 e 3 iria tirar 6,0 e Danilo, que acertou todas, também iria tirar nota 6,0. Por que isso acontece? porque uma prova que contenha questões que exijam do aluno apenas conhecimento "nível 6,0" não é capaz de mostrar que alguns deles podem ter conhecimento maior do que isso. Em outras palavras, é importante que a prova do Enem (a verdadeira!) tenha questões difíceis! E sabe o mais legal disso? Isso não mudaria a nota de Cláudio! Não tem importância se Claudio e Danilo errassem as questões 4 (nível 8, por exemplo) e 5 (nível 10). Suas notas continuariam sendo 6,0. E seria mais justo com algum aluno que tivesse conhecimento suficiente para acertar todas.

Lembra-se dos tuítes do início do texto? Como alguém que acerta 33 questões na prova de linguagens pode tirar nota menor que quem acerta 27 na de matemática? Como explicado no texto, por 2 motivos: nível de dificuldade da prova e perfil de acertos. Se entre as 12 questões que o aluno errou de linguagens estiverem muitas das mais fáceis, a nota dele cairia porque seu perfil de acertos ficaria ilógico. E por outro lado, se as questões da prova forem todas simples, por mais que a pessoa acerte bastante, a nota não cresce, por falta de questões difíceis. Já no caso de matemática, acertando apenas 27, mas tendo um perfil coerente, e havendo uma distribuição justa no nível de dificuldade das questões, a nota pode sim ser numericamente bem maior do que a de linguagens.

Sim, eu fiz várias simplificações para tentar deixar as coisas mais simples de serem entendidas. Mas basicamente, é desta forma que as coisas funcionam.

Edit (29/12/2014): Publiquei uma versão mais técnica e mais longa desse artigo no blog Manual do Usuário. Confira lá!

Edit (15/10/2015): Gravei uma videoaula sobre o assunto. Confira:

É isso ai! Espero que esse post seja útil, e lembre-se, os comentários estão sempre à sua disposição! Caso tenha sobrado alguma dúvida, ou caso você tenha alguma contribuição a fazer, comente! E se você gostou, compartilhe com seus amigos, inscreva-se no meu canal do Youtube e curta Aulas do Prof. Eloy no facebook.
  


2 comentários:

Postagens populares

Disqus for Aulas do Prof. Eloy