A (des)importância das notas nos simulados de idiomas para o CACD

Recentemente, nos deparamos com uma situação que há muitos anos não acontecia aqui no Estude Idiomas: alunos pedindo para que atribuíssemos notas em seus simulados de idiomas.

Trabalho com a preparação para o CACD há mais de 10 anos e, no início da minha trajetória, eu caí nessa armadilha. Após algumas péssimas experiências, acabei desistindo de atribuir notas. Esse fato consta, inclusive, em nossos termos de uso dos simulados:

5. A correção não é exatamente como a da banca: não é atribuída pontuação, apenas corrigimos os seus erros e comentamos o que pode ser feito para você melhorar, indicando sugestões e links — de diversos sites — para que você possa reforçar os pontos deficitários.

Mas o que aconteceu? Vou explicar como funciona a atribuição de notas pela banca do concurso, relatar um pouco da minha experiência com o tópico e, ao final, contar o que me fez desistir de uma vez por todas de atribuir pontuação aos simulados.

Como funciona a atribuição de notas nas provas de idiomas

Com certeza você já conhece bem o edital, então, vou resumir como as notas são distribuídas, para não tomar o seu tempo.

As provas de francês e espanhol seguem juntas, cada uma composta por uma questão de versão e outra de resumo. No total, são quatro questões, cada uma valendo 25 pontos, totalizando 100 pontos disponíveis, com 50 pontos atribuídos a cada idioma.

As respostas são avaliadas com base em dois critérios distintos. Para o resumo, são considerados a “capacidade de síntese e concisão” (CSC), com pontuação máxima de 10 pontos, e a “correção gramatical e propriedade de linguagem” (CGPL), com máximo de 15 pontos. Para a versão, o primeiro critério é a “fidelidade” (FID), seguido pelo CGPL, mantendo a distribuição de pontuação semelhante.

O segundo critério é bem objetivo: a cada erro cometido, o candidato tem 0,5 ponto descontado em seu resumo e 0,35 ponto na versão. O grande problema é o primeiro critério: o que seria um texto ao qual se pode atribuir 9 pontos e outro ao qual se atribuiria apenas 7? Não há nada que esclareça essa atribuição no edital.

Nos últimos anos, venho tentado descobrir, analisando os diversos espelhos de prova que recebo de alunos e candidatos que buscam possibilidades de recursos. Textos com uma extensão semelhante, com informações bem parecidas, recebem notas diferentes. Por quê? Simplesmente, é impossível saber.

Em 2023, ano em que tivemos duas correções por falha do próprio IADES, esse componente subjetivo da correção ficou ainda mais claro: o mesmo resumo de um candidato alcançou 8,5 pontos de CSC na primeira correção e, na segunda, 6,5. O que levou a essa disparidade na pontuação? Não sabemos.

Um pouco da minha experiência

Quando corrigia as atividades dos alunos, atribuindo notas, eu passava por essa mesma situação. Não sabia quanto atribuir, porque não havia (e ainda não há) um critério objetivo que eu pudesse seguir. Quando recebia textos diferentes de um mesmo exercício (por exemplo, 4 resumos do Simulado 23), eu fazia comparações entre os exercícios dos alunos e utilizava o que eu considerava o melhor e o pior textos como parâmetros. E quando recebia um único simulado (por exemplo, apenas um resumo do Simulado 27)? Que parâmetro deveria utilizar para efetuar a correção?

Isso gerava muitos questionamentos por parte dos alunos. Eles se sentiam incomodados por terem alcançado 6 pontos no simulado 30, e 8 pontos no Simulado 29. O questionamento, extremamente válido, era o seguinte: por que o aluno tinha perdido 2 pontos de um simulado para o outro? Eu não sabia explicar. E isso começou a me incomodar também, porque percebi que era uma nota subjetiva, que dependia de fatores externos e não da própria produção do aluno.

Na obra Rápido e devagar, do Nobel Daniel Kahneman, há um estudo que analisa as decisões de diversos juízes. Esse estudo apontou que as decisões tomadas antes do horário do almoço eram muito mais rígidas que as decisões tomadas após a pausa para a refeição.

“Os participantes inadvertidos do estudo eram oito juízes de condicional em Israel. Eles passam dias inteiros revisando pedidos de condicional. Os casos são apresentados em ordem aleatória, e os juízes dedicam pouco tempo a cada um, numa média de seis minutos […]. (O tempo exato de cada decisão é registrado, e os períodos dos três intervalos para refeição dos juízes – a pausa da manhã, o almoço e o lanche da tarde – durante o dia também são registrados). Os autores do estudo fizeram um gráfico da proporção de pedidos aprovados em relação ao tempo desde a última pausa para refeição […]. Durante as duas horas, mais ou menos, até a refeição seguinte dos juízes, a taxa de aprovação cai regularmente, até chegar perto de zero pouco antes da refeição […]. A melhor explicação possível dos dados é uma má notícia: juízes cansados e com fome tendem a incorrer na mais fácil posição […] de negar os pedidos de condicional. Tanto o cansaço como a fome provavelmente desempenham um papel.”

Após a leitura do livro, que recomendo muito, por sinal, percebi que isso pode funcionar também para as notas do concurso. Um avaliador de mau-humor ou com fome, pode atribuir notas baixas. Em outra situação, com os ânimos apaziguados, esse mesmo avaliador pode distribuir notas mais altas, já que o critério é subjetivo.

O mesmo acontece com o critério FID, a fidelidade da versão. Como dizer que uma versão é mais fiel que a outra, se não há um critério definido? Eu tenho certeza que, se fizéssemos um experimento, teríamos notas diferentes para um mesmo texto em momentos diferentes. Acredito que até mesmo a letra do candidato possa influenciar o resultado.

A gota d’água

Há alguns anos, aconteceu um fato que podemos caracterizar de modo eufêmico como “muito chato”. Foi isso que me fez desistir de uma vez por todas de atribuir notas aos simulados.

O crescente incômodo que eu sentia em atribuir notas subjetivas aos alunos, sem conseguir explicar ao certo o motivo, só aumentou quando um aluno, que tinha feito a terceira fase do concurso, me acusou de tê-lo enganado. Como ele poderia ter tirado uma nota tão baixa na prova se nos simulados ele alcançava uma boa pontuação?

Eu não sabia, mas ele esperava que os simulados fossem uma reprodução quase exata da prova, incluindo a nota. É preciso levar em conta o nosso próprio cansaço após uma maratona de provas. A de francês é, literalmente, a última prova do concurso. Como ele nutria a expectativa de ter, durante o exame, o mesmo desempenho dos simulados, momento em que ele estava mais descansado e menos ansioso?

Além disso, não é possível prever o nível de dificuldade da prova. Desde 2017, a prova se apresenta de diferentes formas, com textos fáceis, difíceis, mais curtos e mais longos. Enfim… há tantos outros pontos para se analisar… O fato é que não se pode esperar ter o mesmo resultado em dois momentos tão distintos.

Por esse motivo, para que os alunos não passem mais por isso, resolvi focar no que considero mais importante: a diminuição do número de erros dos simulados. Com essa nova estratégia, obtive excelentes resultados e nenhum aluno aprovado exigiu a atribuição da nota.

A (des)importância da nota e no que devemos focar instead

As notas dos simulados, segundo minha experiência, dificilmente conseguem mostrar a evolução do aluno. Um simulado com nota 32 e um simulado com nota 27 podem conter os mesmos erros. A diferença pode estar apenas na atribuição das notas subjetivas (CSC e FID). Como já vimos, esses critérios são pouco confiáveis.

Mas, se as notas não são importantes, no que deveríamos focar? Em diminuir o número de erros! Devemos observar quais são os nossos vícios de escrita, as nossas principais dificuldades e os nossos deslizes mais frequentes. Dessa forma, evoluiremos muito mais rapidamente.

Os três principais erros dos candidatos, por mais incrível que pareça, são os erros básicos. São eles que roubam a nossa pontuação, o que chamo de tríade dos erros: ortografia, acentuação e concordância. Com esse novo foco, podemos esquecer da nota e desenvolver estratégias que aumentem a nossa pontuação no critério que podemos controlar, a correção gramatical.

Uma das estratégias utilizadas pelos meus alunos, relatadas, inclusive, nos mais recentes depoimentos das aprovadas, foi o de criar um caderno de erros e revisar os simulados anteriores antes de entregar um novo. Assim, era possível observar os deslizes que ainda aconteciam e o que era necessário aprender para melhorar a escrita.

Para o exercício de versão, ler textos em francês (literários e jornalísticos), visando aumentar o vocabulário, é o principal recurso utilizado pelos meus alunos para aumentar o desempenho nessa atividade. Esse contato constante com o idioma, para além dos simulados e do curso, é fundamental.

Então, caso você deseje, de fato, evoluir em sua escrita em francês, espanhol ou até mesmo inglês, minha sugestão é desapegar-se das notas e focar nos erros cometidos, em compreender as ações que precisam ser executadas para escrever melhor.

Entendo que este seja um movimento muito difícil, pois fomos acostumados, por anos a fio, a sermos avaliados quantitativamente (geralmente com um número enganoso) e não qualitativamente, entendendo em que pontos precisamos melhorar e o que devemos estudar para evoluir.

Se você deseja experimentar uma nova abordagem na correção de simulados, aproveite para se inscrever em nossos simulados.