Apostilas em PDF – O Uso do ChatGPT pelos Examinadores na Elaboração de Questões de Concurso

Nos últimos anos, ferramentas baseadas em inteligência artificial, como o ChatGPT, têm se tornado cada vez mais comuns na elaboração de questões para concursos públicos. Essa tendência acompanha a rápida evolução da tecnologia e seu impacto em diferentes setores, inclusive na educação. Com sua capacidade de gerar textos coesos e bem estruturados, o ChatGPT oferece aos examinadores uma maneira prática e eficiente de criar questões de alta qualidade. No entanto, ele também deixa pistas que podem ser exploradas pelos candidatos mais atentos.

Uma característica CRUCIAL nas questões geradas pelo ChatGPT é o uso recorrente da própria palavra “crucial”. Essa preferência por certos termos reflete o modelo de linguagem da IA, que prioriza palavras estatisticamente mais frequentes em determinados contextos. Identificar esse padrão pode ajudar o candidato a reconhecer se uma questão foi elaborada com o auxílio de IA, o que oferece uma vantagem estratégica na hora de interpretar as alternativas.

O gráfico acima, por exemplo, demonstra o aumento significativo no uso do ChatGPT para elaborar questões, especialmente em 2024, quando o número de questões com a palavra crucial no enunciado disparou para 2.340. Em anos anteriores, os números eram muito mais modestos: 468 em 2023, 87 em 2022, 58 em 2021 e apenas 38 em 2020. 

O gráfico ilustra não apenas o crescimento do uso do ChatGPT, mas também a confiança crescente dos examinadores na tecnologia. Com o número de questões aumentando de forma exponencial, candidatos que compreendem as características da IA podem ganhar uma vantagem significativa na hora da prova.

Outro ponto que merece atenção é a estrutura das questões geradas pelo ChatGPT. A IA tende a criar enunciados claros, com linguagem formal e sem ambiguidades, seguidos de alternativas que são bem equilibradas em termos de tamanho e complexidade. No entanto, a ausência de nuances e armadilhas típicas dos examinadores humanos torna essas questões mais previsíveis. Por exemplo, se uma alternativa parece errada à primeira vista, ela provavelmente está errada, já que o ChatGPT não possui a malícia de “enganar” o candidato como um examinador humano faria.

Além disso, há um viés evidente na escolha das alternativas corretas. Estudos empíricos mostram que o ChatGPT tem uma tendência a favorecer as alternativas intermediárias, como “B” e “C”, nos gabaritos. Essa observação pode ser utilizada pelos candidatos para guiar seus chutes em situações de dúvida. Embora isso não seja uma regra absoluta, é um padrão que se repete com frequência e que pode fazer a diferença em uma prova.

Um exemplo prático pode ilustrar essas características. Considere a seguinte questão gerada pelo ChatGPT:

“A análise de sentimentos em processamento de linguagem natural (PLN) é usada para identificar opiniões em textos. Qual das alternativas a seguir descreve corretamente a abordagem supervisada nesse contexto?”

1. Utiliza dados não rotulados para treinar o modelo.
2. Requer um conjunto de dados rotulados para aprendizado.
3. Baseia-se exclusivamente em regras manuais para identificar padrões.
4. Ignora a polaridade do texto ao processar informações.

Neste caso, a alternativa correta seria B, alinhando-se ao padrão observado nas respostas geradas pela IA. Note como as alternativas incorretas são claramente descartáveis, enquanto a correta é apresentada de forma objetiva e direta.

Além disso, o ChatGPT gosta de elaborar questões indiretas, pedindo ao candidato que identifique benefícios, vantagens ou a melhor solução para um problema apresentado no enunciado. Essas questões frequentemente abordam problemas do mundo real, oferecendo um cenário prático e solicitando uma análise baseada nas alternativas. Um exemplo clássico seria algo como:

“Em um sistema de aprendizado de máquina, qual das opções a seguir representa a melhor abordagem para evitar o superajuste (overfitting)?”

1. Usar um modelo mais complexo para capturar padrões adicionais.
2. Aplicar validação cruzada durante o treinamento do modelo.
3. Coletar mais dados de teste para avaliação.
4. Reduzir o número de iterações no treinamento do modelo.

Note que a questão pede a melhor solução e direciona o candidato para analisar cada alternativa com cuidado. Novamente, o gabarito escolhido pelo Chatgpt está na alternativa B. Esse estilo é uma assinatura do ChatGPT, que busca criar questões práticas e aplicáveis.

Outro aspecto interessante é que, além de “crucial”, o ChatGPT também tem preferência por construções como “é importante destacar”, “é essencial considerar” e “mas também”. Essas expressões, embora úteis para reforçar a clareza do texto, acabam entregando a assinatura da IA. Candidatos atentos podem usar isso a seu favor para identificar questões potencialmente geradas por ferramentas de IA.

Uma questão que merece destaque é a presença de alucinações do ChatGPT nas questões, que muitas vezes passam despercebidas pelos examinadores que não revisam adequadamente os textos gerados pela IA. Alucinações são informações imprecisas ou até completamente inventadas que podem aparecer como fatos nos enunciados ou alternativas. Por exemplo, o ChatGPT pode afirmar que “todas as redes neurais utilizam exclusivamente gradiente descendente para treinamento”, o que é uma generalização falsa. Quando essas falhas não são corrigidas, elas podem levar a questões com alternativas incorretas ou confusas, prejudicando a avaliação e gerando possibilidade de anulação da questão.

Assim, a falta de criatividade do ChatGPT em criar armadilhas e sua previsibilidade nos gabaritos podem ser exploradas pelos candidatos para maximizar suas chances de sucesso. Em um cenário onde a inteligência artificial é cada vez mais CRUCIAL, a capacidade de reconhecer seus padrões pode ser a diferença entre a aprovação e a reprovação.