Como funciona uma lista de palavras complexas na prática
Eu precisava processar centenas de textos técnicos e identificar automaticamente onde o nível de vocabulário escapava do que era aceitável para o público-alvo. A ideia de uma lista de palavras complexas parecia simples no papel: um arquivo com termos difíceis, um script que cruza os dois, pronto. Na realidade, foi uma dor de cabeça de duas semanas até eu chegar num resultado que não fosse lixo. O que a maioria das pessoas não entende é que a complexidade de uma palavra não é uma propriedade fixa dela. Depende do domínio, da frequência de uso no português brasileiro, e às vezes até do contexto sintático. A palavra "hipótese" pode ser considerada complexa para um leitor leigo, mas é praticamente invisível num artigo de filosofia ou direito. Se você apenas jogar um dicionário de palavras longas contra um texto, vai gerar um ruído enorme de falsos positivos.
No meu caso, o problema começou quando uma ferramenta automática marcou 40% do texto como complexo. Eu li dez páginas. O texto era voltado para profissionais da área, então aquilo estava perfeitamente normal. A lista que eu estava usando tinha sido gerada por uma planilha do INEP misturada com dados do Corpus do Português, sem nenhum filtro de domínio.basicamente, eu estava punindo jargão técnico como se fosse erro de redação.
Por que a lista de palavras complexas não funciona como você espera
O ponto mais importante que eu aprendi foi que a frequência de ocorrência é muito mais relevante do que o tamanho ou a silabação. Palavras como "entretanto" têm cinco sílabas e parecem difíceis, mas aparecem com frequência tão alta no português escrito que qualquer leitor familiarizado com texto formal as reconhece instantaneamente. Já termos como "epistemológico" são longos, mas se o seu corpus de referência for restrito a certos nichos, eles podem nem entrar numa lista bem construída. Outra armadilha comum é usar listas monocêntricas. O português tem diferenças lexicais importantes entre variantes. "Aluguel" e "aluguer" carregam complexidade diferente dependendo de quem vai ler. Se você está processando conteúdo para Angola ou para Portugal, uma lista baseada apenas em frequência do brasileiro vai distorcer completamente o resultado. Eu tive que construir duas versões separadas da minha lista, uma com frequência do Corpus do Português (USP) e outra com dados do IPA, e rodar o cruzamento em paralelo.
👉 Clique no botão abaixo para saber mais sobre o assunto!
A abordagem que funcionou para mim foi a seguinte. Eu parti de três fontes: o Corpus do Português com frequência absoluta e relativa, a lista do Vocabulário Ortográfico da Língua Portuguesa (VOLP) do Instituto Nacional de Estudos e Pesquisas, e glossários setoriais que eu já tinha mapeado internamente. Eu calculei um score de complexidade que combinava três variáveis: frequência inversa no corpus geral, número de sílabas, e presença ou ausência nos glossários de domínio. Palavras que eram frequentes no corpus geral e também apareciam em pelo menos um glossário de domínio Recebiam um desconto no score. O resultado foi uma lista filtrada que reduziu meus falsos positivos de 40% para cerca de 7%. O script em si rodava em Python, usando NLTK para tokenização e um dicionário customizado em formato JSON. O processo de cruzamento levou aproximadamente 12 minutos para 500 mil tokens, num servidor com 4 núcleos. Sem otimização, o mesmo volume levava cerca de 45 minutos porque eu estava fazendo buscas lineares no dicionário. A mudança para um conjunto hash (set em Python) cortou esse tempo drasticamente.
Quando uma lista de palavras complexas simplesmente não resolve
Existem situações em que nenhuma lista externa vai te ajudar. Textos com neologismos, erros ortográficos intencionais, abreviações de comunidade e siglas específicas de subculturas vão escapar de qualquer baseada em corpus acadêmico. Eu tentei aplicar minha lista num fórum de programação e ela marcou termos como "debugar", "commitar" e "refatorar" como complexos, quando na verdade são palavras do dia a dia daquele público. O custo de manter uma lista atualizada para cada nicho rapidamente se torna proibitivo. Nesses casos, a alternativa mais honesta é abandonar a abordagem baseada em lista fixa e migrar para um modelo de language model fine-tuned que avalia complexidade contextual. Ferramentas baseadas em transformadores, mesmo os mais leves como o tinybert ou modelos finetunados em português, conseguem entender que "pipeline" dentro de um texto sobre engenharia de software não tem a mesma carga cognitiva que "pipeline" num texto médico. O trade-off é claro: você precisa de GPU ou de uma API paga, e o tempo de inferência por documento é muito maior do que um simples lookup em dicionário.
Se o seu objetivo é apenas uma triagem rápida e você não se importa com 5 a 10% de ruído, uma lista bem calibrada continua sendo a opção mais eficiente em custo-benefício. Eu costumo recomendar que as pessoas comeceem por aqui antes de gastar com infraestrutura de ML. O problema é que a maioria pula a parte de calibração e usa listas prontas da internet, que quase nunca foram construídas para português brasileiro contemporâneo com rigor suficiente. Para quem quer começar, o caminho mais direto é baixar o VOLP gratuitamente no site do Ministério da Educação, cruzar com a frequência do Corpus do Português (disponível para download acadêmico), e aplicar o filtro que descrevi. Leva cerca de uma tarde de trabalho manual, mas o resultado é significativamente melhor do que qualquer script de uma página genérica que você encontra no GitHub.
