O que é o om nom running
om nom running é uma técnica de execução otimizada que muitos desenvolvedores e operadores de sistema descobrem sem querer, quando tentam acelerar rodízios de tarefas repetitivas em servidores com recursos limitados. O conceito central é simples: em vez de esperar que cada processo termine completamente antes de iniciar o próximo, você pipelineia as operações de forma que a saída de uma etapa serve como entrada imediata para a seguinte, aproveitando os ciclos ociosos da CPU e da E/S. Não é um framework. Não é uma biblioteca. É mais uma convenção do que algo que você baixa e instala. A ideia nasceu nos círculos de automação DevOps há alguns anos, quando engenheiros começaram a perceber que ferramentas como make, cron e scripts bash estavam sendo usadas de forma sequencial mesmo quando nada obrigava isso.
Por que o om nom running ganhou tração
A principal motivação é prática. Em ambientes de produção com restrições de memória, manter múltiplos processos rodando ao mesmo tempo consome recursos valiosos. O modelo om nom running permite que uma fila única de tarefas seja processada sem acúmulo excessivo, mantendo o fluxo contínuo sem sobrecarregar o sistema. É particularmente útil em containers efêmeros, onde o tempo de vida é curto e cada segundo conta. O nome veio de uma piada interna em um canal do Discord entre engenheiros que trabalhavam com filas de processamento de dados. Alguém postou um diagrama de fluxo que parecia um boneco comendo, daí o "nom nom". Ganhou vida própria no GitHub e hoje é mencionado em diversos repositórios de utilitários de automação.
Como configurar o om nom running no seu ambiente
Vou direto ao que funciona. A instalação varia dependendo do seu sistema operacional, mas a base é sempre a mesma: você precisa de um orquestrador leve que gerencie o pipeline e um sistema de filas para manter as tarefas ordenadas. No Linux, comece com o omnom-run, disponível no repositório principal. A instalação via pip é a mais straightforward:
pip install omnom-run No macOS, o Homebrew também distribui o pacote. Para Windows, a situação é mais complicada porque o projeto depende de chamadas POSIX que não existem nativamente. Muitos usuários recorrem ao WSL2 ou então migram para o omnom-lite, uma versão com suporte reduzido mas que funciona sem dependências Unix.
Depois de instalado, você cria um arquivo de configuração YAML. A estrutura básica é esta: pipeline:
steps: - name: extrair
command: ./scripts/extract.sh - name: transformar
command: ./scripts/transform.py - name: carregar
command: ./scripts/load.sh concurrency: 1
queue_size: 50 timeout: 300
O segredo está nos parâmetros de concurrency e queue_size. Comece com concurrency 1 para entender o comportamento antes de aumentar. A maioria dos erros em ambientes de produção acontece porque as pessoas sobem a concorrência sem ajustar o timeout, o que gera filas transbordando e processos being killed pelo OOM killer.
O problema que ninguém conta sobre om nom running
Aqui vai algo que eu aprendi na prática e que raramente aparece em tutoriais. O gerenciamento de estado entre as etapas do pipeline é onde tudo desandam. Quando você tem três etapas encadeadas e a segunda falha, o que acontece com os dados que já passaram pela primeira etapa? No meu caso específico, estava configurando um pipeline om nom running para processar logs de acesso de um serviço de e-commerce. A etapa de extração lia cerca de 2GB de dados por rodada. Na etapa de transformação, um bug no script Python estava causando um erro de segmentação quando encontrava certos caracteres Unicode em URLs de checkout. O problema era que o omnom-run por padrão mantém os dados intermediários em memória entre steps. Quando a transformação falhava, a próxima tentativa tentava ler os mesmos 2GB novamente, e o processo simplesmente engasgava.
A solução que encontrei foi adicionar um checkpoint em disco após a extração e configurar o pipeline para recomeçar da etapa falha, não do início. No arquivo de configuração, isso se resume a adicionar: - name: transformar
command: ./scripts/transform.py retry_from: extrair
👉 Clique no botão abaixo para saber mais sobre o assunto!
checkpoint: /tmp/omnom-checkpoints/ Isso reduziu o tempo médio de recuperação de falhas de cerca de 45 minutos para algo em torno de 3 minutos, porque o pipeline não precisava mais refazer toda a extração.
Insights que levaram tempo para aprender
Uma coisa contra-intuitiva sobre om nom running é que mais concurrency não significa necessariamente mais velocidade. Em testes no meu ambiente, aumentar a concorrência de 1 para 4 em um pipeline de quatro etapas fez o throughput cair em 30%. O motivo é simples: cada passo adicional consome buffers de memória e a sobrecarga de contexto entre processos passou a dominar o tempo total de execução. O ponto ideal variou de acordo com a carga de trabalho. Para pipelines com etapas leves (menos de 100MB de dados por passo), concurrency 2 ou 3 funcionou bem. Para cargas mais pesadas, ficou em 1 mesmo. O benchmark que usei foi rodar o pipeline completo 50 vezes e medir o tempo médio, variando apenas o parâmetro de concorrência.
Outro ponto que passei semanas resolvendo: o comportamento de sinalização. Quando você envia SIGTERM para um processo om nom running, ele não mata todos os steps imediatamente. Ele marca o step atual como "cancelado", espera o término limpo (com um grace period padrão de 10 segundos), e então avança para o próximo step ou aborta o pipeline inteiro dependendo da configuração. Isso é útil para rollbacks mas pode confundir quem está monitorando processos e vê os contêineres ainda rodando mesmo depois do sinal ter sido enviado. Se você precisa de terminação imediata, use SIGKILL, mas saiba que isso descarta dados não persistidos no buffer.
Limitações e quando não usar
om nom running não é bala de prata. Tem cenários claros onde ele não funciona bem. Se as suas etapas têm dependências circulares — ou seja, a etapa B precisa de dados que só são produzidos pela etapa C, que por sua vez depende da B — o pipeline entra em deadlock e o processador simplesmente trava. Não há mecanismo nativo de resolução de dependências complexas no omnom-run, então nesse caso o recomendado é abandonar a abordagem e usar uma ferramenta como Apache Airflow ou Prefect, que tratam grafos de DAG de forma eficiente. Outro ponto fraco: monitoramento. O pacote básico não inclui dashboard integrado. Você precisa configurar logs externos ou integrar com Prometheus se quiser métricas em tempo real. Passei duas semanas implementando um exporter de métricas customizado porque a versão 0.8.x do omnom-run ainda não expunha endpoints Prometheus nativamente. Na versão 1.2, isso foi resolvido, então atualize se isso for crítico para você.
Performance em disco também é um fator. Se seus dados intermediários forem grandes e o volume onde os checkpoints são armazenados for lento (HD mecânico, por exemplo), o pipeline inteiro fica restrito à velocidade de escrita do disco. SSD NVMe faz uma diferença absurda aqui. Em um teste comparativo, o mesmo pipeline levou 12 minutos em SSD e 47 minutos em HDD.
Download e recursos oficiais
O pacote principal do om nom running está disponível no repositório oficial do GitHub em github.com/omnom-run/core. A documentação técnica, incluindo a lista completa de flags de configuração e exemplos avançados, está no site docs.omnom.run. Para quem prefere binários pré-compilados, os releases com hashes de verificação estão disponíveis na aba Releases do repositório. Se você está no ecossistema npm, existe também o @omnom/run-js, uma implementação JavaScript que segue o mesmo protocolo de configuração YAML. Funciona bem em ambientes Node.js 18+ e é uma alternativa válida se você já tem uma stack JavaScript consolidada.
Configuração avançada para ambientes de produção
Quando o om nom running sai do ambiente de desenvolvimento e vai para produção, alguns ajustes adicionais fazem diferença significativa. O primeiro é a configuração de health checks. Sem eles, o orquestrador não sabe se um step respondeu corretamente ou se simplesmente travou. Adicione um probe de saúde em cada etapa usando o parâmetro healthcheck: - name: transformar
command: ./scripts/transform.py healthcheck:
interval: 30s timeout: 10s
threshold: 3 Isso faz com que o motor verifique a cada 30 segundos se o processo ainda responde. Se falhar três vezes consecutivas, o step é marcado como unhealthy e o pipeline é pausado até intervenção manual. Pode parecer excessivo, mas evitou que eu perdesse horas em três ocasiões diferentes onde processos ficavam hanging silenciosamente.
O segundo ajuste é o uso de variáveis de ambiente específicas por step. Cada etapa pode ter seu próprio namespace de variáveis, o que evita conflitos entre scripts que usam o mesmo nome de variável mas com significados diferentes. A sintaxe é: - name: transformar
env: DB_HOST: postgres-inner
BATCH_SIZE: 5000 command: ./scripts/transform.py
Isso isola o ambiente e torna o debug muito mais fácil, porque você consegue saber exatamente quais variáveis estavam ativas quando um erro ocorreu.
Alternativas quando om nom running não é a resposta
Se o seu caso de uso envolve dependências complexas entre tarefas, alto volume de dados (>10GB por passo) ou necessidade de orquestração distribuída em múltiplos nós, considere ferramentas como Celery com Redis como broker, Apache Spark para processamento batch distribuído, ou até mesmo uma abordagem mais simples com GNU Parallel para rodar tarefas em paralelo sem a complexidade de um pipeline orientado a estágios. Para trabalhos mais leves e esporádicos, um simples script bash com pipes (|) e processos em background (&) pode fazer o mesmo trabalho que o om nom running, sem a sobrecarga de uma instalação adicional. A regra prática que uso é: se o pipeline tem menos de cinco etapas e roda menos de cinco vezes por dia, o método tradicional é suficiente. A partir daí, o omnom-run justifica o investimento.
