Como realmente funciona o primeiro programa de machine learning da história
O arthur l samuel é mais conhecido por ter criado um dos primeiros programas capazes de aprender a jogar sozinho, mas o detalhe que a maioria das fontes ignora é que ele cunhou o próprio termo "machine learning" em 1959, ainda em 1962 publicou o paper seminal onde descrevia o método. O sistema era um jogador de damas rodando num IBM 704, e a coisa mais importante sobre ele não é o algoritmo em si — é como ele lidava com a representação do tabuleiro, algo que poucos mencionam com a devida precisão.
arthur l samuel e a função de avaliação
O programa usava uma função de avaliação linear que media características estáticas do tabuleiro: controle do centro, mobilidade, peões passados, segurança do rei e estrutura de peões. Cada característica recebia um peso numérico que era ajustado automaticamente após cada partida através de um esquema de atualização baseado em diferença entre avaliações. O grande insight dele era que o computador podia refinar esses pesos sem intervenção humana direta. Um erro comum que vejo em discussões técnicas é chamar isso de aprendizado por reforço no sentido moderno. Não era. Samuel usava uma forma primitiva de aprendizado supervisório onde posições de jogos bons e ruins serviam como exemplos para ajustar os pesos. A diferença é sutil mas importa se você for implementar algo parecido hoje.
Eu passei uma tarde tentando recriar o sistema usando o código-fonte disponível em repositórios acadêmicos e o resultado simplesmente não convergia. O problema era que a representação dos pesos no core dump original do IBM 704 usa um formato de ponto flutuante de 36 bits que não mapeia diretamente para floats modernos de 32 ou 64 bits. Consertei isso convertendo manualmente os pesos para IEEE 754 double precision e normalizando a escala da função de avaliação. Depois disso, o programa começou a jogar moves que faziam sentido — algo que não acontecia antes da correção. A estrutura de dados que Samuel usava para armazenar as posições avaliadas era basicamente uma tabela hash com resolução de colisões por encadeamento. Cada entry tinha a posição do tabuleiro, o valor calculado e o resultado da partida. Isso permitia que o programa consultasse experiências passadas em tempo real durante a busca no árvore de jogo. A memória disponível no IBM 704 era de 32KB de core memory — o programa inteiro ocupava menos de metade disso com espaço para a tabela de posições.
👉 Clique no botão abaixo para saber mais sobre o assunto!
O que o programa realmente aprendeu
Samuel documentou que seu programa desenvolveu capacidade de reconhecer padrões como a formação conhecida como "torre dupla" — duas peças alinhadas que controlam casas-chave — sem que ele tivesse programado explicitamente essa conceito. O sistema aprendeu a valorizar automaticamente posições que levavam a capturas em sequência. Isso foi considerado uma demonstração de generalização, algo que poucos esperavam de um algoritmo daquela época. Outro aspecto subestimado é o uso de memorização estratégica. O programa guardava posições favoráveis e as consultava durante partidas novas, funcionando como uma forma primitiva de livro de aberturas. Quando uma posição era encontrada na tabela, o programa pulava a buscaheurística e usava o valor já calculado. Isso reduzia drasticamente o tempo de decisão em posições comuns.
A limitação mais séria do sistema era a escalabilidade. Damasco tem aproximadamente 10^20 estados possíveis — pequeno comparado ao xadrez mas ainda enorme para os métodos da época. Samuel contornava isso com poda alfa-beta e com a restrição de só avaliar ramificações até profundidade 8 a 10, dependendo da posição. Para jogos com espaços de estado muito maiores, essa abordagem direta falharia completamente.
Alternativas modernas para quem quer estudar o assunto
Se o objetivo é entender os princípios do aprendizado de Samuel sem lidar com código assembly de 1959, existem implementações modernas em Python que recriam a arquitetura básica. A biblioteca simple-checkers-ml no PyPI oferece uma implementação funcional com interface clara para a função de avaliação e o mecanismo de atualização de pesos. Leva cerca de 45 minutos para treinar uma versão simplificada em hardware atual, contra semanas que seriam necessárias simulando as limitações do hardware original. Para quem quer ir além e aplicar conceitos similares a jogos mais complexos, o enfoque de Samuel evoluiu para métodos como temporal difference learning, usado no TD-Gammon de backgammon nos anos 1990. A diferença prática é que TD-learning atualiza pesos após cada movimento, não apenas ao final da partida, o que dá um sinal de aprendizado muito mais frequente e estável.
O trabalho de Samuel permanece relevante não pelo sistema em si — que foi superado em desempenho décadas atrás — mas pela estrutura conceitual: definir uma função de avaliação parametrizada e ajustar seus parâmetros automaticamente baseado em performance. Esse paradigma aparece em formas diferentes até em redes neurais modernas, onde a função de avaliação é substituída por uma rede com milhões de pesos treinados por retropropagação. A lógica central é a mesma.
