A palavra "algoritmo" deriva do nome do matemático e astrônomo muçulmano Muhammad ibn Musa al-Khwarizmi (c.780–c.850), autor de uma das obras mais importantes da matemática medieval, traduzida para o latim no século 12 sob o título "Algoritmi de Numero Indorum" ("Al-Khwarizmi a respeito dos números hindus"). Inicialmente, ela se referia ao estudo do sistema decimal de numeração criado pelos hindus, mas seu sentido evoluiu muito ao longo dos séculos, conforme já descrevi.

No século 20, o termo foi apropriado pela computação eletrônica: algoritmo passou a significar uma sequência finita de operações explícitas para resolver um problema ou fazer um cálculo de modo automático. O programador (humano) escrevia a sequência em linguagem adequada para um computador, e a máquina executava as operações exatamente conforme prescrito.

Mas esse paradigma foi quebrado pelo advento dos métodos de aprendizagem de máquina. A grande maioria dos algoritmos dos nossos dias é muito mais curto do que os códigos que escrevíamos vinte ou trinta anos atrás e, inicialmente, são incapazes de realizar as tarefas a que se propõem. O que os torna tão (extraordinariamente) úteis é a sua capacidade para aprenderem a fazê-lo!

O elemento crucial em muitos desses algoritmos modernos é o conceito de rede neural. Ele remonta à ideia de "máquina desorganizada de tipo B" descrita pelo matemático inglês Alan Turing (1912–1954), pioneiro da computação, em seu trabalho "Máquinas Inteligentes", que escreveu em 1948 mas só foi publicado após a sua morte.

Trata-se de um modelo lógico inspirado pela estrutura de nossos neurônios. Tal como um neurônio biológico, uma rede neural recebe diversas entradas ("estímulos") e produz uma resposta ("disparo"), que depende tanto dos estímulos quanto de certos parâmetros que fazem parte da definição da rede neural.

Inicialmente, o algoritmo é "educado" por meio de dados conhecidos: os parâmetros das redes neurais são calibrados de modo a que elas reproduzam respostas sabidamente corretas. A partir daí, ele está pronto para ser utilizado para tomar decisões em novas situações.

Esse procedimento pode ser realizado de forma bastante automática, com pouca intervenção humana. E é muito eficaz, assustadoramente eficaz...