O que é automelhoria recursiva?

Automelhoria recursiva é um sistema fazendo o trabalho de melhorar a si mesmo, em que cada versão nova é melhor nesse mesmo trabalho. O caso mais claro é uma IA escrevendo parte do código usado para treinar a próxima IA, que então ajuda a construir a seguinte. Cada versão é mais capaz que a anterior e leva menos tempo para produzir, então o progresso acelera em vez de manter um ritmo constante.

Um laboratório de IA usa o modelo atual para ajudar a escrever código e rodar experimentos para o próximo. Esse próximo modelo é ao mesmo tempo mais capaz e mais rápido de produzir, então assume uma fatia maior do trabalho para o modelo depois dele, e o ciclo vai apertando. Por que não deixar isso só com os engenheiros, que é como toda outra tecnologia avança? Porque aí as pessoas ditam o ritmo, e cada modelo novo ainda leva mais ou menos o mesmo número de meses, não importa quão bom foi o anterior. Nenhum sistema faz esse trabalho inteiro sozinho ainda. As peças que existem são estreitas: programas que ficaram imbatíveis em xadrez e Go jogando milhões de partidas contra cópias de si mesmos, e laboratórios que usam os próprios modelos para acelerar a pesquisa. O que as pessoas discutem é o teto. Um lado acha que o ciclo poderia rodar mais rápido do que as equipes de segurança conseguem testar cada modelo novo, e o outro acha que ele desacelera até o ritmo de fabricar chips e rodar experimentos, que inteligência nenhuma encurta.

Uma impressora 3D que imprime brinquedos vai imprimir brinquedos na mesma velocidade para sempre. Aponte-a para si mesma e algo diferente acontece, porque ela pode imprimir peças melhores para a própria estrutura, e a impressora melhorada então imprime peças melhores do que conseguiria antes. Cada versão é construída por uma máquina melhor que a anterior, então as melhorias chegam mais rápido e vão mais longe. Ela ainda precisa de plástico e energia — que é exatamente onde as pessoas divergem sobre até onde isso pode ir.