A legenda de a Bíblia Doom Para ser publicado pelos profetas de extinção da AI, Eliezer Yudkowsky e Nate Soares ainda este mês é “por que a IA sobre -humana mataria a todos nós”. Mas realmente deve ser “por que a IA sobre-humana vai matar todos nós”, porque mesmo os co-autores não acreditam que o mundo tomará as medidas necessárias para impedir a IA de eliminar todos os seres humanos não super. O livro está além do anoitecer, lendo como notas rabiscadas em uma cela de prisão mal iluminada na noite anterior à execução de uma amanhecer. Quando encontro esses Cassandras auto-nomeados, pergunto-lhes se eles acreditam que pessoalmente encontrarão seus fins através de alguma máquinação de superinteligência. As respostas vêm prontamente: “Sim” e “sim”.
Não estou surpreso, porque li o livro – o título, a propósito, é Se alguém construir, todo mundo morre. Ainda assim, é um choque ouvir isso. Uma coisa é, digamos, escrever sobre estatísticas de câncer e outra para falar sobre chegar a um acordo com um diagnóstico fatal. Pergunto a eles como eles acham que o fim virá para eles. Yudkowsky à primeira vista se esquiva da resposta. “Não passo muito tempo imaginando minha morte, porque não parece uma noção mental útil para lidar com o problema”, diz ele. Sob pressão, ele cede. “Eu acho que de repente caindo morto”, diz ele. “Se você quer uma versão mais acessível, algo sobre o tamanho de um mosquito ou talvez um ácaro de poeira pousou na parte de trás do meu pescoço, e é isso.”
Os técnicos de seu golpe fatal imaginado entregues por um ácaro de poeira movidos a IA são inexplicáveis, e Yudowsky não acha que vale a pena descobrir como isso funcionaria. Ele provavelmente não conseguia entender de qualquer maneira. Parte do argumento central do livro é que a Superintelligência apresentará coisas científicas que não podemos compreender mais do que as pessoas das cavernas poderiam imaginar microprocessadores. Co -autor Soares também diz que imagina que a mesma coisa acontecerá com ele, mas acrescenta que ele, como Yudkowsky, não gasta muito tempo morando nos detalhes de sua morte.
Não temos uma chance
A relutância em visualizar as circunstâncias de sua morte pessoal é uma coisa estranha de ouvir de pessoas que acabaram de co -autor de um livro inteiro sobre todo mundo morte. Para aficionados pornôs doomer, Se alguém construir é a leitura de consultas. Depois de atravessar o livro, entendo a imprecisão de pregar o método pelo qual a IA termina nossas vidas e todas as vidas humanas depois. Os autores especulam um pouco. Fervendo os oceanos? Bloqueando o sol? Todas as suposições provavelmente estão erradas, porque estamos trancados em uma mentalidade de 2025, e a IA estará pensando em eras à frente.
Yudkowsky é o apóstata mais famoso da IA, passando de pesquisador para Ceifador anos atrás. Ele até terminou uma conversa de TED. Após anos de debate público, ele e seu co -autor têm uma resposta para todos os contra -argumentos lançados contra seu terrível prognóstico. Para iniciantes, pode parecer contra -intuitivo que nossos dias sejam numerados pelo LLMS, que geralmente tropeçam em aritmética simples. Não se deixe enganar, diz os autores. “Ais não ficará burro para sempre”, eles escrevem. Se você acha que a AIS superinteligente respeitará os limites que os humanos desenham, esqueça, eles dizem. Quando os modelos começarem a se ensinar a ficar mais inteligente, o AIS desenvolverá “preferências” por conta própria, que não se alinham com o que nós, humanos, queremos que eles preferam. Eventualmente, eles não precisam de nós. Eles não estarão interessados em nós como parceiros de conversa ou mesmo como animais de estimação. Seríamos um incômodo e eles partiriam para nos eliminar.
A luta não será justa. Eles acreditam que, a princípio, a IA pode exigir a ajuda humana para construir suas próprias fábricas e laboratórios – feitos com facilidade, roubando dinheiro e subornando as pessoas para ajudá -lo. Em seguida, criará coisas que não podemos entender, e essas coisas vão acabar com nós. “De uma maneira ou de outra”, escreva esses autores, “o mundo desaparece em preto”.
Os autores veem o livro como uma espécie de tratamento de choque para afastar a humanidade de sua complacência e adotar as medidas drásticas necessárias para impedir essa conclusão inimaginavelmente ruim. “Espero morrer com isso”, diz Soares. “Mas a luta não acabou até que você está realmente morto.” Pena que, então, que as soluções que eles propõem impedir a devastação parecem ainda mais exageradas do que a idéia de que o software vai matar a todos nós. Tudo se resume a isso: bata nos freios. Monitore os data centers para garantir que não estejam nutrindo a superinteligência. Bombardear aqueles que não estão seguindo as regras. Pare de publicar trabalhos com idéias que aceleram a marcha para a Superintelligência. Eles teriam banido, pergunto a eles, o artigo de 2017 sobre transformadores que iniciou o movimento generativo da IA. Ah, sim, eles teriam, eles respondem. Em vez de chat-gpt, eles querem Ciao-GPT. Boa sorte interrompendo esta indústria de trilhões de dólares.
Jogando as probabilidades
Pessoalmente, não vejo minha própria luz sonefada por uma mordida no pescoço por um mote de poeira super avançado. Mesmo depois de ler este livro, acho que não é provável que a IA tenha matado a todos nós. Yudksowky já se envolveu Ficção de Fan de Harry Pottere os cenários fantasiosos de extinção que ele gira são estranhos demais para o meu cérebro humano insignificante aceitar. Meu palpite é que, mesmo que a Superintelligência queira se livrar de nós, ela tropeçará na promulgação de seus planos genocidas. A IA pode ser capaz de chicotear os seres humanos em uma luta, mas aposto contra ela em uma batalha contra a lei de Murphy.
Ainda assim, a teoria da catástrofe não parece impossívelespecialmente porque ninguém realmente estabeleceu um teto para o quão inteligente a IA pode se tornar. Também estudos mostram que a IA avançada recebeu muitos atributos desagradáveis da humanidade, até mesmo contemplando chantagem Para evitar a reciclagem, em um experimento. Também é perturbador que alguns pesquisadores que passam a vida construindo e melhorando a IA achem que há uma chance não trivial de que o pior possa acontecer. Uma pesquisa indicada Que quase metade dos cientistas da IA respondendo atingiu as chances de uma espécie se enxugar como 10 % de chance ou mais. Se eles acreditam nisso, é uma loucura que eles trabalhem todos os dias para fazer AGI acontecer.
Meu intestino me diz que os cenários Yudkowsky e Soares giram são bizarros demais para serem verdadeiros. Mas eu não posso ser claro Eles estão errados. Todo autor sonha em seu livro ser um clássico duradouro. Não tanto esses dois. Se eles estiverem certos, não haverá ninguém por perto para ler seu livro no futuro. Apenas muitos corpos em decomposição que antes sentiram um leve beliscão na parte de trás do pescoço, e o resto era o silêncio.
