Categorias
Blog

A nova IA da OpenAI aprendeu a jogar Minecraft assistindo 70.000 horas de YouTube

Em 2020, o algoritmo de aprendizado de máquina GPT-3 da OpenAI surpreendeu as pessoas quando, depois de ingerir bilhões de palavras extraídas da internet, começou a cuspir frases bem elaboradas. Este ano, DALL-E 2, um primo do GPT-3 treinado em texto e imagens, causou uma agitação semelhante online quando começou a criar imagens surreais de astronautas montando cavalos e, mais recentemente, criando rostos estranhos e fotorrealistas de pessoas que não não existem.

Agora, a empresa diz que sua IA mais recente aprendeu a jogar Minecraft depois de assistir cerca de 70.000 horas de vídeo mostrando pessoas jogando o jogo no YouTube.

Escola de Minas
Em comparação com vários algoritmos anteriores do Minecraft que operam em versões “sandbox” muito mais simples do jogo, a nova IA joga no mesmo ambiente que os humanos, usando comandos padrão de teclado e mouse.

Em uma postagem no blog e uma pré-impressão detalhando o trabalho, a equipe do OpenAI diz que, fora da caixa, o algoritmo aprendeu habilidades básicas, como derrubar árvores, fazer pranchas e construir mesas de trabalho. Eles também o observaram nadando, caçando, cozinhando e “pulando de pilares”.

“Até onde sabemos, não há trabalho publicado que opere no espaço completo e não modificado da ação humana, que inclui gerenciamento de inventário de arrastar e soltar e criação de itens”, escreveram os autores em seu artigo.

Com o ajuste fino – isto é, treinando o modelo em um conjunto de dados mais focado – eles descobriram que o algoritmo executava todas essas tarefas de maneira mais confiável, mas também começaram a avançar sua proeza tecnológica fabricando ferramentas de madeira e pedra e construindo abrigos básicos, explorando aldeias e saqueando baús.

Depois de mais ajustes com o aprendizado por reforço, ele aprendeu a construir uma picareta de diamante – uma habilidade que leva os jogadores humanos cerca de 20 minutos e 24.000 ações para realizar.

Este é um resultado notável. A IA há muito luta com a jogabilidade aberta do Minecraft. Jogos como xadrez e Go, que a IA já domina, têm objetivos claros e o progresso em direção a esses objetivos pode ser medido. Para conquistar o Go, os pesquisadores usaram o aprendizado por reforço, onde um algoritmo recebe um objetivo e é recompensado pelo progresso em direção a esse objetivo. O Minecraft, por outro lado, tem vários objetivos possíveis, o progresso é menos linear e os algoritmos de aprendizado de reforço profundo geralmente ficam girando.

Na competição MineRL Minecraft de 2019 para desenvolvedores de IA, por exemplo, nenhuma das 660 inscrições atingiu o objetivo relativamente simples da competição de mineração de diamantes.

Vale a pena notar que, para recompensar a criatividade e mostrar que jogar poder de computação em um problema nem sempre é a resposta, os organizadores do MineRL colocaram limites estritos aos participantes: eles tiveram permissão para uma GPU NVIDIA e 1.000 horas de jogabilidade gravada. Embora os concorrentes tenham tido um desempenho admirável, o resultado do OpenAI, alcançado com mais dados e 720 GPUs NVIDIA, parece mostrar que o poder de computação ainda tem seus benefícios.

A IA fica esperta
Com seu algoritmo de pré-treinamento de vídeo (VPT) para Minecraft, o OpenAI retornou à abordagem usada com GPT-3 e DALL-E: pré-treinar um algoritmo em um conjunto de dados gigantesco de conteúdo criado por humanos. Mas o sucesso do algoritmo não foi possibilitado apenas pelo poder de computação ou pelos dados. Treinar um Minecraft AI com tanto vídeo não era prático antes.

As imagens de vídeo brutas não são tão úteis para IAs comportamentais quanto para geradores de conteúdo como GPT-3 e DALL-E. Mostra o que as pessoas estão fazendo, mas não explica como elas estão fazendo. Para que o algoritmo vincule o vídeo às ações, ele precisa de rótulos. Um quadro de vídeo mostrando a coleção de objetos de um jogador, por exemplo, precisaria ser rotulado como “inventário” ao lado da tecla de comando “E” que é usada para abrir o inventário.

Rotular cada quadro em 70.000 horas de vídeo seria… insano. Então, a equipe pagou aos contratados da Upwork para gravar e rotular as habilidades básicas do Minecraft. Eles usaram 2.000 horas deste vídeo para ensinar um segundo algoritmo como rotular vídeos do Minecraft, e esse algoritmo, IDM, anotou todas as 70.000 horas de imagens do YouTube. (A equipe diz que o IDM teve mais de 90% de precisão ao rotular os comandos do teclado e do mouse.)

Essa abordagem de humanos treinando um algoritmo de rotulagem de dados para desbloquear conjuntos de dados comportamentais on-line pode ajudar a IA a aprender outras habilidades também. “O VPT abre o caminho para permitir que os agentes aprendam a agir assistindo a um grande número de vídeos na internet”, escreveu o pesquisador. Além do Minecraft, a OpenAI acha que o VPT pode trazer novos aplicativos do mundo real, como algoritmos que operam computadores em um prompt (imagine, por exemplo, pedir ao seu laptop para encontrar um documento e enviá-lo por e-mail ao seu chefe).

Os diamantes não são para sempre
Para desgosto dos organizadores da competição MineRL, talvez, os resultados parecem mostrar que o poder e os recursos de computação ainda movem a agulha na IA mais avançada.

Não importa o custo da computação, a OpenAI disse que apenas os contratados da Upwork custam US$ 160.000. Embora, para ser justo, rotular manualmente todo o conjunto de dados chegaria aos milhões e levaria um tempo considerável para ser concluído. E embora o poder de computação não fosse desprezível, o modelo era realmente muito pequeno. As centenas de milhões de parâmetros do VPT são ordens de magnitude inferiores às centenas de bilhões do GPT-3.

Ainda assim, o esforço para encontrar novas abordagens inteligentes que usam menos dados e computação é válido. Uma criança pode aprender o básico do Minecraft assistindo a um ou dois vídeos. A IA de hoje exige muito mais para aprender habilidades simples. Tornar a IA mais eficiente é um grande e valioso desafio.

De qualquer forma, o OpenAI está em clima de compartilhamento desta vez. Os pesquisadores dizem que o VPT não está isento de riscos – eles controlaram estritamente o acesso a algoritmos como GPT-3 e DALL-E parcialmente para limitar o uso indevido – mas o risco é mínimo por enquanto. Eles abriram os dados, o ambiente e o algoritmo e estão em parceria com o MineRL. Os participantes deste ano podem usar, modificar e ajustar o que há de mais recente no Minecraft AI.

As chances são boas de que eles passarão bem da mineração de diamantes desta vez.

Categorias
Blog

O desenvolvimento de uma célula ao longo do tempo por um “gravador” biológico

Os vídeos caseiros da infância podem ser emocionantes, hilários ou francamente embaraçosos. Mas as fitas contêm um recurso inestimável: trechos da jornada de uma criança enquanto ela aprende a navegar pelo mundo. Claro, as fotos também podem capturar um primeiro aniversário ou uma primeira queda de bicicleta, mas em vez de um filme, são instantâneos e únicos no tempo.

Os cientistas há muito procuram incorporar “filmadoras” de DNA nas células para capturar sua história. Como as crianças, as células crescem, se diversificam e amadurecem à medida que interagem com o ambiente. Essas mudanças estão incorporadas na atividade genética de uma célula e, ao reconstruí-las ao longo do tempo, os cientistas podem inferir o estado atual de uma célula – por exemplo, ela está se tornando cancerosa?

A tecnologia “aprofundaria o conhecimento sobre a biologia do desenvolvimento e do câncer que poderia ser traduzido em estratégias terapêuticas”, disseram o Dr. Nozomu Yachie e colegas da Universidade da Colúmbia Britânica.

O problema? O processo de gravação, até o momento, consistiu apenas em instantâneos únicos e destruiu a célula, impossibilitando o rastreamento de seu crescimento.

Agora, uma equipe liderada pelo Dr. Seth Shipman no Gladstone Institutes projetou um gravador biológico – apelidado de Retro-Cascorder – que, como uma câmera de vídeo da velha escola, pode capturar o histórico de expressão genética de uma célula em uma “fita” de DNA por dias a fio. Graças ao CRISPR, essas “fitas” são então integradas ao genoma da célula, que pode ser lida posteriormente.

Os dados resultantes não são exatamente os vídeos caseiros mais engraçados da América. Em vez disso, é mais um livro que documenta vários sinais biológicos e os armazena ordenadamente em ordem cronológica.

Esta nova maneira de coletar dados moleculares nos dá uma janela sem precedentes para as células”, disse Shipman. Além de espionar a história de desenvolvimento de uma célula – por exemplo, como ela se diversificou de uma célula-tronco comum – adicionar Retro-Cascorder poderia transformar células normais em biossensores vivos que monitoram poluição, vírus ou outros contaminantes, ao mesmo tempo testando a capacidade do DNA como um dispositivo de armazenamento de dados confiável.

A ascensão das fitas de DNA

Por que rastrear o histórico de uma célula?
Imagine uma célula quando criança. A partir de um óvulo fertilizado, ela cresce, muda sua aparência externa – em uma célula da pele ou um neurônio, por exemplo – e, no caso das células reprodutivas, passa informações genéticas para seus filhos. A jornada de uma célula pela vida não é definida apenas por sua genética – em vez disso, como suas instruções genéticas serão realizadas depende de interações com seus vizinhos celulares e com o mundo exterior: dieta, exercícios, estresse e qualquer coisa que seu hospedeiro humano experimente.

Esses estímulos da natureza e da criação acionam uma célula para ativar um certo padrão de genes – um processo apelidado de expressão gênica. Todas as nossas células abrigam o mesmo conjunto de genes; o que os torna diferentes é quais estão ligados ou desligados. A expressão gênica é extremamente poderosa: pode mudar a identidade, a função e, finalmente, os processos biológicos que governam a vida de uma célula.

Seria ótimo dar uma olhada em seu funcionamento interno.

Usando tecnologias “ômicas” – isto é, analisando milhões de células ao mesmo tempo para expressão gênica, metabolismo ou outros estados – podemos obter um instantâneo de alta resolução de um grupo de células em um determinado momento. Embora poderoso, o processo destrói a amostra. A razão é porque a leitura das informações de expressão gênica armazenadas nas células, um método apelidado de RNAseq, requer a quebra do envelope gorduroso e borbulhante da célula para acessar e extrair as moléculas. Imagine apontar o Telescópio James Webb para qualquer ponto no espaço, sabendo que o telescópio irá obliterar qualquer coisa que vir – sim, não é ótimo.

As fitas de DNA adotam uma abordagem diferente. Como um editor de vídeo, elas “marcam” os eventos de uma célula com um código de barras composto de letras de DNA – um pouco como um carimbo de data/hora. Shipman não é estranho ao uso de DNA como dispositivo de armazenamento. Em 2017, trabalhando com o biólogo sintético Dr. George Church em Harvard e equipe, eles codificaram um filme digital no genoma de bactérias vivas usando CRISPR.

Diário de DNA
O novo estudo tinha um objetivo relativamente simples: como uma câmera acionada por movimento, começar a gravar sempre que um gene específico fosse ativado.

Para projetar o Retro-Cascorder, a equipe se voltou para um elemento genético enigmático, os retrons. Estes são pequenos pedaços de DNA bacteriano que confundiram os cientistas por décadas, antes de perceberem que fazem parte do sistema imunológico de uma bactéria. Em 2021, o coautor do estudo, Church, transformou os retrons de uma estranha peculiaridade bacteriana em uma ferramenta de edição de genes que pode rastrear milhões de variações de DNA e acompanhar seus efeitos ao mesmo tempo. Crucialmente, eles perceberam que os retrons podem ser usados ​​como marcadores para marcar uma mudança genética específica no tempo.

Aqui, a equipe começou projetando retrons para produzir etiquetas de DNA específicas – como imprimir uma série de códigos de barras para marcar pacotes. As etiquetas estão ligadas a promotores de DNA, que, como um semáforo, dão à célula permissão para ativar um gene.

Quando um gene é ativado, o retron gera automaticamente um código de barras exclusivo que certifica sua atividade. É um processo de várias etapas: a etiqueta, originalmente codificada no DNA, é primeiro transcrita em RNA pela célula e depois reescrita de volta em “recibos” de DNA pelos retrons.

Pense em uma caixa registradora de restaurante. Isso equivale a imprimir um pedido, em um determinado momento, com um recibo.

Depois de verificar se a tecnologia funciona conforme o esperado, a equipe passou a fazer “filmes” de uma célula usando tags baseadas em retron. Não é um vídeo no sentido tradicional: a equipe ainda precisava analisar os códigos de barras ao final de uma sessão de gravação – cerca de 24 horas – para reprodução, o que destrói as células.

Manter o controle das mudanças de expressão gênica em um instantâneo no tempo é relativamente simples. Manter o controle das mesmas mudanças ao longo de um dia é muito mais difícil. Para construir uma espécie de “memória” para o gravador, a equipe recorreu ao CRISPR-Cas. Aqui, as matrizes CRISPR atuam como o diário, enquanto os retrons funcionam como entradas diárias. Os recibos de DNA, gerados por retrons, são incorporados a uma matriz CRISPR. Como fitas cassete, elas contêm dados seguidos por espaçadores, como uma tela preta, para ajudar a separar os eventos. À medida que novas informações são adicionadas, os espaçadores anteriores se afastam da entrada mais próxima, tornando possível decifrar uma linha do tempo de eventos.

As células com a capacidade de usar o CRISPR para gravar dados genéticos “podem gravar progressivamente eventos celulares… em fitas de DNA”, disse Yachie.

Em uma prova de conceito, a equipe introduziu o Retro-Cascorder na Escherichia coli (E. Coli), a bactéria favorita do laboratório, por meio de engenharia genética. Incorporar a nova construção foi um bom sinal para os cientistas, pois sugeriu pouco estresse ou toxicidade para as células.

Eles então ativaram um ou ambos os promotores de DNA usando produtos químicos, como clicar em “gravar” em um Walkman. Ao longo de 48 horas, o sistema registrou alterações na expressão gênica conforme o esperado na matriz CRISPR. Depois de aprofundar a sequência de matrizes CRISPR – ou seja, lê-los de volta depois – eles descobriram que o histórico da célula progrediu conforme o esperado.

Uma história inteira de você
A nova fita de DNA é como gravar pequenos trechos de um filme ao longo do tempo. Mas está estranhamente editado. Embora o Retro-Cascorder possa dizer a sequência de ativações de genes, ele não pode identificar o lapso de tempo entre dois eventos adjacentes. Como em um vídeo caseiro, um clipe de um ensaio de dança seguido de um jantar pode ser no mesmo dia; ou com anos de diferença.

Mas em comparação com as tentativas anteriores, a fita é um salto tecnológico, com melhores sinais, maior duração de gravação e melhor reprodução.

Este ainda não é um sistema perfeito, mas achamos que ainda será melhor do que os métodos existentes, que permitem medir apenas um evento por vez”, disse Shipman.

A corrida pelo documentário de célula perfeito começou, e a maioria tem o CRISPR no centro. Para Yachie, uma maneira é substituir o bom-ole’-CRISPR por editores de base ou CRISPR prime, que causam menos danos ao genoma da célula. O “VCR” biológico – que lê a expressão registrada de um gene – também precisa de uma atualização, potencialmente alimentada por uma melhor capacidade de computação.

Quando mais aperfeiçoados, os gravadores de DNA podem nos ajudar a rastrear a trajetória de desenvolvimento de minicérebros e outros organoides, estudar células cancerosas à medida que evoluem, monitorar poluentes ambientais nas células – tudo sem colocar vidas em risco.

Categorias
Blog

Transformação digital nas guerras, por Alexandre Nascimento

E se a inteligência artificial for capaz de sair da ficção e causar uma revolução digital na forma como conduzem as guerras pelo mundo? O filme “Jogos de Guerra” (WarGames), sucesso de bilheteria na década de 1980, já previa uma realidade parecida, há quase 40 anos. A história narra um jovem hacker, que acidentalmente acessou um supercomputador militar americano, capaz de simular uma guerra nuclear entre os EUA e a antiga União Soviética. Bom, ele achava que se tratava apenas de uma simulação.

Mas, como a IA pode influenciar em conflitos nos dias de hoje? Alexandre Nascimento, expert em Inteligência Artificial da SingularityU, falou a abordou a pauta para o ESTADÃO e afirmou que Um fato real apresentado na ficção é que os jogos de guerra realmente existem: são simulações, muitas vezes computacionais, que permitem avaliações do resultado de diferentes estratégias, táticas e operações militares numa situação de guerra.

De acordo com o pesquisador de Inteligência Artificial há 24 anos, com essas ferramentas, é possível identificar as melhores abordagens para se obter vantagem com os recursos existentes sobre o adversário. Assim, através dessas simulações, os militares entendem qual é a melhor forma de alocar suas tropas e arsenais para obter superioridade. Ou seja, apesar do nome “jogo”, trata-se de uma ferramenta muito importante para a análise de cenários e preparo militar.

Nascimento lembra ainda que, atualmente, vivemos um cenário com uma guerra importante ocorrendo na Ucrânia e uma outra com potencial de ocorrer, dado o aumento das tensões no Pacifico entre China e Taiwan, bem como o envolvimento de outras nações como Japão, Austrália e EUA. Recentemente, a visita de Nancy Pelosi à Taiwan acirrou as tensões entre China e EUA. Alguns militares americanos consideram que, devido aos desdobramentos, a possibilidade de um conflito armado entre China e EUA até 2026 está se tornando cada vez mais real.

Com isso, o Centro para Estudos Estratégicos e Internacionais (CSIS) de Washington utilizou um jogo de guerra para simular um conflito entre as duas potências militares num cenário provável em 2026, onde a China invadiria Taiwan, e os EUA responderiam militarmente. No cenário considerado não ocorreria um conflito nuclear, ou seja, ambas as nações não utilizariam armas nucleares.

Os resultados das simulações trouxeram revelações surpreendentes. A conclusão final é que os EUA conseguiriam repelir a invasão chinesa. No entanto, o preço que seria pago em perdas de vidas, navios e aviões militares seria muito alto no conflito. Em apenas 4 semanas, os EUA poderiam perder 900 aviões, o que representa metade de sua frota.

Com os avanços da inteligência artificial (IA), ela passou a assumir também um protagonismo cada vez maior nas operações militares, trazendo automação e inteligência para a operação, através de comboios autônomos, armas e robôs de guerra. A IA também passou a ser uma excelente ferramenta para sofisticar tais simulações.

Atualmente, há técnicas que permitem que IA aprenda por observação e se sofistique ao ponto de exceder um especialista, tal como ocorreu com a IA da empresa Deepmind, do Google, que venceu o campeão mundial de Go, um jogo de tabuleiro chinês, aprendendo a jogar apenas por observação. O aprendizado por observação permite que alguns robôs aprendam, a partir de vídeos do Youtube, a preparar refeições, por exemplo.

Algoritmos preditivos de IA permitem também previsões dos potenciais desdobramentos de cada possível estratégia e tática, tornando-se uma ferramenta importante em tais simulações. Além disso, com IA é possível rodar otimizações para que ela indique quais são as melhores alocações de recursos militares, de forma a maximizar os resultados positivos e minimizar as perdas, mesmo em situações onde há inferioridade de recursos. Ou seja, uma IA bem utilizada pode otimizar a alocação de recursos, mesmo que inferiores, para buscar a maximização dos resultados numa guerra. Esse efeito exponencializador transformou a IA em uma ferramenta estratégica de defesa.

Um exemplo clássico, trazido por Nascimento na matéria, é de como um exército com inferioridade de recursos poderia vencer outro com muito mais recursos é dado pela famosa batalha entre Alexandre, O Grande, rei da Macedônia, e Dario III, rei dos Persas, ilustrada no filme Alexandre, de 2004. Dario III tinha um número muito superior de soldados e recursos militares, mas Alexandre venceu utilizando uma estratégia arriscada, atraindo os soldados para uma direção para que se abrisse um flanco e ele conseguisse cavalgar rapidamente em direção a Dario III para atacá-lo diretamente. Ao perceber que Alexandre estava cavalgando em sua direção com furor para matá-lo, Dario III fugiu e com ele uma parte de sua tropa, afetando profundamente a moral de seus militares.

A IA pode ser utilizada para a elaboração e proposição de táticas inusitadas que podem render melhores resultados com inferioridade de recursos, como no caso de Alexandre, O Grande. Assim, através da observação via satélite ou em campo de batalhas ou exercícios militares atuais, a IA pode obter subsídios para gerar estratégias vencedoras nesse “jogo”.

Além disso, a IA pode ser utilizada para testar as consequências potenciais de estratégias arriscadas de antemão, para avaliar os potenciais benefícios diante dos riscos e, com isso, tornar-se uma ferramenta de apoio a tomada de decisão estratégica, tática e operacional. Isso explica a disputa acirrada entre EUA e China pela liderança no campo da IA.

Mas se tudo pode ser simulado num jogo, por que então as guerras não são resolvidas num ambiente simulado, como o metaverso, onde tudo ocorre como se fosse uma longa partida de um jogo? Apesar de ser uma grande mudança de paradigma, seria possível. Isso seria a transformação digital e virtualização das guerras, onde as disputas militares seriam resolvidas em ambiente virtual, com consequências entre as partes sendo refletidas na vida real em relação ao tema disputado.

Com isso, Alexandre Nascimento conclui que quem tiver os melhores computadores, simuladores e geradores de armas e ativos no mundo digital vão ter a superioridade militar. Isso evitaria grandes desgraças desnecessárias em perdas de recursos, atrasos econômicos e de desenvolvimento e principalmente mortes. Esse paradigma traria uma solução mais civilizada para lidar com disputas militares. “Será que algum dia as disputas entre nações serão resolvidas em partidas de videogame jogada por IAs?”, provoca.

Categorias
Blog

Metassuperfícies abrem a porta para a telecinesia e a telepatia com tecnologia