Mês: março 2022

A Meta está construindo um novo supercomputador para treinar enormes algoritmos de aprendizado de máquina. Embora apenas parcialmente completo, o AI Research Supercluster (RSC) já está entre as máquinas mais poderosas do planeta. Quando terminar, a empresa anteriormente conhecida como Facebook diz que será o supercomputador de IA mais rápido do mundo.

A Meta espera que o RSC possa melhorar seus produtos treinando algoritmos que melhor detectem conteúdo nocivo. Além disso, a empresa diz que os avanços podem permitir a tradução de idiomas em tempo real entre dezenas de milhares de pessoas online e algoritmos multitarefa que podem aprender e generalizar em diferentes inputs, incluindo texto, imagens e vídeo.

Tudo isso, disse a empresa, ajudará a avançar em aplicações do mundo real como a robótica e, é claro, construir as bases do metaverso (ainda primordial). “No metaverso, é cem por cento do tempo uma experiência multissensorial 3D, e você precisa criar agentes de inteligência artificial nesse ambiente que sejam relevantes para você”, disse Jerome Pesenti, vice-presidente de IA da Meta, ao Wall Street Jornal esta semana.

Quaisquer que sejam as aplicações finais, o investimento mostra que os maiores players de tecnologia – de Meta a Alphabet e Microsoft – consideram cada vez mais crucial ser competitivo em IA de ponta.

A grande IA está em voga
O anúncio faz parte de uma tendência de algoritmos de aprendizado de máquina cada vez maiores que exigem maiores recursos de computação e conjuntos de dados maiores.

Em 2020, o algoritmo de linguagem natural GPT-3 da OpenAI mostrou que grandes ganhos poderiam ser obtidos aumentando o número de conexões internas em algoritmos, conhecidos como parâmetros, e a quantidade de dados de treinamento canalizados por meio deles. Com 175 bilhões de parâmetros, o GPT-3 era 17 vezes maior que seu predecessor GPT-2. Encorajada pelo sucesso do GPT-3, a Microsoft lançou seu Megatron AI no ano passado, um algoritmo três vezes maior que o GPT-3, e pesquisadores do Google e chineses construíram algoritmos com mais de um trilhão de parâmetros. Antecipando o próximo passo, a Meta disse que planeja usar o RSC para treinar algoritmos com trilhões de parâmetros.

Cada vez mais, esses algoritmos extensos exigem supercomputadores, as máquinas do tamanho de uma sala que os cientistas usam para simular sistemas físicos, desde partículas elementares até o clima da Terra e o universo em geral. No ano passado, por exemplo, a OpenAI anunciou que sua parceira Microsoft havia construído um supercomputador dedicado para treinar seus modelos. Segundo as empresas, a nova máquina estava entre os cinco supercomputadores mais rápidos do mundo (na época).

Embora a Meta não tenha dado números sobre a velocidade máxima atual do RSC, em termos de poder de processamento bruto, parece comparável ao supercomputador Perlmutter, classificado como quinto mais rápido do mundo. No momento, o RSC é executado em 6.800 unidades de processamento gráfico (GPUs) NVIDIA A100, um chip especializado antes limitado a jogos, mas agora usado mais amplamente em IA. A máquina já está processando fluxos de trabalho de visão computacional 20 vezes mais rápido e modelos de linguagem grandes (como GPT-3) 3 vezes mais rápido. Quanto mais rapidamente uma empresa puder treinar modelos, mais ela poderá concluir e melhorar ainda mais em um determinado ano.

Além da velocidade pura, o RSC dará a Meta a capacidade de treinar algoritmos em seu enorme acervo de dados do usuário. Em uma postagem no blog, a empresa disse que treinou anteriormente a IA em conjuntos de dados públicos e de código aberto, mas o RSC usará dados gerados pelo usuário do mundo real dos servidores de produção da Meta. Esse detalhe pode deixar mais do que algumas pessoas em branco, dadas as inúmeras controvérsias de privacidade e segurança que a Meta enfrentou nos últimos anos. No post, a empresa se esforçou para observar que os dados serão cuidadosamente anonimizados e criptografados de ponta a ponta. Eles também disseram que o RSC não terá nenhuma conexão direta com a internet maior.

Para acomodar os enormes conjuntos de dados de treinamento do Meta e aumentar ainda mais a velocidade de treinamento, a instalação crescerá para incluir 16.000 GPUs e um exabyte de armazenamento – equivalente a 36.000 anos de vídeo de alta qualidade – ainda este ano. Uma vez concluído, o Meta diz que o RSC fornecerá dados de treinamento a 16 terabytes por segundo e operará a uma velocidade máxima de 5 exaflops.

Se concluído hoje, isso tornaria o RSC o supercomputador de IA mais rápido do mundo. Mas vale a pena investigar o que exatamente isso significa por um momento.

Maçãs para maçãs?
Os supercomputadores variam muito na forma como são construídos. As configurações comuns incluem unidades de processamento central (CPUs) e GPUs, mas os fabricantes dos chips diferem, assim como a infraestrutura que os conecta. Para comparar supercomputadores, a indústria usa um benchmark chamado operações de ponto flutuante por segundo – ou mais coloquialmente, flops – que mede o número de equações simples que um supercomputador resolve a cada segundo.

De acordo com a lista Top500 mais recente, o supercomputador mais rápido do mundo é o Fugaku e vem do Japão.

O Fugaku, que na verdade não usa nenhuma GPU, registrou uma velocidade máxima de 442 petaflops (ou 442 mil trilhões de operações por segundo). É rápido. Mas sistemas como o Fugaku são cada vez mais construídos para treinar a IA também. Assim, o Top500 começou a relatar um novo benchmark especificamente para aplicativos de IA. Como os algoritmos de aprendizado de máquina não exigem a mesma precisão que os aplicativos científicos, o novo benchmark de IA usa uma medida menos precisa. Por essa medida, Fugaku atinge velocidades de pico acima de um exaflop – ou um milhão de trilhões de operações por segundo. Isso é o que se entende por um supercomputador de IA.

Agora, de volta ao Meta.

A maioria das máquinas na lista Top500 são operadas por governos e universidades. Supercomputadores privados, como RSC e a máquina construída pela OpenAI e Microsoft, não aparecem na lista. Para o desempenho, temos que acreditar na palavra das empresas. Supondo que o RSC atinja velocidades máximas de 5 exaflops para aplicativos de IA, ele venceria o Fugaku por uma margem decente. Mas se isso ainda será o melhor do mundo no final deste ano não está tão claro. Espera-se que o próximo supercomputador Frontier seja três vezes mais rápido que o Fugaku para aplicações de alta precisão. Também construído para IA, o Frontier será uma forte competição pelo supercomputador de IA.

Também vale a pena notar que o desempenho máximo em um benchmark não é equivalente ao desempenho real em cargas de trabalho do mundo real. De acordo com o analista de computação de alto desempenho Bob Sorensen, “A medida real de um bom projeto de sistema é aquele que pode ser executado rapidamente nos trabalhos para os quais foi projetado. De fato, não é incomum que alguns HPCs atinjam menos de 25% de seu chamado desempenho máximo ao executar aplicativos do mundo real.”

Um benchmark de IA emergente, chamado MLPerf, está mais próximo de medir o desempenho em tarefas do mundo real. Ele ainda não mede a rapidez com que os sistemas treinam modelos muito grandes, mas ainda é uma comparação útil. Nos resultados mais recentes do MLPerf, sistemas usando chips NVIDIA A100, os mesmos usados ​​para construir RSC, dominaram o campo. E o maior sistema testado, o supercomputador Selene AI da NVIDIA, treinou o processador de linguagem BERT (agora diminuto) em apenas 16 segundos, comparado a 20 minutos para sistemas menores.

Portanto, de qualquer maneira que você o corte, o RSC será (e já é) uma máquina formidável para pesquisa de IA.

IA maior é sempre melhor?
Até o momento, construir algoritmos cada vez maiores parece gerar ganhos. Mas nem todos os pesquisadores acreditam que esses ganhos continuarão para sempre ou sempre valerão a espiral de energia e recursos financeiros necessários para treinar algoritmos. Modelos de linguagem grandes, em particular, também tendem a adquirir todos os tipos de hábitos e preconceitos desagradáveis ​​durante o treinamento.

Felizmente, também há trabalho em andamento para tornar os algoritmos mais eficientes e responsáveis.

No ano passado, a organização de pesquisa de IA DeepMind lançou um modelo de linguagem grande de 280 bilhões de parâmetros chamado Gopher, que poderia superar outros modelos de linguagem grandes. Mais interessante, no entanto, eles também desenvolveram um modelo muito menor de 7 bilhões de parâmetros chamado RETRO. Dada a capacidade de consultar um banco de dados externo de exemplos para informar suas previsões – uma espécie de memória – o RETRO atingiu bem acima de sua classe de peso, combinando ou superando algoritmos 25 vezes seu tamanho. A DeepMind disse que também é mais fácil rastrear o raciocínio do algoritmo, tornando-o mais transparente e potencialmente mais fácil de eliminar o viés.

Portanto, embora criar algoritmos enormes em supercomputadores seja atraente, o RETRO mostra que a inovação na forma como esses modelos são construídos é igualmente importante. A pesquisa em ambos os extremos do espectro provavelmente continuará em ritmo acelerado, um alimentando e melhorando o outro.

Caroline Verre

As criptomoedas podem refazer nossos sistemas financeiros, mas permanecem pontos de interrogação sobre suas credenciais verdes. Agora, uma nova análise sugere que seu impacto ambiental ficou ainda pior após um êxodo em massa de mineradores da China.

O consumo de energia das criptomoedas é um assunto controverso. Para começar, medir com precisão a quantidade de energia usada por um sistema descentralizado espalhado por vários continentes usando uma ampla diversidade de hardwares configurados de inúmeras maneiras diferentes é repleto de dificuldades.

No entanto, está claro que os principais concorrentes, como Bitcoin e Ethereum, usam uma quantidade substancial de eletricidade. Isso se deve a complexos quebra-cabeças matemáticos que precisam ser resolvidos para validar transações e cunhar novas moedas, um processo conhecido como mineração. Esse processo foi quase totalmente profissionalizado por grandes operações de mineração que executam data centers cheios de chips especializados.

Isso é um problema, porque se a maior parte dessa energia vem de combustíveis fósseis, essas redes provavelmente estão gerando emissões significativas de carbono. As estimativas para a participação de energias renováveis ​​na eletricidade que alimentam as transações de Bitcoin variam de 39% (de acordo com o Cambridge Center for Alternative Finance) a 73% (de acordo com a empresa de gerenciamento de ativos digitais Coinshares).

Mas a grande reviravolta no mercado de mineração no ano passado parece ter mudado o quadro. No início de 2021, cerca de 44% dos mineradores estavam baseados na China, mas em junho as autoridades efetivamente proibiram a atividade, levando a um êxodo em massa para fora do país. Uma nova análise em Joule sugere que os mineradores se mudaram para lugares com energia consideravelmente mais suja, como os EUA e o Cazaquistão, aumentando o impacto climático do Bitcoin em até 17%.

Os pesquisadores conseguiram rastrear o êxodo usando dados de “pools de mineração”, organizações que ajudam os mineradores a reunir seus recursos computacionais. Ao ingressar em um pool, os mineradores revelam seu endereço IP, que pode ser usado para rastrear suas localizações. Enquanto a saída da China levou a uma dispersão geral da mineração, vários países viram sua participação aumentar significativamente.

Em agosto passado, um quarto de toda a mineração havia se deslocado para o Cazaquistão, com outros 15% nos EUA e 9% na Rússia. Isso é problemático, porque a eletricidade nesses países tem impactos climáticos significativamente maiores do que na China.

Isso pode parecer surpreendente, dada a forte dependência da China do carvão, mas o país também possui enormes quantidades de energia hidrelétrica renovável. Os autores relatam que os mineradores costumavam se mudar sazonalmente para as províncias de Sichuan e Yunnan para aproveitar a abundante eletricidade barata durante a estação chuvosa, antes de migrar de volta para lugares com energia barata a carvão, como Xinjiang e Mongólia Interior, pelo resto do ano.

Após o êxodo, a participação da energia hidrelétrica no mix de energia do Bitcoin caiu pela metade, de 33% para 17. Isso contribuiu para uma queda mais geral na contribuição das energias renováveis ​​de 42% para 25%. Por outro lado, a participação do gás natural praticamente dobrou de 15% para 31%.

Curiosamente, a contribuição do carvão caiu de 39% para 30%. Mas isso é contrariado pelo fato de que o Cazaquistão queima “carvão duro” muito mais sujo e usa o tipo menos eficiente de usinas de energia para queimá-lo.

No geral, os pesquisadores preveem que a quantidade de carbono produzida para cada unidade de energia usada pelo Bitcoin aumentou 17%. De acordo com esses números, isso significa que a rede agora produz 65 mega toneladas de CO2 por ano, o que representa cerca de 0,2% das emissões globais, ou um pouco mais do que a nação da Grécia.

Esses números exatos estão em debate, mas a análise deixa claro que as credenciais verdes da criptomoeda estão indo na direção errada. Uma tendência adicional preocupante que os autores observam é o renascimento de usinas de combustível fóssil fechadas nos EUA que não eram mais econômicas, mas agora encontraram uma nova oportunidade de vida alimentando a criptomineração.

Por exemplo, uma usina de carvão condenada em Montana originalmente prevista para fechamento em 2018 foi ressuscitada pela empresa de mineração de Bitcoin Marathon, que se comprometeu a comprar toda a sua eletricidade. E a Pensilvânia tem subsidiado a Stronghold Digital Mining para queimar resíduos de carvão altamente poluentes.

Como orientar a indústria em uma direção mais sustentável é um tema de debate considerável. Uma sugestão recente foi combinar criptomineração com compensações de carbono, embora outro estudo tenha descoberto que você precisaria plantar 300 milhões de árvores para compensar a pegada de carbono do Bitcoin.

O que é certo, porém, é que, à medida que as criptomoedas continuam a invadir o mainstream, encontrar uma solução viável se tornará um imperativo.

Texto originalmente publicado em Singluarity Hub.

Caroline Verre

A guerra é cara. Os Estados Unidos gastaram cerca de US$ 1 trilhão na guerra do Iraque de 2003 em dinheiro de hoje, enquanto a guerra das Malvinas custou ao Reino Unido o equivalente a cerca de £ 2,6 bilhões.

O financiamento é, portanto, um recurso importante em qualquer conflito, semelhante ao da artilharia, combustível e botas no solo. O ônus das finanças tradicionalmente recai sobre os governos, muitas vezes na forma de emissão de títulos de guerra. A Ucrânia está atualmente emitindo US$ 270 milhões em títulos de guerra para esse propósito.

Curiosamente, no entanto, a Ucrânia também está recorrendo a opções que não estavam disponíveis até muito recentemente. Vários dias após a invasão russa, Mykhailo Fedorov, vice-primeiro-ministro da Ucrânia e ministro da transformação digital, pediu às pessoas de todo o mundo que mostrassem solidariedade com a Ucrânia fazendo doações de criptomoedas.

No momento da redação deste artigo, as doações ultrapassaram US $ 50 milhões. Isso pode não estar na mesma liga que o valor dos títulos de guerra ou a ajuda financeira e assistência militar oferecida por governos ao redor do mundo, mas não é insignificante. O valor mostra indivíduos coletivamente tendo um impacto estatal no cenário global.

Essa nova maneira de acessar o capital privado global é uma faceta agradavelmente bem-vinda das criptomoedas. Ao ir direto ao povo do mundo, o governo da Ucrânia conseguiu levantar financiamento rapidamente sem a necessidade de intermediários financeiros.

No entanto, como sempre com criptomoedas, elas trazem benefícios e riscos em medidas iguais. Elas também têm o potencial de ajudar os russos a evitar a queda do rublo – contrariamente às exigências da Ucrânia. Mykhailo Fedorov, por exemplo, pediu no Twitter que “todas as principais exchanges de criptomoedas bloqueiem endereços de usuários russos…

A comunidade criptográfica não concordou totalmente. Um dos principais usuários do Twitter, David Gokhshtein, respondeu que está “definitivamente com a Ucrânia e pela paz, mas não fazemos isso em criptomoedas”.

Changpeng Zhao, fundador da importante exchange Binance, disse que não é o papel das exchanges de criptomoedas restringir as atividades russas em geral, embora tenha enfatizado que sua exchange não estava permitindo que nenhuma das centenas de indivíduos russos ricos nas listas de sanções ocidentais usasse seus serviços. Mesmo assim, segundo ele, era impossível detê-los porque haviam diversas outras possibilidades que eles poderiam usar.

Com os russos também sendo restringidos na movimentação de dinheiro para fora do país, tanto por sanções a bancos russos quanto por controles de capital impostos por seu próprio governo, muitos parecem estar tentando se livrar dos grilhões de suas identidades virtuais nacionais para contornar essas regras. A demanda russa por VPNs, que ajudam os indivíduos a permanecerem privados online ao usar redes públicas, aumentou pelo menos quatro vezes no último fim de semana e possivelmente muito mais. A demanda russa por criptomoedas também pode ajudar a explicar o aumento dos preços das criptomoedas no início da semana passada.

A maior questão
Também há dúvidas sobre como a criptomoeda pode afetar o regime de sanções como um todo, que inclui não apenas restrições a bancos e oligarcas russos, mas também um congelamento das reservas estrangeiras de US$ 630 bilhões do banco central russo. As instituições russas poderiam contornar essas restrições usando criptomoedas?

O problema não é novo neste conflito. Países como o Irã já foram acusados ​​de usar bitcoin para contornar sanções. No entanto, como a comunidade global parece cada vez mais fraturada pela ideologia e queixas passadas, as preocupações com a Rússia são de uma ordem diferente.

Na minha opinião, no entanto, é duvidoso que a criptomoeda salve a Rússia das sanções. Mesmo além da enorme tarefa de estabelecer as instalações necessárias nos bancos russos, muitas das pessoas e instituições que receberiam a criptomoeda precisariam configurar suas próprias carteiras. Além disso, os valores das transações diárias em criptomoedas somam apenas alguns bilhões de dólares. Este é um número grande, mas ordens de magnitude menor do que o sistema financeiro geral. Se a Rússia começar seriamente a usar criptomoedas para pagamentos, o mercado ainda não estará maduro o suficiente para lidar com isso.

Dito isso, vale a pena notar que, graças à desvalorização do rublo, o bitcoin agora o eclipsou em valor geral, sendo a 14ª moeda mais valiosa do mundo, três posições acima do rublo.

É possível que os aspectos positivos que a criptomoeda trouxe para esta guerra sejam um passo para que ela se torne mais amplamente aceita e para que o mundo apresente a regulamentação global harmonizada vital para que ela alcance totalmente o mainstream. Por outro lado, é claramente difícil impedir que as criptomoedas sejam usadas para evitar sanções em escala relativamente pequena, pode se torna muito mais difícil restringir financeiramente países párias nos próximos anos.

Este artigo é republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original aqui.

Caroline Verre