O gigante neural de Tesla: um “supercomputador” de IA mais rápido do que qualquer coisa já vista.

supercomputer

No dia do investidor da Autonomy, Elon Musk e sua equipe exibiram muitos números. Eles conversaram muito sobre o crescimento do tamanho da frota e o desempenho do novo chip de rede neural FSD. No entanto, ele esqueceu de incluir um número. É o produto desses dois fatores multiplicados.

Se você olhar o TOP500.org, que lista os 500 supercomputadores mais poderosos do mundo, verá muitas máquinas rápidas. Uma das medidas desses sistemas são os Pflops (que corresponde a um quatrilhão (um mil trilhão) de operações de ponto flutuante por segundo).

O supercomputador mais rápido da lista é o Summit, do Departamento de Energia em Oak Ridge, Tennessee. Tem capacidade de aproximadamente 144 Pflops. E se somarmos todo o poder de processamento dos primeiros 500 computadores, obtemos um poder de processamento total de aproximadamente 1.415 Pflops.

Em cerca de um ano, a Tesla terá colocado nas estradas cerca de um milhão de veículos equipados com o seu novo chip “Full Self Driving”. Cerca de metade deles virá com esse chip pré-instalado, e a outra metade, que hoje está em circulação, será atualizável.

Para toda a frota, a Tesla terá poder de processamento de aproximadamente 117 mil TOPs. Normalmente, o poder de processamento de um supercomputador é medido em operações de ponto flutuante, enquanto Tesla está interessado apenas na multiplicação de números inteiros para autonomia. Então, vamos supor que os FLOPs sejam 10 vezes mais “poderosos” que os OPs (a conversão não é exata, mas deveria nos dar uma ordem de grandeza).

Isso significa que a rede combinada de veículos da Tesla tem poder de processamento muito maior do que o supercomputador mais rápido do mundo e uma ordem de magnitude maior do que os 500 computadores mais rápidos combinados. Ao comparar supercomputadores, o PFlops não é a única coisa que importa, mas é uma métrica fácil de usar. É evidente que, com a quantidade muito limitada de largura de banda disponível entre os automóveis e a nuvem, a arquitectura da aplicação deve ser muito diferente da de um supercomputador típico e proporcionar-lhe-á vantagens e desvantagens.

A máquina distribuída da Tesla terá características muito interessantes.

  • Será distribuído em todo o mundo
  • Será extremamente móvel
  • Estará conectado a um conjunto de sensores (visão, radar, ultrassom).
  • Operará a maior rede neural do mundo baseada em aprendizagem profunda de IA e focada no reconhecimento de imagens.
  • O seu tamanho aumentará continuamente (a uma taxa exponencial ao longo dos próximos anos).
  • Será otimizado para consumir pouca energia e será cada vez mais alimentado por energia solar.
  • Ele será atualizado automática e dinamicamente.

O objetivo deste rolo compressor de TI será limitado a uma única tarefa: dirigir veículos equipados com “inteligência artificial” em evolução. Esta IA será baseada na aprendizagem profunda por redes neurais que processam milhares de milhões de quilómetros de dados visuais de veículos por mês, bem como outros dados de sensores. O objetivo deste sistema será aperfeiçoar a “condução autônoma” de carros a um nível que nenhum ser humano poderia esperar alcançar.

Embora existam outros aplicativos distribuídos com um grande número de “nós” que podem ser vistos na mineração de bitcoin, XBox, clientes Whatsapp, etc…. O rolo compressor autônomo Tesla é diferente porque é um sistema que melhora à medida que o número de nós aumenta, e com o tempo o fará de maneira cada vez mais automatizada devido à sua crescente dependência de redes neurais e algoritmos de engenharia de software.

Como Stewart Bowers destacou durante sua apresentação no Autonomy Investor Day: “Não só podemos observar o que está acontecendo ao redor do veículo, mas também como os humanos escolheram interagir com esse ambiente. Começamos com uma única rede neural, detecções em torno dela. Em seguida, construímos tudo junto em múltiplas redes neurais e múltiplas detecções. Integramos então todos os outros sensores e convertemos tudo no que Elon chama de “espaço vetorial”, ou seja, uma compreensão do mundo que nos rodeia. À medida que melhoramos, transferimos cada vez mais essa lógica para as próprias redes neurais. O objetivo final óbvio é que a rede neural observe todos os carros, reúna todas as informações e, em última análise, produza uma fonte de verdade para o mundo que nos rodeia.”

Na realidade, a rede neural Tesla cria um modelo do mundo tal como ele é e um modelo probabilístico de como as diferentes coisas no mundo se comportam com base na sua aparência. Veja o exemplo de um buraco ou de um saco na estrada. Se for um buraco, o carro o verá e depois perceberá que ele nunca se move. E se você andar nele, sua suspensão registrará algum impacto. Se for um saco, ele pode se mover (se se mover, não é um buraco), e se bater no chão ou no ar, não há grande impacto no veículo.

Ele continua: “Temos uma rede neural que funciona em nossa ampla câmera olho de peixe. Esta rede neural não faz uma única previsão sobre o mundo, ela faz muitas previsões distintas, algumas das quais se verificam entre si. Essas previsões se combinam para nos dar uma ideia melhor do que podemos ou não oferecer na frente do veículo e como planejar isso. (…) Podemos usar isso para aprender comportamentos futuros que são muito precisos, mas também podemos construir previsões muito precisas sobre como as coisas continuarão a acontecer à nossa frente.”

Após o lançamento da direção autônoma da Tesla, o próximo maior aplicativo “dedicado” e naturalmente escalonável para um sistema de computação poderia ser o sistema de previsão do tempo recentemente atualizado da NOAA, que funciona em um par de supercomputadores de 8 dígitos e 4 PFlops combinados, e prevê o tempo para o. inteiros dos Estados Unidos. No entanto, embora a última atualização da NOAA tenha representado cerca de 50% mais potência em três anos, o sistema de IA autônomo da Tesla está evoluindo em um ritmo muito mais rápido. Como observa Elon: “Quando as coisas mudam a um ritmo exponencial, é muito difícil controlar isso, porque estamos habituados a extrapolar numa base linear. Mas quando você tem grandes quantidades de hardware em uso, os dados cumulativos crescem exponencialmente e o software melhora a uma taxa exponencial.”

Em 4 anos, além de sua nova arquitetura de chip 3x mais rápida em desenvolvimento, a Tesla deverá ter mais de 5 milhões de carros nas estradas, com um poder de processamento combinado de algo próximo a 2 milhões de POPs (22.500 a mais de poder de processamento que o atual par da NOAA). ).

Também é possível que nos próximos anos a Tesla seja capaz de usar Internet via satélite de alta velocidade (pelo menos fora de áreas urbanas densas) para fornecer largura de banda de alta velocidade à rede, que atualmente é severamente limitada pela conectividade inconsistente de velocidade 4G. , abrindo maior potencial para melhorias rápidas.

No entanto, dentro de 4 anos, a concorrência poderá voltar-se para a Tesla. Até então, é muito provável que outras grandes montadoras encontrem uma maneira de atualizar o software na maioria de seus novos veículos.