O Google apresentou nesta quarta-feira (22) a TPU 8t e a TPU 8i, dois novos processadores focados no treinamento e na inferência de IA, respectivamente, marcando a separação dessas tarefas distintas. Os componentes estarão disponíveis ainda este ano.
Projetados para alimentar supercomputadores da companhia de Mountain View, os chips da oitava geração da Unidade de Processamento Tensorial (TPU) podem lidar com treinamento de modelos de ponta, desenvolvimento de agentes e cargas de trabalho de inferência massivas. Eles chegam como alternativa ao hardware da Nvidia.
Características dos novos chips de IA do Google
Separando as tarefas em chips distintos, a gigante da tecnologia acredita que os clientes terão mais benefícios ao escolher um hardware personalizado para necessidades específicas. A TPU 8t, por exemplo, reduz o ciclo de desenvolvimento de modelos de meses para semanas.
- Com quase três vezes o desempenho da TPU Ironwood da geração anterior, ela equilibra a taxa de transferência, a memória compartilhada e a largura de banda, garantindo maior rapidez no fluxo de trabalho;
- Um único processador da oitava geração equivale a 9.600 chips e 2 petabytes de memória compartilhada de alta largura de banda da série anterior, de acordo com o Google;
- Além disso, a arquitetura oferece 121 exaflops de capacidade computacional, oferecendo escalabilidade massiva para os modelos mais complexos;
- Outro destaque é o acesso ao armazenamento dez vezes mais rápido, possibilitando a utilização máxima do sistema de ponta a ponta.
Já a TPU 8i é voltada ao trabalho complexo e colaborativo de agentes de IA especializados. Ela combina 288 GB de memória de alta largura de banda com 384 MB de SRAM integrada, três vezes mais que a geração passada, além de dobrar o número de CPUs físicas por servidor.
Para modelos específicos, a largura de banda da interconexão foi dobrada para 19,2 Tb/s, enquanto o novo mecanismo de aceleração coletiva integrado reduziu a latência no chip em até cinco vezes. O resultado no processador de inferência é um desempenho 80% superior, como explicou a empresa.
Menor gasto energético
Apresentando desempenho por watt até duas vezes melhor que a série anterior, as novas TPUs do Google foram desenvolvidas com o objetivo de reduzir os problemas relacionados ao consumo de energia nos data centers. A big tech afirma que os componentes otimizam a eficiência em toda a cadeia.
Isso se dá por meio do ajuste dinâmico do consumo de energia baseado na demanda em tempo real, evitando gastos desnecessários. Ambas também suportam a tecnologia de resfriamento líquido de quarta geração da companhia, que chega onde o resfriamento a ar não alcança.
A Citadel Securities e os laboratórios nacionais do Departamento de Energia dos Estados Unidos deverão estar entre os primeiros clientes a experimentar os avanços da TPU 8t e da TPU 8i. A Anthropic também usará o poder computacional dos novos componentes.
Você sabe qual é a diferença entre GPU e TPUs? Entenda neste comparativo elaborado pelo TecMundo.