Google Cloud, на ежегодной конференции Cloud Next, представила свои новые тензорные процессоры (TPU) пятого поколения, TPU v5e, предназначенные для обучения нейронных сетей. Предыдущая версия TPU была анонсирована компанией в 2021 году, однако разработчикам они стали доступны только в 2022 году. Основным фокусом при создании новой версии чипа было повышение его эффективности. В сравнении с предыдущим поколением, новый TPU обещает двукратное улучшение производительности в пересчете на доллар при обучении больших языковых моделей (LLM) и генеративных нейронных сетей, а также 2,5-кратное улучшение производительности для инференс-систем.
Марк Ломейер, вице-президент и генеральный директор по вычислительной и ML-инфраструктуре Google Cloud, отметил, что TPU v5e является самым экономичным и доступным облачным TPU на данный момент. Он подчеркнул, что компания не экономила на технических характеристиках TPU v5e, несмотря на стремление к рентабельности. Кластеры могут включать до 256 чипов TPU v5e, объединенных высокоскоростным интерконнектом с общей пропускной способностью более 400 Тбит/с. Производительность такой платформы составляет 100 Петаопс (Попс) в INT8-вычислениях.
Кроме того, Google предоставляет возможность клиентам легко масштабировать свои модели искусственного интеллекта за пределы одного модуля или кластера TPU. Одна большая рабочая нагрузка искусственного интеллекта может быть распределена на несколько физических кластеров TPU, масштабируясь до десятков тысяч чипов. Это позволяет выполнять работы экономически эффективно. Google Cloud предоставляет широкий выбор и гибкость клиентам, используя облачные графические процессоры и TPU, чтобы удовлетворить потребности различных рабочих задач, связанных с искусственным интеллектом.
Кроме анонса новых TPU, Google также объявила о планах сделать виртуальные кластеры A3 с графическими процессорами Nvidia H100 доступными для разработчиков в следующем месяце.