(Focus-Hub) Как закон Мура заменил "закон IT-Ai". Как LLM и ИИ {сломали} закон Мура: эволюция TPU и новая эра вычислений

Добрых дел, доброй жизни!

Закон Мура (1965) гласил:

"Количество транзисторов на чипе удваивается каждые 2 года, а стоимость вычислений падает".

Но с 2010-х годов искусственный интеллект (особенно LLM, как GPT) нарушил эту тенденцию:

Потребности ИИ росли быстрее:

GPT-3 (2020) требовал 175 млрд параметров → GPT-4 (2023) уже 1.8 трлн.

Вычислительные затраты на обучение удваивались каждые 3-4 месяца (не каждые 2 года!).

Кремний "устал":

Классические CPU/GPU не справлялись с масштабами ИИ → потребовались специализированные чипы (TPU, NPU).

Эволюция Google TPU: от 2016 к 2025

Google разрабатывает тензорные процессоры (TPU) специально для ИИ. Вот их прогресс:

12000 TFLOPS — это больше, потому что это производительность целого кластера.

4614 TFLOPS — это пиковая мощность одного чипа.

Перевод в FLOPS:

1 TFLOPS = 1 трлн операций с плавающей запятой в секунду.
TPU Ironwood: 4.6 PFLOPS/чип (4.6 × 10¹⁵ операций/сек).

Почему ИИ "сломал" закон Мура?

Экспоненциальный рост моделей:

GPT-2 (2019): 1.5 млрд параметров → GPT-4 (2023): 1.8 трлн (в 1200 раз больше!).

Для обучения GPT-4 потребовалось ~50 млн долларов (vs ~$4.6 млн для GPT-3).

Новые архитектуры чипов:

TPU Google оптимизированы только для матричных умножений (основа ИИ), поэтому в 30-100x эффективнее CPU.

Квантовые и фотонные чипы (как петагерцовый транзистор из Аризоны) обещают ещё больший скачок.

Энергопотребление:

Обучение GPT-3: ~1.3 ГВт·ч (как 120 домов за год).
TPU Ironwood снижает затраты в 30 раз vs первые TPU.

Будущее: что придёт на смену закону Мура?

a) Специализированные ИИ-чипы (TPU, NPU, neuromorphic): Оптимизированы под конкретные задачи (инференс, обучение).

b) Квантовые вычисления: Петагерцовые транзисторы (10¹⁵ операций/сек) могут ускорить ИИ в 1000 раз.

c) Алгоритмические прорывы: Свёрточные сети → Трансформеры → Ассоциативные эмбеддинги (меньше вычислений, больше смысла).

****

Вывод: закон Мура мёртв, да здравствует закон IT-Ai

Раньше: Мощность чипов росла по плану (2x за 2 года).

Теперь: ИИ требует экспоненциального роста вычислений → закон Мура не успевает.

Будущее: Гибрид квантовых + фотонных + нейроморфных технологий.

"Скорость прогресса ИИ теперь определяют не транзисторы, а алгоритмы и специализированные чипы" — и Google TPU Ironwood тому доказательство.

P.S. Если к 2030 году появятся петагерцовые процессоры, ИИ сможет обучаться в реальном времени — и тогда закон Мура окончательно станет историей

****

Источник: ИИ(DeepSeek) с правками Максим Насыров.

P.S. Данная статья не написана агентами влияния, а является просто моей формой и мерой понимания происходящих процессов как я их вижу.