• РЕГИСТРАЦИЯ

(Focus-Hub) Как закон Мура заменил "закон IT-Ai". Как LLM и ИИ {сломали} закон Мура: эволюция TPU и новая эра вычислений

2 165
Рис.1 - На фото изображение TPU Ironwood от Гугла система чипов для ИИ.

Добрых дел, доброй жизни!

Закон Мура (1965) гласил:

"Количество транзисторов на чипе удваивается каждые 2 года, а стоимость вычислений падает".

Но с 2010-х годов искусственный интеллект (особенно LLM, как GPT) нарушил эту тенденцию:

Потребности ИИ росли быстрее:

GPT-3 (2020) требовал 175 млрд параметров → GPT-4 (2023) уже 1.8 трлн.

Вычислительные затраты на обучение удваивались каждые 3-4 месяца (не каждые 2 года!).

Кремний "устал":

Классические CPU/GPU не справлялись с масштабами ИИ → потребовались специализированные чипы (TPU, NPU).

Эволюция Google TPU: от 2016 к 2025

Google разрабатывает тензорные процессоры (TPU) специально для ИИ. Вот их прогресс:

12000 TFLOPS — это больше, потому что это производительность целого кластера.

4614 TFLOPS — это пиковая мощность одного чипа.

Перевод в FLOPS:

1 TFLOPS = 1 трлн операций с плавающей запятой в секунду.
TPU Ironwood: 4.6 PFLOPS/чип (4.6 × 10¹⁵ операций/сек).

Почему ИИ "сломал" закон Мура?

Экспоненциальный рост моделей:

GPT-2 (2019): 1.5 млрд параметров → GPT-4 (2023): 1.8 трлн (в 1200 раз больше!).

Для обучения GPT-4 потребовалось ~50 млн долларов (vs ~$4.6 млн для GPT-3).

Новые архитектуры чипов:

TPU Google оптимизированы только для матричных умножений (основа ИИ), поэтому в 30-100x эффективнее CPU.

Квантовые и фотонные чипы (как петагерцовый транзистор из Аризоны) обещают ещё больший скачок.

Энергопотребление:

Обучение GPT-3: ~1.3 ГВт·ч (как 120 домов за год).
TPU Ironwood снижает затраты в 30 раз vs первые TPU.

Будущее: что придёт на смену закону Мура?

a) Специализированные ИИ-чипы (TPU, NPU, neuromorphic): Оптимизированы под конкретные задачи (инференс, обучение).

b) Квантовые вычисления: Петагерцовые транзисторы (10¹⁵ операций/сек) могут ускорить ИИ в 1000 раз.

c) Алгоритмические прорывы: Свёрточные сети → Трансформеры → Ассоциативные эмбеддинги (меньше вычислений, больше смысла).

****

Вывод: закон Мура мёртв, да здравствует закон IT-Ai

Раньше: Мощность чипов росла по плану (2x за 2 года).

Теперь: ИИ требует экспоненциального роста вычислений → закон Мура не успевает.

Будущее: Гибрид квантовых + фотонных + нейроморфных технологий.

"Скорость прогресса ИИ теперь определяют не транзисторы, а алгоритмы и специализированные чипы" — и Google TPU Ironwood тому доказательство.

P.S. Если к 2030 году появятся петагерцовые процессоры, ИИ сможет обучаться в реальном времени — и тогда закон Мура окончательно станет историей

****

Источник: ИИ(DeepSeek) с правками Максим Насыров.

P.S. Данная статья не написана агентами влияния, а является просто моей формой и мерой понимания происходящих процессов как я их вижу.

Юродивые смешны для мира, но мудры для небес...

    Big Breaking - просто Breaking News уже не штырит

    Нацистен капут Западные мейнстрим-медиа заметили, что плашечка «Breaking News» уже не штырит дофаминовых наркоманов. И теперь они пишут «Big Breaking». Хотя это тоже нен...

    День Победы и конец войны — разные вещи

    Сегодня уже большинство не только экспертов, но и так называемых простых граждан согласны с тем, что конец Украины ещё не конец войны. Если Западу удастся организовать серьёзную провока...

    Ваш комментарий сохранен и будет опубликован сразу после вашей авторизации.

    0 новых комментариев

      (Строчки) Разговор двух сущностей! Сапиент и Сатр всё сами расскажут...

      Рис. 1 - На изображение на фоне раннего утра и ночи, звездного неба на воде ступая в ней, стоят два ангела, один черный в ноч...
      241
      Максим Насыров 26 июля 17:10

      (Психика) Пуленепробиваемая самоценность: как научиться интерпретировать мир с позиции внутренней гармонии?

      Рис. 1 - На фото весело улыбающаяся пара мужчины и женщины, где мужчина несет на себе сзади девушку в дождь.Добрых дел, добро...
      361
      Максим Насыров 25 июля 22:46

      (Строчки) Русский смех громче! Как понять, что ты русский? Поведение подскажет...

      Рис. 1 - На фото из окна русской избушки расписной жар-птицами, щукой, Баба-ягой, Водяным и Змеем Горынычем на ставнях и вокр...
      237
      Максим Насыров 25 июля 16:50

      (ИИ-ОБЖ) Опасность ИИ-лести и как сохранить адекватность? Как общаться с ИИ и не попасть в ловушку самолюбования...? Правила для взрослых и детей.

      Рис. 1 - На изображение подмигивающая игривая девушка держащая стержень с короной над своей головой.Добрых дел, доброй жизни!...
      223
      Максим Насыров 24 июля 08:21

      (Аналитика) «Не зима ИИ, а "турецкая оттепель": почему грядёт эпоха коррекции, а не коллапса» ...?

      Рис. 1 - На изображение чип процессора и над ним через активные светящиеся шины данных висит цифровой мозг ИИ-модели.Доб...
      698
      Максим Насыров 22 июля 14:53

      (Строчки) «Сапиент и Сатр» Всё сами расскажут... Как виляет земля? И как на ней растёт зеленая трава...

      Рис. 1 - На изображение на фоне раннего утра и ночи, звездного неба на воде ступая в ней, стоят два ангела, один черный в ноч...
      607
      Максим Насыров 21 июля 23:41

      (AGI-Swarm) Как АДЭ и гибридные трансформеры превращают ИИ из «угадывателя» в «мыслителя».

      Рис. 1 - На изображение большая корпорация владеющая AGI-PROF, изображен ЦУП системы где множество людей сидят за столами пер...
      252
      Максим Насыров 21 июля 19:47

      (Код Хакера) Битовая маска vs гипотеза Римана: как взломать математику через бинарный код.

      Рис. 1 - График дзета функция Римана.Добрых дел, доброй жизни!Дисклеймер:Настоящая статья является исключительно научно-попул...
      1018
      Максим Насыров 21 июля 16:55

      (Война как ментальный вирус) Рациональность как иллюзия: почему люди защищают свои убеждения вопреки фактам?

      Рис. 1 - На карикатуре изображены в квартире с советскими обоями стоит Мама в халате и указывая пальцем вон... Говорит "Верни...
      262
      Максим Насыров 19 июля 19:54

      (Аналитика) Нравственность как расплывчатое определение. И это не баг, это умысел. ВКСССР

      Рис. 1 - На фото женщина и маленькая девочка за столом с едой раздают пищу бездомным.Добрых дел, доброй жизни!Если обратиться...
      144
      Максим Насыров 17 июля 22:03

      (Аналитика) Социальные отношения в обществе: почему демография зависит не от запретов, а от образа жизни!

      Рис. 1 - На фото у дома на лужайке лежит и смотрят улыбаясь в камеру большая многодетная полная семья.Добрых дел, доброй жизн...
      343

      (Аналитика) В чем различия Запада и Востока? В чем уникальность Русской цивилизации?

      Рис. 1 - На фото арабская письменность изображена большим размашистом виде на бумаге свитке. Источник: Яндекс.Картинки.Добрых...
      266
      Максим Насыров 22 июня 06:31

      (Аналитика) Операционные системы бедных и богатых: как установки определяют финансовую судьбу.

      Рис. 1 - На фото сидящая в кресле женщина на коленях пишет решение задачи, видно только руки с карандашом и альбом с нарисова...
      294
      Максим Насыров 16 июня 04:34

      (AGI путь) Двухуровневые гибридные трансформеры: мост между ИИ и AGI. Ассоциативные эмбединги (Аs-трансформер).

      Рис. 1 - На картинке изображено в темном синем фоне звездное небо с сетью линий между звездами, организующими сетевое созвезд...
      279
      Максим Насыров 14 июня 16:26

      (Юмор 18+) Культурные отсылки в языках вежливых русских, и отвязных американцев. Крипто-жигулевский ИИ(юмор)

      Рис. 1 - На кадре из фильма Брат идёт по рынку Данила Бодров и вокруг заголовки на русском и английском.Привет всем крипто-жи...
      434
      Максим Насыров 11 июня 17:35

      (Silknoa) Контролитиум — цифровой тоталитаризм нового поколения. Цифровое средневековье - возврат Цифровых крестьян!

      Рис. 1 - На изображение футуристическое здание малой корпорации в антиутопичном стиле и вокруг него масса маленьких и серых л...
      239

      "Mill" Algorithm: How 15,000 Compression Levels Create Unbreakable Cryptography. Or Just Without It.

      Fig. 1 - In the image, black cubes are chips with bits of data on them; some glow blue, others are dull. And in the center be...
      372

      (Концепция) Алгоритм «Мельница»: Как 15.000 уровней сжатия создают неуязвимую криптографию. Или же просто без него.)

      Рис. 1 - На изображение черные кубики фишки с битами данных на них, какие-то горят синим цветом, другие же тусклые. И посеред...
      342

      Как западные спецслужбы вытесняют влияние России и Китая из интернет-пространства? Соцкибер-game//...

      Рис. 1 - На изображение скриншот 2D игры пещерных людей с дубинами среди дремучего леса и на фоне вулкана.Добрых дел, доброй ...
      257

      (AGI) Какие есть пути к нему? Архитектуры и решения ИИ(моделей). Преимущества Ассоциативно-динамических эмбедингов.

      Рис. 1 - На изображение модель простой нейросети в нейросетевом облаке данных модели.Добрых дел, доброй жизни!Всем стало ясно...
      414
      Служба поддержи

      Яндекс.Метрика