Недавний отчёт аналитической компании SemiAnalysis проливает свет на истинные затраты, связанные с разработкой китайской языковой модели DeepSeek, опровергая ранее заявленные цифры. Первоначально сообщалось, что обучение модели обошлось всего в 5–6 миллионов долларов, что значительно ниже расходов западных технологических гигантов. Однако, согласно данным SemiAnalysis, реальные затраты DeepSeek значительно выше.
По оценкам, DeepSeek и связанный с ней китайский хедж-фонд High-Flyer инвестировали более 500 миллионов долларов в оборудование, включая около 10 000 графических процессоров Nvidia H800 и 10 000 более мощных чипов H100. Кроме того, компания разместила заказы на ускорители H20, специально разработанные для китайского рынка.
Общие капитальные вложения оцениваются примерно в 1,6 миллиарда долларов, а эксплуатационные расходы — около 944 миллионов долларов. Таким образом, суммарные затраты на разработку и поддержку модели могут достигать 2,5 миллиарда долларов, что примерно в 400 раз превышает первоначально заявленные суммы.
DeepSeek была создана в мае 2023 года как дочерняя компания High-Flyer с целью дальнейшего развития ИИ-технологий. Компания активно привлекает таланты из ведущих китайских университетов, предлагая конкурентоспособные зарплаты, превышающие 1,3 миллиона долларов США для перспективных кандидатов. Штат компании насчитывает около 150 сотрудников и продолжает расти.
DeepSeek достигла значительных успехов в области архитектурных инноваций, включая внедрение Multi-Token Prediction (MTP) и модели Mixture-of-Experts (MoE). Эти подходы позволяют улучшить производительность модели и снизить затраты на обучение. Однако разработка таких инноваций требует значительных инвестиций в исследования и разработки, а также в вычислительные ресурсы.
Анализ SemiAnalysis показывает, что ранее заявленные низкие затраты на обучение модели DeepSeek не отражают полной картины расходов. Реальные затраты на разработку и поддержку модели значительно выше, что свидетельствует о том, что создание передовых языковых моделей по-прежнему требует значительных финансовых и технических ресурсов.
Оценили 8 человек
9 кармы