DeepSeek's 1,6 млрд долларов. Разработка: разоблачение мифа о доступности

Новый чат -бот DeepSeek может похвастаться удивительной возможностью: отвечать практически на любой вопрос. Этот ИИ, продукт китайского стартапа, быстро стал основным игроком на рынке, даже вызывая значительные падения цен на акции Nvidia.

Успех DeepSeek проистекает из его инновационной архитектуры и методов обучения. Ключевые технологии включают:

• Multi-Token Prediction (MTP): вместо прогнозирования слов индивидуально, MTP прогнозирует несколько слов одновременно, повышая точность и эффективность.
• Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей, ускорение обучения и повышения производительности. DeepSeek V3 использует 256 сети, активируя восемь для каждого токена.
• Многопользовательское скрытое внимание (MLA): MLA фокусируется на важных частях предложения, неоднократно извлекая ключевые детали, чтобы минимизировать потерю информации и захватить нюансированное значение.

DeepSeek первоначально потребовал удивительно низкую стоимость обучения в 6 миллионов долларов за свою мощную модель Deepseek V3, используя только 2048 графических процессоров.

Тем не менее, полуанализ выявил использование Deepseek примерно 50 000 графических процессоров Nvidia Hopper, включая 10 000 H800, 10 000 H100 и дополнительных единиц H20, - в течение нескольких центров обработки данных. Это составляет общие инвестиции в сервер в размере примерно 1,6 млрд. Долл. США, а эксплуатационные расходы примерно в 944 млн. Долл. США.

DeepSeek, дочерняя компания Хедж-фонда с высоким содержанием флайта, владеет своими центрами обработки данных, обеспечивая контроль над оптимизацией и более быстрыми инновациями. Его самофинансируемый статус повышает гибкость. Кроме того, Deepseek привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в основном из китайских университетов.

Первоначальная претензия DeepSeek в 6 миллионов долларов вводит в заблуждение; Он охватывает только предварительное использование графических процессоров, исключение исследований, уточнения, обработки данных и инфраструктуры. Общее количество инвестиций в развитие искусственного интеллекта компании превышает 500 миллионов долларов. Однако его бережливая структура обеспечивает эффективные инновации по сравнению с более крупными, более бюрократическими компаниями.

Успех DeepSeek подчеркивает потенциал хорошо финансируемых независимых компаний по искусственному ИИ, чтобы конкурировать с отраслевыми гигантами. В то время как его «революционный бюджет» преувеличен, его успех неоспорим, в результате значительных инвестиций, технологических прорывов и сильной команды. Разница в стоимости составляет Stark: модель Diepseek R1 стоила 5 миллионов долларов на обучение по сравнению с CatGPT4 на 100 миллионов долларов. Тем не менее, это все еще дешевле, чем его конкуренты.