Дата обзора: 31 января 2025

20 января китайский стартап DeepSeek-AI представил свою языковую модель DeepSeek-R1. Компания была основана в июле 2023 года Лян Вэньфэном, выпускником Чжэцзянского университета, одного из ведущих университетов Китая. Стартап принадлежит китайскому хедж-фонду High-Flyer (Вэньфэн входит в число его сооснователей). Эта же компания выступает единственным инвестором DeepSeek.

Первая модель была представлена в ноябре 2023 года и предназначен для решения задач, связанных с написанием программного кода. Стоимость доступа к ней, равно как и ко всем последующим релизам, была низкой. Релиз универсальной языковой модели DeepSeek V3 состоялся в конце декабря 2024 года.

Спустя месяц вышла последняя DeepSeek-R1, созданная на основе «обучения с подкреплением» (в рамках этого метода систему поощряют или наказывают за результат выполнения задачи, обычно организовано как соревнование двух или нескольких моделей, выполняющих задание и оценивающих результат). R1 предназначена для задач, в которых требуются логические рассуждения, поэтому она должна лучше справляться с вопросами, касающимися математики. Рост популярности R1 пришелся на 25-26 января, когда о ней начали писать западные СМИ.

В чем уникальность модели?

• В технической документации, доступной на GitHub, говорится, что обучение V3 заняло всего два месяца, затраты составили около 5,6 млн долл. (против расходов в 100 млн долл. для обучения GPT-4 OpenAI) и в 20–30 раз меньше вычислительных мощностей, чем для запуска ChatGPT и Claude от Anthropic.
• Разработчикам DeepSeek почти в 11 раз удалось сократить количество вычислительных ресурсов на обучение базовой модели V3. Для обучения последней модели DeepSeek потребовалась одна десятая вычислительной мощности сопоставимой модели Llama 3.1 от Meta, согласно исследовательскому институту Epoch AI.
• В вычислениях модели используют числовые типы с плавающей запятой пониженной точности: 16- и 8-битных. Теоретически это позволяет снизить требования по использованию памяти в вычислениях. Сотрудники Nvidia предлагали использовать такой подход и разрабатывали алгоритмы на его основе еще в 2022 году.
• В модели используется одновременное предсказание не одного, а нескольких следующих токенов, что позволяет ускорить и удешевить генерацию текста. Такое изменение в исходной архитектуре трансформера в индустрии обсуждали еще с 2020 года, но его неохотно внедряли в современные модели.
• Технология multi-headed latent attention, позволяющая акцентировать внимание на определенных частях предложения и эффективнее использовать вычислительные ресурсы при обучении.
• У DeepSeek открыт исходный код (open source) и открытые веса (числовые параметры, которые определяют силу влияния входных данных на результат). Это дает возможность компаниям использовать DeepSeek-R1 на своих собственных мощностях и адаптировать под разные бизнес-задачи, что пока что выгодно отличает его от ChatGPT.
• Китайская модель не предполагает подписок или одноразовых покупок — для основной массы пользователей приложение бесплатно.

Что важно учитывать?
1. Некоторые заявления DeepSeek, например, о стоимости обучения модели, невозможно проверить. В действительности затраты могли быть кратно больше.
2. Модель R1 обучалась на наборе данных предыдущей V3. V3, в свою очередь, могла обучаться на общедоступных данных, в том числе сгенерированных чат-ботами OpenAI (в ряде случаев DeepSeek V3 идентифицирует себя как ChatGPT). То есть без OpenAI и, соответственно, огромного объема GPU-ресурсов V3 и DeepSeek-R1 могли бы вовсе не появиться. К тому же Лян, по сообщениям, имел запас в размере 10 тыс. чипов Nvidia A100, которые сейчас запрещены к экспорту в Китай. Не исключено, что на их основе и созданы модели DeepSeek.
3. Китайское происхождение R1 может помешать наращивать популярность в США (учитывая активную борьбу США с китайскими приложениями, в том числе с TikTok). Тем более DeepSeek собирает довольно много информации о пользователе, которые могут направляться и храниться в КНР (чего не скрывают разработчики в пользовательском соглашении).
4. DeepSeek еще не решила проблему галлюцинаций и по общему набору инструментов пока уступает разработкам OpenAI. Например, у R1 нет функции памяти, которая позволяет добавлять контекст, восстанавливая детали прошлых бесед.

В чем основные опасения рынка?

• То, что DeepSeek обучена на базе менее продвинутых и более дешевых чипов в сравнении с OpenAI и Anthropic, поставило под сомнение необходимость в дорогостоящих процессорах и, соответственно, справедливость завышенных оценок американских производителей GPU. Риск падения спроса на графические процессоры спровоцировал падение акций Nvidia (2% в нашем фонде), AMD, Intel и ASML.
• Снижение необходимости в больших вычислительных мощностях потенциально сократит спрос на дата-центры. Из-за этого под давлением оказались и акции разработчиков программного обеспечения и оборудования для дата-центров Broadcom (одна из крупнейших позиций в нашем фонде, 7%), Oracle (2%), Micron Technology (менее 1% в нашем фонде), Arista Networks, Nebius N.V.

Как мы смотрим на перспективы индустрии?
Долгосрочно появление таких моделей, как DeepSeek-R1, окажет сбалансированное влияние на технологическую индустрию.

В ближайшей перспективе полупроводниковые компании и поставщики оборудования и ПО для дата-центров действительно могут столкнуться с откатом интереса инвесторов. В среднесрочной и долгосрочной перспективе опасения рынка могут быть сглажены появлением новых технологий. Ускорение развития и внедрение ИИ, стимулы для дальнейших инноваций из-за усиления конкуренции и появление новых стартапов – для всего этого в любом случае будут необходимы вычислительные мощности (которые будут поставлять именно Nvidia и другие чипмэйкеры).

Бенефициарами появления новых моделей считаем разработчиков корпоративных ПО, которые уже имеют продукты на базе ИИ – Salesforce, Inc. (CRM) ServiceNow, Inc. (NOW), Snowflake Inc. (SNOW), Intuit Inc. (INTU), Autodesk, Inc. (ADSK) и Adobe (ADBE). Компании в этом секторе получат преимущества за счет сокращения затрат на разработку и вычисления, тогда как внедрение и адаптация новых моделей повысит качество ПО. С другой стороны, снижение стоимости обучения ИИ и работы с моделями снизит барьеры для входа на рынок и появлению новых стартапов. Это усилит конкуренцию в индустрии и может подтолкнуть компании к снижению цен, чтобы удержать позиции, что негативно для выручки.

Для Microsoft и Meta Platforms, активно инвестирующих в ИИ, многое будет зависеть от предстоящих корпоративных отчетностей – результаты и комментарии менеджмента дадут большую ясность в части оценки перспектив и пересмотра бизнес-стратегий.