Компания Forrester опубликовала исследование «The State Of Generative AI, 2024», посвящённое рынку ИИ в 2024 году с оценкой текущего состояния технологии генеративного ИИ c точки зрения спроса и предложения и её развёртывания. Также компания сообщила о грядущих переменах на рынке и указала факторы, которые предприятиям следует учитывать при подготовке к внедрению этой технологии.

Аналитики отметили, что в отношении этой технологии по-прежнему широко распространена путаница и непонимание. И многочисленные объявления о новых партнёрствах, функциях, сервисах и продуктах, связанных с генеративным ИИ, эту путаницу лишь усиливают.

Как сообщается, в сфере разработки больших языковых моделей (LLM) доминируют небольшое количество ведущих технологических компаний, поскольку создание фундаментальных моделей требует значительных инвестиций, многих лет разработки и инфраструктуры стоимостью миллионы долларов. Впрочем, на рынке присутствуют и небольшие компании, но это не повлияет на доминирование крупных игроков, по крайней мере, в ближайшем будущем.

Фото: Possessed Photography / Unsplash

Согласно данным Forrester, более 90 % лиц, принимающих решения в области ИИ по всему миру, планируют внедрить генеративный ИИ для обслуживания клиентов и внутренних запросов. Что касается использования технологии в производстве, то её применение пока ограничено предприятиями высокого уровня.

Компании возлагают большие надежды на технологию, при этом главными целями называются рост производительности, инновации и экономическая эффективность. Однако компаниям необходимо точно определить конечный результат своих инвестиций в генеративный ИИ, что приводит к более осторожному подходу при запуске внутренних сценариев использования с постепенным переходом к клиентским и другим внешним приложениям.

Согласно опросу Forrester, широкому внедрению генеративного ИИ по-прежнему препятствует отсутствие навыков работы с ИИ (30 % респондентов), трудности с интеграцией технологии с существующей инфраструктурой (28 %), а также проблемы безопасности и конфиденциальности данных (28 %). Прежде чем ускорить внедрение генеративного ИИ, многие организации ждут, пока будет принята соответствующая нормативно-правовая база и появится больше ясности в отношении актуальности базовых моделей для их конкретных отраслей.

Изображение: Gerard Siderius / Unsplash

Следует отметить, что технология генеративного ИИ по-прежнему не лишена недостатков, включая предвзятость и галлюцинации. Области, где уже нашли применение возможностям ИИ, включают повышение производительности сотрудников, поддержку клиентов и разработку ПО. Здесь ИИ, в частности, позволяет автоматизировать повторяющиеся задачи для оптимизации рабочих процессов.

Исходя из данных, полученных в ходе исследования, Forester рекомендовала установить руководящие принципы и политику использования собственного ИИ (BYOAI). Поскольку большая часть ИИ, используемого в компаниях, создаётся сторонними поставщиками, необходимо задать стандарты для оценки генеративного ИИ в решениях поставщиков.

Forrester также рекомендует руководителям сосредоточиться на приложениях, которые уже доказали свою эффективность. Кроме того, поскольку технология генеративного ИИ становится всё более сложной, компании должны подготовиться к обновлению своей стратегии ИИ с учётом новых стандартов и ограничений.

Компании ServiceNow, Hugging Face и NVIDIA представили семейство общедоступных больших языковых моделей (LLM) StarCoder2 для генерации кода, призванное помочь разработчикам использовать генеративный ИИ для создания корпоративных приложений.

Семейство было разработано NVIDIA в сотрудничестве с исследовательским проектом BigCode, которым управляет ServiceNow, и Hugging Face, разработчиком открытой LLM-платформы. Модели StarCoder2 обучены 619 языкам программирования и могут быть дообучены на собственных данных и встроены в корпоративные приложения для выполнения специализированных задач, таких как генерация кода, управление рабочими процессами, обобщение текста и многое другое. Разработчики могут использовать автодополнение и обобщение кода, извлечение фрагментов кода и другие возможности.

Источник изображения: Hugging Face

Набор StarCoder2 включает три модели: модель с 3 млрд параметров, обученная ServiceNow; модель с 7 млрд параметров, обученная Hugging Face; и модель с 15 млрд параметров, созданная NVIDIA с помощью NVIDIA NeMo. Варианты моделей с меньшим количеством параметров менее требовательны к вычислительной инфраструктуре, при этом модель StarCoder2 с 3 млрд параметров соответствует производительности исходной модели StarCoder с 15 млрд. параметров

В основе StarCoder2 лежит новый набор данных Stack v2, который более чем в 7 раз больше, чем Stack v1. Кроме того, новые модели обучены работе с малораспространёнными языками вроде COBOL, «понимают» математику и могут обсуждать исходный код программ. Пользователи могут дообучить и настроить модели StarCoder2, используя данные, специфичные для отрасли или организации, с помощью NVIDIA NeMo или Hugging Face TRL. Разработчики смогут создавать продвинутых чат-ботов для решения более сложных задач обобщения или классификации и разрабатывать персонализированных помощников по программированию.

Источник изображения: Hugging Face

Разработка ПО стала основной областью использования ИИ, чему отчасти способствовали такие инструменты как GitHub Copilot и AWS CodeWhisperer, отметил ресурс SiliconANGLE. Согласно недавнему опросу GitHub, 91 % разработчиков в США используют ИИ-инструменты для создания кода. Впрочем, опрос, проведённый CoderPad Inc., показал, что почти четверть разработчиков скептически относятся к ценности ИИ в работе, а 28 % и вовсе заявили, что их работодатель запрещает им пользоваться ИИ-инструментами.

В числе причин негативного отношения — опасения, что ИИ-помощники создают неэффективный или уязвимый код, а также крадут интеллектуальную собственность, генерируя код на основе материалов, защищённых авторским правом, которые использовались при обучении модели. Создатели StarCoder2 подчёркивают, что модели были созданы с использованием данных Software Heritage, крупнейшей, по их словам, общедоступной коллекцию исходных кодов.

В целях дальнейшего повышения прозрачности и сотрудничества вспомогательный код модели будет по-прежнему размещаться на странице проекта BigCode на GitHub. Он доступен по лицензии BigCode OpenRAIL-M, обеспечивающей бесплатный доступ и использование. Все модели StarCoder2 также будут доступны для загрузки с Hugging Face, а модель StarCoder2 с 15 млрд параметров доступна в составе NVIDIA AI Foundation.

Стартап SambaNova Systems представил Samba-1, модель генеративного ИИ с 1 трлн параметров, предназначенную для использования предприятиями. SambaNova описывает новую модель как «объединение экспертных архитектур» (Composition of Experts, CoE), которое включает более 50 открытых моделей генеративного ИИ высочайшего качества, в том числе Llama2 7B/13B/70B, Mistral 7B, DeepSeek Coder 1.3B/6.7B/33B, Falcon 40B, DePlot, CLIP, Llava.

В частности, Llama 2 может генерировать текст, создавать программный код и решать математические задачи. Есть и более специализированные LLM, такие как DePlot от Google, которая может вводить информацию из диаграмм и других визуализаций данных в электронную таблицу. Samba-1 уже используется клиентами и партнёрами SambaNova, включая Accenture и NetApp.

Источник изображений: SambaNova

SambaNova позиционирует Samba-1 как первую модель с 1 трлн параметров для предприятий с регулируемой деятельностью, которая является приватной, безопасной и на порядок более эффективной, чем любая другая модель такого размера. Заказчик может установить контроль доступа к данным для отдельных пользователей. Желающие могут ознакомиться с работой модели.

По словам главы SambaNova, Samba-1 оптимизирована для работы с чипом SN40L, выпущенным стартапом прошлой осенью. «Samba-1 способна конкурировать с GPT-4, но она лучше подходит для предприятий, поскольку её можно развернуть как локально, так и в частном облаке, чтобы клиенты могли точно настроить модель с использованием своих личных данных, не отдавая их в открытый доступ», — добавил он.

SambaNova утверждает, что инференс этой модели обходится в десять раз дешевле, чем для конкурирующих LLM. Получив запрос, Samba-1 решает, какая из её внутренних моделей лучше всего приспособлена для его обработки, и поручает ей сгенерировать ответ. То есть активируется только одна из относительно небольших моделей, тогда как традиционные монолитные LLM требуют активации целиком.

Стартап SambaNova привлёк около $1 млрд инвестиций от ряда компаний, включая Intel Capital и GV (инвестиционное подразделение Alphabet Inc). По итогам раунда финансирования в начале 2021 года рыночная стоимость стартапа оценивается в более чем $5 млрд.

Корпорация Microsoft объявила о заключении многолетнего партнёрского соглашения с французской компанией Mistral AI, которая специализируется на технологиях ИИ и разработке больших языковых моделей (LLM). В рамках договора Microsoft приобретёт небольшую долю в этом стартапе, оцениваемом приблизительно в €2 млрд.

Сообщается, что Mistral AI сделает свои LLM доступными через облачную инфраструктуру Microsoft Azure. Речь, в частности, идёт о новой модели общего назначения Mistral Large. Она поддерживает французский, немецкий, испанский, итальянский и английский языки.

Стороны намерены сотрудничать по трём ключевым направлениям. Одно из них — использование суперкомпьютерной инфраструктуры: Microsoft будет поддерживать Mistral AI с помощью платформы Azure AI, которая, как утверждается, обеспечивает «лучшую в своём классе производительность и масштабируемость» для обучения ИИ и задач инференса. Вторым направлением является вывод моделей Mistral AI на коммерческий рынок: доступ к LLM будет предоставляться по схеме MaaS (модель как услуга) на базе Azure AI Studio и Azure Machine Learning. Кроме того, Microsoft и Mistral AI намерены вести совместные исследования и разработки в области ИИ.

Источник изображения: pixabay.com

«Мы очень рады начать партнёрские отношения с Microsoft. Благодаря передовой ИИ-инфраструктуре Azure мы достигнем новой вехи в развитии бизнеса и продвижении передовых решений», — сказал Артур Менш (Arthur Mensch), генеральный директор Mistral AI.

Microsoft, которая вкладывает миллиарды долларов в компанию OpenAI, разработчика ИИ-бота ChatGPT, намерена инвестировать в Mistral AI около €15 млн. Это соглашение уже привлекло внимание со стороны Европейской комиссии. Антимонопольный регулятор ЕС хочет проверить условия сделки и оценивать её возможное влияние на рынок.

Стартап Groq сообщил о значительных достижениях в области инференса с использованием ускорителя LPU, разработанного для запуска больших языковых моделей (LLM), таких как GPT, Llama и Mistral. Groq LPU имеет один массивно-параллельный тензорный процессор TSP, который обеспечивает производительность до 750 TOPS INT8 и до 188 Тфлопс FP16. LPU Groq оснащён локальной SRAM объемом 230 Мбайт с пропускной способностью 80 Тбайт/с.

Как сообщает компания, при запуске модели Mixtral 8x7B ускоритель LPU обеспечил скорость инференса 480 токенов в секунду, что является одним из ведущих показателей инференса в отрасли. В таких моделях, как Llama 2 70B с длиной контекста 4096 токенов, Groq может обеспечить скорость инференса 300 токенов/с, тогда как в меньшей модели Llama 2 7B с 2048 токенами контекста скорость инференса составляет 750 токенов/с.

Изображение: Groq

Согласно рейтингу бенчмарка LLMPerf, LPU Groq превосходит результаты систем облачных провайдеров на базе традиционных ИИ-ускорителей в деле запуска LLM Llama в конфигурациях от 7 до 70 млрд параметров. Groq лидирует по скорости инференса и занимает второе место по показателю задержки.

Источник: The Ray Team

Для сравнения, бесплатный чат-бот ChatGPT на базе GPT-3.5 обеспечивает обработку около 40 токенов/с. Текущие LLM с открытым исходным кодом, такие как Mixtral 8x7B, могут превосходить GPT 3.5 в большинстве тестов, и теперь могут работать со скоростью почти 500 токенов/с.

Источник: The Ray Team

Опубликованные данные наглядно подтверждают, что предлагаемый Groq ускоритель LPU Groq значительно превосходит системы для инференса, предлагаемые NVIDIA, AMD и Intel, говорит компания. Groq не раскрывает имена своих заказчиков, но в настоящее время её ИИ-решения используются, например, Аргоннской национальной лабораторией Министерства энергетики США.

Компания Nokia объявила о выходе телекоммуникационного ассистента на базе генеративного ИИ Telco GenAI, который будет интегрирован с облачным SaaS-решением для сетевой безопасности NetGuard Cybersecurity Dome, чтобы предоставить поставщикам услуг связи (CSP) и предприятиям возможность более быстрого и качественного обнаружения и разрешения проблем в условиях, когда киберпреступники всё чаще используют генеративный ИИ для более сложных атак на критическую инфраструктуру.

NetGuard Cybersecurity Dome — это XDR-платформа Nokia, которая обеспечивает защиту сетей с помощью ИИ и машинного обучения. Nokia Telco GenAI будет интегрирован в платформу уже во II квартале. Он позволит ещё больше расширить возможности Cybersecurity Dome, быстро объединяя и интерпретируя огромные объёмы информации, связанной с киберугрозами, тем самым повышая эффективность функционирования Cybersecurity Dome при их выявлении и устранении.

Источник изображения: Nokia

Nokia Telco GenAI использует сервис Microsoft Azure OpenAI для работы с большими языковыми моделями (LLM), которые были обучены на данных об архитектуре сетей 5G, методах обеспечения их безопасности и на опыте Nokia в сфере телекоммуникаций. Комплексное обучение предусматривало использование различных категорий информации, включая спецификации 3GPP и NIST, топологию 5G, охватывающую RAN, транспорт и ядро, а также MITRE ATT&CK и FiGHT (иерархия угроз).

По оценкам Nokia, Telco GenAI позволит почти вдвое ускорить выявление и устранение угроз. Также предполагается существенное сокращение ложноположительных результатов и более эффективное и действенное выявление и обработку инцидентов кибербезопасности. По словам старшего вице-президента Nokia, интеграция NetGuard Cybersecurity Dome с новым ассистентом на базе генеративного ИИ обеспечит поставщикам услуг связи и предприятиям значительно большую гибкость в уменьшении последствий разрушительных атак.

Компания MTS AI, дочерняя структура МТС, разработала большую языковую модель (LLM) MTS AI Chat. Она, как утверждается, позволяет решать широкий спектр задач — от генерации и редактирования текстов до суммирования и анализа информации.

Новая LLM ориентирована на корпоративный сектор. Среди сфер применения называются подбор персонала, маркетинг, обслуживание клиентов, подготовка финансовой документации и проверка отчётности, генерация обучающих материалов и пр. На базе MTS AI Chat могут создаваться внутренние системы поиска, чат-боты для ответов на вопросы, рекомендательные сервисы и пр.

Источник изображения: pixabay.com

Как отмечает «Коммерсантъ», ссылаясь на информацию, полученную от МТС, в текущем виде LLM поддерживает только текстовые запросы, но компания работает над версией, которая сможет распознавать изображения и видеоматериалы. Кроме того, готовится сервис генерации и автодополнения программного кода.

Участники рынка полагают, что при обучении модели MTS AI могла использовать обезличенные данные, которые собирают другие подразделения группы. В настоящее время LLM предлагается для развёртывания на оборудовании заказчика, но в перспективе ожидается выход публичной редакции. Пользователи смогут применять модель для составления должностных инструкций, извлечения информации из документов, формирования выжимок телефонных разговоров и пр.

Нужно отметить, что собственные LLM создают и другие российские компании. Так, системный IT-интегратор «Норбит» недавно анонсировал модель Norbit GPT, также ориентированную на корпоративных клиентов. Она предназначена для генерации текстов, обобщения информации, обработки и анализа данных, а также для подготовки ответов на обращения пользователей в службу поддержки.

Системный IT-интегратор «Норбит», входящий в группу «Ланит», сообщил о разработке собственной большой языковой модели (LLM), получившей название Norbit GPT. Решение, ориентированное на корпоративных пользователей, может быть развёрнуто как в облаке, так и в локальной инфраструктуре заказчика.

Утверждается, что Norbit GPT позволяет компаниям быстро внедрять средства генеративного ИИ в свои бизнес-процессы. Использование таких инструментов может помочь повысить производительность, снизить издержки и получить конкурентные преимущества.

Модель дообучена на большом массиве русскоязычных данных. При этом её можно кастомизировать под специфику и задачи клиента, используя корпоративные массивы информации — например, регламенты, библиотеки, сервисные обращения и др. Возможность развёртывания on-premise минимизирует риски утечки персональной и конфиденциальной информации. С помощью API модель можно интегрировать с информационными системами компании.

Изображение: KOMMERS / Unsplash

Norbit GPT подходит для генерации текстов, обобщения информации, обработки и анализа данных, а также для подготовки ответов на обращения пользователей в службу поддержки или запросов в базу знаний компании. Таким образом, можно автоматизировать процесс выполнения рутинных задач, что поможет снизить нагрузку на сотрудников и повысить эффективность бизнес-процессов. В частности, LLM может оказывать помощь в подготовке маркетинговых материалов, написании писем, разработке программного кода, проверке документов, классификации резюме и пр.

«GPT-технологии кардинально меняют бизнес, модифицируют подходы к созданию контента, управлению и решению рутинных задач. Если в ваших бизнес-процессах есть направления, в которых задействованы большие объёмы текстовых данных, мы можем предложить пилотный проект автоматизации на основе Norbit GPT и варианты его интеграции в корпоративную информационную инфраструктуру», — говорит «Норбит».

Компания Nokia анонсировала специализированный набор инструментов MX Workmate, который позволяет работникам промышленных предприятий «общаться» с машинами. В основу решения положены технологии генеративного ИИ и большая языковая модель (LLM).

Отмечается, что организации по всему миру сталкиваются с нехваткой квалифицированной рабочей силы. Исследование, проведённое консалтинговой фирмой Korn Ferry, говорит о том, что к 2030 году дефицит технических специалистов в глобальном масштабе может достичь 85 млн человек. Это эквивалентно $8,5 трлн потенциальных потерянных доходов. Внедрение ИИ-инструментов может частично облегчить кадровую проблему.

Фото: CHUTTERSNAP / Unsplash

ИИ-помощник MX Workmate использует машинные данные для генерации сообщений на естественном языке. Это облегчает взаимодействие сотрудников предприятий с различным оборудованием, а также повышает эффективность работы и безопасность. В частности, MX Workmate позволяет работникам в режиме реального времени получать понятную информацию о состоянии производства, объемах и качестве выпускаемой продукции и пр. Кроме того, система выдаёт рекомендации по улучшению показателей. Используя Nokia Team Comms, сотрудники смогут задавать вопросы помощнику.

Быстро анализируя поступающую информацию, ИИ-инструмент может выдавать ранние предупреждения о возможных неисправностях или грядущих поломках. Это упростит профилактическое обслуживание и поможет избежать серьёзных сбоев оборудования, минимизировав тем самым время простоя. Благодаря непрерывной оценке рисков MX Workmate может оперативно генерировать инструкции для работников в случае возникновения чрезвычайной ситуации: таким образом, сотрудники предприятий смогут действовать максимально безопасно.

В целом, как утверждается, Nokia MX Workmate — это первое решение на основе генеративного ИИ, разработанное специально для производственных площадок. Помощник обеспечивает контекстно-зависимый обмен информацией в режиме реального времени между работниками и сложными системами безопасным способом с использованием естественного человеческого языка.

Венчурная компания Menlo Ventures опубликовала результаты исследования «Состояние генеративного ИИ на предприятиях». Чтобы получить представление о текущем уровне внедрения генеративного ИИ в корпоративном сегменте, исследователи опросили более 450 руководителей предприятий в США и Европе. Несмотря на шумиху вокруг данной технологи, исследование показало, что корпоративные инвестиции в генеративный ИИ по-прежнему малы по сравнению с другими категориями ПО.

По оценкам Menlo Ventures, инвестиции предприятий в генеративный ИИ в 2023 году составят $2,5 млрд, что гораздо меньше расходов предприятий на традиционный ИИ ($70 млрд) и облачное ПО ($400 млрд). Следует отметить, что ИИ не является чем-то новым для предприятий, которые использовали традиционные технологии ИИ (компьютерное зрение, глубокое обучение и т. д.) задолго до появления генеративного ИИ.

Источник изображений: Menlo Ventures

Половина участников опроса до 2023 года внедрила ту или иную форму ИИ, например, в продукты для клиентов или в системы внутренней автоматизации. Но запуск ChatGPT стал поворотным моментом: стратегия развития ИИ внезапно стала горячей темой среди руководителей, а принятие технологии возросло. Исследование показало, что после пяти лет застоя:

• Количество предприятий, использующих ту или иную форму ИИ, выросло на 7 % (с 48 % в 2022 году до 55 % в 2023 году).
• За тот же период расходы на ИИ внутри предприятий выросли в среднем на 8 %, тогда как общие расходы предприятий выросли всего на 5 %.

Инвестиции в генеративный ИИ способствовали увеличению расходов на ИИ вообще. При это 80 % респондентов сообщили о покупке стороннего ПО для генеративного ИИ вместо попыток самостоятельно создать такие решения. Говоря об опыте внедрения новых революционных технологий, аналитики отметили, что за первое десятилетие своего существования облако достигло 30 % расходов на корпоративное ПО; уровень проникновения интернета за тот же период достиг 45 %, а мобильной связи — 80 %.

В 2023 году предприятия потратили около $2,5 млрд на генеративный ИИ, что способствовало развитию таких инструментов, как GitHub Copilot и Hugging Face (оба заработали десятки миллионов долларов). Но рынок всё ещё находится в зачаточном состоянии и корпоративные инвестиции в генеративный ИИ по-прежнему составляют менее 1 % всех расходов на облако. Что важно, популярность генеративного ИИ также стимулировала спрос на классические платформы для работы с данными, такие как Dataiku и Databricks.

В настоящее время больше всего средств на генеративный ИИ тратят продуктовые и инженерные отделы. Причём они тратят больше (4,7 % всех расходов на технологии), чем все остальные отделы вместе взятые (3,5 %). При создании собственных систем ИИ предприятия вкладывают значительные средства в персонал и технологии, поручая традиционным разработчикам и специалистам по обработке данных создавать внутреннюю инфраструктуру, а некоторые нанимают дополнительных специалистов (ML-инженеров, исследователей и т. д.). Предприятия также вкладывают значительные средства в сторонние решения, составляющие основу современного стека ИИ.

Как ожидают исследователи, по мере того как решения будут развиваться и приносить большую ценность, инвестиции в генеративный ИИ будут увеличиваться во всех подразделениях компаний. Тем не менее, согласно прогнозу Menlo Ventures, несмотря на ажиотаж, внедрение генеративного ИИ на предприятиях будет носить умеренный характер, как и раннее внедрение облачных технологий. Многие стартапы первой волны все еще пытаются дифференцироваться, что затрудняет завоевание позиций на рынке.

Menlo Ventures прогнозирует, что рынок продолжит отдавать предпочтение игрокам, которые внедряют ИИ в существующие продукты. В борьбе за долю рынка генеративного ИИ существующие игроки быстро перешли к «стратегии встроенного ИИ». Исследователи ожидают, что их существующее преимущество сохранится в течение следующих нескольких лет, пока не станут преобладать новые и более мощные подходы вроде автономных агентов и многоэтапного размышления. Кроме того, Menlo Ventures полагает, что мощные контекстно-зависимые рабочие процессы с большим объёмом данных станут ключом к внедрению генеративного ИИ на предприятии.

Аналитики Menlo Ventures определили три области, которые имеют огромный потенциал для развития стартапов:

• Вертикальный ИИ. В отраслевых приложениях ИИ позволит переосмыслить взаимодействие человека и машины, став движущей силой сквозной автоматизации, а не просто «вторым пилотом» или платформой для совместной работы.
• Горизонтальный ИИ. Горизонтальные решения популярны, поскольку их можно использовать в разных отраслях и подразделениях, повышая эффективность рабочих процессов. ИИ всё более развивает способности рассуждать, сотрудничать, общаться, обучаться и прогнозировать, так что инструменты следующего поколения не только позволят машинам дополнять или автоматизировать рутинные задачи, но и взять на себя работу, которую раньше могли выполнять только люди.
• Современный стек ИИ. Новые возможности требуют новых инструментов для создания приложений LLM, включая базы данных, обслуживающую инфраструктуру, оркестрацию данных и процессов. Хотя современный стек ИИ всё ещё развивается, он привлекает большую долю корпоративных инвестиций, что делает его крупнейшим сегментом в области генеративного ИИ.