Компания IBM представила серию больших языковых моделей (LLM) Granite в рамках ИИ-платформы watsonx. Как сообщает IBM, это не единственное пополнение watsonx — добавятся инструменты, упрощающие создание датасетов для обучения LLM, а также ПО, упрощающее адаптацию нейросетей к новым типам задач.
Представленный в мае watsonx представляет собой набор инструментов, помогающий корпоративным клиентам строить генеративные ИИ-модели, а также выполнять смежные задачи вроде адаптации нейросетей под требования безопасности. Новые модели будут доступны при посредничестве компонента watsonx.ai, который уже имеет готовые шаблоны.
Источник изображения: IBM
Серия Granite включает LLM Granite.13b.instruct и Granite.13b.chat, построенные с помощью 2,4-терабайтного набора данных, подобранного специалистами компании. Модели способны составлять краткие резюме документов, «извлекать информацию» и генерировать тексты. Обе модели имеют по 13 млрд параметров. Благодаря относительной компактности, для запуска любой из них достаточно единственного ускорителя NVIDIA V100, который значительно дешевле A100 и H100. Другими словами, получить собственную нейросеть смогут даже очень небольшие компании.
В IBM сообщают, что готовятся и другие модели, а watsonx.ai, помимо наработок IBM, получит Llama-2 (разработана Meta✴) и нейросеть StarCoder, предназначенную для программистов — её представили в мае ServiceNow и Hugging Face. Также watsonx.ai получил механизм генерации синтетических данных, применяемых для обучения кастомных LLM, и инструмент для адаптации параметров нейросети для того, чтобы учить её выполнять новые задачи без «перетренировки».
Дополнительно стало известно, что IBM расширила возможности компонента watsonx.data для управления датасетами, предназначенными для тренировки ИИ. Сообщается, что инструмент получит новые возможности благодаря добавлению «разговорного» интерфейса. Добавятся и другие функции, например, работа с векторными базами данных.
Источники:
