Развёртывание LLM в контуре заказчика инференс на вашем оборудовании — с документацией и поддержкой на русском
Разворачиваем открытые языковые модели внутри вашей инфраструктуры. Запросы не уходят во внешние сервисы, веса моделей и логи остаются у вас. Передаём схемы, протоколы испытаний и руководство по эксплуатации.
Когда внешний API перестаёт подходить
Если ни одна из ситуаций ниже не про вас, локальное развёртывание, скорее всего, не нужно — об этом написано в разделе «Когда контур не нужен».
В запросах есть персональные данные
Обращение клиента, резюме, медицинская запись, переписка — всё это персональные данные. Отправляя их во внешний сервис, вы передаёте данные за рубеж.
Внутренние правила запрещают внешние сервисы
Политика информационной безопасности, требования к критической инфраструктуре, отраслевые регламенты. Часто запрет сформулирован прямо: данные не могут покидать контур.
Слишком высока зависимость от поставщика
Ключ отозван, цена изменена, сервис недоступен в вашем регионе — и ваша функция останавливается вместе с ним. Это риск не технический, а коммерческий.
Объём и задержка перестали устраивать
Тысячи запросов в сутки, жёсткое требование по времени ответа, работа в изолированной сети без доступа в интернет.
Что остаётся у вас после проекта
Проект считается сданным не тогда, когда модель ответила на демонстрации, а тогда, когда ваша команда может её эксплуатировать без нас. Поэтому в перечень входят документы, а не только доступы.
Этапы и результат каждого
Обследование
Разбираем сценарий: какие запросы, кто ими пользуется, какой объём в сутки и в пик, что считается правильным ответом. Смотрим, что уже есть из оборудования.
Схема и план работ
Фиксируем схему развёртывания и план с контрольными точками. На этом этапе ещё можно отказаться — и это нормально: лучше до договора, чем после.
Развёртывание и пилот
Ставим и настраиваем инференс, прогоняем ваши сценарии, снимаем метрики под нагрузкой. Если качество не дотягивает до критериев — меняем модель или подход.
Передача в эксплуатацию
Передаём документацию, обучаем команду, согласуем регламент сопровождения.
Что нужно от вас для точной оценки
Достаточно ответить на эти пункты — остальное выясним на обследовании.
Когда мы отговорим от проекта
Локальное развёртывание — не универсально лучшее решение. Оно дороже на старте и требует обслуживания. Это выясняется на обследовании, до договора.
- Меньше сотни запросов в день и нет персональных данных. Внешний API обойдётся дешевле, чем узел, который простаивает 23 часа в сутки.
- Нужна самая крупная закрытая модель, а не открытая. Открытые модели нельзя развернуть локально в том же виде — если качество держится именно на закрытой модели, локальная замена такого качества не даст.
- Нет ни одного GPU и нет бюджета на оборудование. Тогда сначала выделенные мощности по абонементу или по часам — так вы проверите сценарий, не покупая железо.
Что спрашивают про локальный инференс
Какие модели можно развернуть?
Открытые модели с открытыми весами, которые допускают размещение на инфраструктуре заказчика. Перечень подбираем под задачу и требования к качеству. Используется интерфейс, совместимый со стандартом OpenAI, — модель можно заменить, не переписывая приложение.
Сколько нужно видеопамяти и какие ускорители?
Зависит от модели, длины контекста и числа одновременных запросов. Точную конфигурацию считаем на обследовании: занизить её — получить нерабочую систему, завысить — заставить вас платить за простой. До обследования конкретные цифры не называем намеренно.
Можно ли развернуть на оборудовании, которое уже есть?
Да. Если у вас есть GPU-узлы, разворачиваем на них — новое оборудование не требуется. Проверяем, хватает ли видеопамяти и пропускной способности под целевую модель, и предлагаем варианты: квантование, смена модели или добор ёмкости только под пик.
Нужен ли контуру доступ в интернет?
После установки — нет. Модель работает автономно, запросы не уходят наружу. Обновления модели и патчи передаются по согласованному регламенту, в том числе на офлайн-носителях, если внешняя сеть запрещена.
Что происходит, когда модель начинает отвечать хуже?
Это штатная ситуация, а не авария: меняется поток запросов или данные расходятся с обучающим распределением. В руководстве по эксплуатации описаны точки мониторинга, а в сопровождении — порядок действий: прогон контрольного набора, сверка метрик, решение о дообучении или замене модели.
Кто отвечает за инциденты после запуска?
Ответственный за инциденты — ваша эксплуатационная служба, потому что система стоит в вашем контуре. Наша роль — вторая линия: регламент обращений, сроки реакции и порядок эскалации фиксируются в договоре сопровождения. Мы не оставляем систему без описания того, что делать при отказе.
Можно ли начать с пилота и не покупать оборудование?
Да. Пилот можно провести на выделенных мощностях, а решение о закупке принять по протоколу испытаний. Это дороже на этапе пилота, но дешевле, чем купить неподходящее железо.
Опишите сценарий — вернёмся с оценкой
Напишите, что должна делать модель, какие данные в запросах и какой объём ожидаете. Ответим оценкой применимости формата и планом работ. Если задача не подходит под локальное развёртывание, сообщим об этом в ответе.
batony@agent.qq.com