LLM в продакшене [Михаил Деркунов]

[Организатор]

Ссылка на картинку

Учебно-методическое пособие «LLM в продакшене» представляет собой инженерное руководство по проектированию, развёртыванию и эксплуатации систем на основе больших языковых моделей в корпоративном контуре. В отличие от большинства существующих материалов по теме, пособие не ограничивается демонстрацией возможностей моделей, а последовательно разбирает весь путь от архитектурного решения до инцидент-менеджмента в продакшене.

Издание охватывает пять взаимосвязанных областей: анатомию AI-бэкенда и управление вероятностной природой LLM; построение RAG-систем с учётом специфики русского языка - морфологии, токенизации кириллицы, отечественных моделей эмбеддингов; локальный инференс на собственном оборудовании - от расчёта видеопамяти до квантования и сервинга; высоконагруженную эксплуатацию - кэширование, стриминг, метрики LLMOps, трассировку; и enterprise-безопасность - prompt injection, DLP, комплаенс 152-ФЗ, RBAC в векторном поиске.

Кол-во страниц: 143 стр.
Формат: электроннй pdf

Смотреть далее...

Показать больше