Локальная нейросеть - это языковая или другая модель ИИ, которая работает на вашем компьютере или сервере компании, без обращения к облаку разработчика. Запросы и документы никуда не уходят, оплаты за каждый запрос нет, интернет после скачивания модели не нужен. Платить приходится за железо: для простых моделей хватает игровой видеокарты, для серьезных задач в компании нужен сервер с видеокартами на 48-80 ГБ памяти.
Ниже разберем, чем локальная нейросеть отличается от облачной, какие модели можно запустить, как установить нейросеть на компьютер и развернуть на сервере компании и когда свой сервер обходится дешевле облака. Для расчета в статье есть калькулятор.
Нужна нейросеть в контуре компании
На бесплатной диагностике подберем открытую модель и железо под вашу задачу и требования к данным.
Что такое локальная нейросеть и чем она отличается от облачной
Когда вы пишете в ГигаЧат или Алису, запрос уходит на серверы Сбера или Яндекса, там его обрабатывает модель, и ответ возвращается к вам. Локальная нейросеть устроена иначе: файл модели скачивают один раз, а дальше она работает на вашем железе. Это возможно благодаря открытым моделям, которые разработчики публикуют вместе с весами, то есть с обученными параметрами.
| Облачная нейросеть | Локальная нейросеть | |
|---|---|---|
| Где обрабатываются данные | На серверах разработчика или облака | На вашем компьютере или сервере компании |
| Как платить | За токены или подписку | За железо и электричество, лицензии моделей обычно бесплатные |
| Нужен ли интернет | Да | Только чтобы скачать модель |
| Качество ответов | Самые сильные модели | Зависит от размера модели и железа |
| Кто обслуживает | Провайдер | Вы или подрядчик |
Главная причина выбрать локальный вариант - данные. Для частного пользователя это приватность переписки и файлов. Для компании - требования закона и службы безопасности: персональные данные клиентов и сотрудников, коммерческая тайна, документы, которые нельзя выносить за периметр.
Зачем компании локальная нейросеть
Закон о персональных данных (152-ФЗ) требует хранить персональные данные граждан России в базах на территории России, а службы безопасности часто требуют, чтобы данные вообще не покидали инфраструктуру компании. Локальная модель снимает этот вопрос: договоры, переписка с клиентами и данные из 1С обрабатываются на собственных серверах.
Здесь важно развести два разных требования. «Данные не выходят за периметр» выполняет любая открытая модель на ваших серверах, в том числе китайская или французская. «Модель российской разработки» - отдельное требование, которое встречается у госкомпаний и в регулируемых отраслях. Если оно есть, из открытых моделей подходит GigaChat 3 от Сбера. Вторая причина выбрать свой сервер - объем: при очень большом числе запросов собственное железо обходится дешевле оплаты токенов. Где проходит эта граница, посчитаем ниже.
Какие локальные нейросети можно запустить
Для работы с текстом используют открытые языковые модели. Ниже семейства, которые чаще всего запускают локально, с лицензиями, разрешающими коммерческое использование. Подробная таблица с размерами всех версий есть в обзоре нейросетей для бизнеса.
| Семейство | Разработчик | Лицензия | Что запускать на ПК | Что запускать на сервере |
|---|---|---|---|---|
| GigaChat 3 | Сбер, Россия | MIT | Lightning (10 млрд параметров) | Lightning, Ultra Preview (702 млрд) |
| Qwen3 | Alibaba, Китай | Apache 2.0 | Версии на 4-14 млрд | 32 млрд, 235 млрд |
| Mistral 3 | Mistral AI, Франция | Apache 2.0 | Ministral 3 на 3, 8, 14 млрд | Small 3 (24 млрд), Large 3 |
| DeepSeek-V3 и R1 | DeepSeek, Китай | MIT | Нет, слишком большая | 671 млрд, сервер на 8 GPU |
| GLM-4.5 | Z.ai, Китай | MIT | Нет | Air (106 млрд), основная (355 млрд) |
Для изображений тоже есть открытые модели, например Kandinsky 5.0 от Сбера с открытыми весами. Но им нужна видеокарта с большим объемом памяти, а результат сильно зависит от настройки. Для бизнеса локальная генерация картинок нужна реже, чем работа с текстами и документами.
Лучшие локальные нейросети: что выбрать под задачу
Универсально лучшей локальной модели нет: выбор зависит от задачи, железа и требований к данным. Модель побольше отвечает точнее, но требует дороже сервер и работает медленнее. Поэтому начинают с самой компактной модели, которая справляется с задачей на ваших примерах, и переходят к более крупной, только если качества не хватает.
| Задача | Класс модели | Где запускать |
|---|---|---|
| Черновики писем, пересказ, перевод для себя | До 15 млрд параметров: Ministral 3, Qwen3-8B, GigaChat 3 Lightning | Компьютер с видеокартой на 8-16 ГБ |
| Ответы сотрудникам по базе знаний отдела | 24-35 млрд: Mistral Small 3, Qwen3-32B | Сервер с одной видеокартой на 48-80 ГБ |
| Разбор длинных документов, аналитика | 100-250 млрд: GLM-4.5-Air, Qwen3-235B | Сервер с 2-4 видеокартами по 80 ГБ |
| Обязательна модель российской разработки | GigaChat 3 Lightning или Ultra Preview | Компьютер или сервер, в зависимости от версии |
Сравнивать модели стоит на своих данных: возьмите 30-50 реальных вопросов или документов с известным правильным ответом и прогоните через 2-3 кандидатов. Общие рейтинги моделей в интернете полезны как ориентир, но плохо показывают, как модель справится с вашими договорами или регламентами.
Как запустить локальную нейросеть на компьютере
Для личного использования и экспериментов есть программы, которые скачивают модель и запускают чат в пару кликов. Все три варианта ниже бесплатны и работают без облака.
- Ollama - программа с открытым кодом по лицензии MIT. Модель запускается одной командой, а другие программы могут обращаться к ней по API.
- LM Studio - приложение с привычным окном чата и каталогом моделей. С 8 июля 2025 года бесплатно и для использования на работе.
- llama.cpp - библиотека с открытым кодом по лицензии MIT, на которой построены многие программы. Подходит тем, кто готов работать с командной строкой.
Порядок запуска одинаков для всех программ:
- Установите программу и выберите в каталоге модель подходящего размера.
- Скачайте версию в 4-битном формате: она занимает примерно вдвое меньше памяти, а качество падает незначительно.
- Запустите модель и проверьте ее на своих задачах. Интернет после скачивания не нужен.
Какой компьютер нужен для локальной нейросети
Главное ограничение - память видеокарты. Грубая оценка: в 4-битном формате модель занимает около 0,5 ГБ памяти на каждый миллиард параметров, плюс запас под длину разговора. Модель на 8 млрд параметров займет около 4 ГБ, на 14 млрд - около 7 ГБ. Отсюда ориентир: для моделей на 7-8 млрд параметров нужна видеокарта на 8-12 ГБ, для 14 млрд - на 12-16 ГБ. Без видеокарты модель тоже запустится на процессоре и оперативной памяти, но ответ будет генерироваться в несколько раз медленнее.
Модели такого размера хорошо справляются с пересказом, переводом, черновиками писем и ответами на простые вопросы. Для сложных рассуждений, длинных документов и работы с данными компании их часто недостаточно, и тогда нужен сервер.
Как развернуть локальную нейросеть на сервере компании
Для компании задача другая: модель должна отвечать многим сотрудникам одновременно, работать с документами и системами компании и соответствовать требованиям безопасности. Для этого модель запускают на сервере через движки для промышленной нагрузки, например vLLM с открытым кодом по лицензии Apache 2.0, и подключают к ней интерфейс, базу знаний и права доступа.
| Класс модели | Примеры | Железо (ориентировочно) |
|---|---|---|
| До 15 млрд параметров | GigaChat 3 Lightning, Qwen3-14B, Ministral 3 | 1 GPU с 24-48 ГБ памяти |
| 24-35 млрд | Mistral Small 3, Qwen3-32B | 1 GPU с 48-80 ГБ |
| 100-250 млрд | GLM-4.5-Air, Qwen3-235B | 2-4 GPU по 80 ГБ |
| 350 млрд - 1 трлн | DeepSeek-V3, GLM-4.5, GigaChat 3 Ultra | Сервер на 8 GPU по 80-141 ГБ |
Для большинства компаний реалистичны первые два класса: такие модели работают на одной видеокарте и справляются с ответами по базе знаний, разбором обращений и работой с документами. Внедрение обычно проходит так:
- Выбор задачи и модели. Сравнивают 2-3 модели на реальных документах и вопросах компании.
- Железо. Покупают сервер или арендуют выделенный сервер с видеокартой в российском облаке.
- Развертывание. Модель запускают в контуре компании, настраивают интерфейс для сотрудников или API для других систем.
- Подключение данных. Модель подключают к базе знаний, 1С или документообороту, а права доступа настраивают так же, как у сотрудников.
- Проверка и поддержка. Следят за качеством ответов, обновляют модель и базу знаний.
Дообучать модель для этого чаще всего не нужно: достаточно подключить к ней поиск по документам компании и хорошие инструкции. Когда дообучение все-таки оправдано, мы разобрали в статье про дообучение LLM.
Развернем нейросеть в вашем контуре
На бесплатной диагностике подберем модель и железо под вашу задачу и требования к данным и соберем прототип на ваших документах.
Локальная нейросеть для работы с документами компании
Самый частый сценарий в компаниях - ассистент, который отвечает сотрудникам по внутренним документам: регламентам, договорам, инструкциям, базе знаний. Модель при этом не нужно обучать на всех документах. Документы заранее разбивают на фрагменты и индексируют, а когда сотрудник задает вопрос, система находит подходящие фрагменты и передает их модели вместе с вопросом. Модель формулирует ответ и указывает, из какого документа взяла информацию.
Такой подход работает и в облаке, но в локальном варианте документы, индекс и сама модель остаются на серверах компании. Поэтому он подходит для юридических документов, финансовых данных и персональных данных сотрудников. Права доступа настраивают так же, как в файловом хранилище: ассистент отвечает сотруднику только по тем документам, которые этому сотруднику разрешено видеть.
Сколько стоит локальная нейросеть: свой сервер или облако
Лицензии открытых моделей бесплатные, поэтому основная статья расходов - сервер. Сервер с одной видеокартой A100 80 ГБ в российском облаке стоит от 211,77 рубля в час, это около 152 000 рублей в месяц при круглосуточной работе. Сервер на восемь таких карт - примерно в восемь раз дороже. К этому добавляется работа команды, которая настраивает и обслуживает систему.
Сравним с облаком. За 152 000 рублей в месяц на YandexGPT Pro 5.1 по цене 0,8 рубля за 1 000 токенов можно обработать около 190 млн токенов. Если компания тратит меньше, облако дешевле. Если больше или если данные нельзя передавать наружу, выгоднее свой сервер. Подробнее о том, что такое токены и как их считать, мы рассказали в статье про токены в нейросети. Подставьте в калькулятор свой объем:
Расчет показывает только прямые расходы. На практике решение часто принимают не по цене: если служба безопасности запрещает передавать документы в облако, свой сервер нужен при любом объеме.
Ограничения локальной нейросети
У локального варианта есть цена помимо железа. Открытые модели, которые помещаются на одну видеокарту, уступают самым сильным облачным моделям на сложных задачах: длинных рассуждениях, анализе больших документов, программировании. Модели, сравнимые по качеству с облачными, требуют сервера на несколько видеокарт.
Вторая статья расходов - обслуживание. Кто-то должен обновлять модель и программы, следить за нагрузкой и качеством ответов, настраивать доступы и резервное копирование. В облаке это делает провайдер, а в собственном контуре - ваша команда или подрядчик. Поэтому локальную нейросеть стоит выбирать, когда этого требуют данные или объем. Бесплатная лицензия модели сама по себе еще не делает этот вариант дешевле.
Безопасность локальной нейросети
Локальная модель не передает данные наружу, но сама по себе не делает систему безопасной. Сервер с моделью нужно защищать так же, как любую внутреннюю систему: закрыть доступ из интернета, выдать доступ только нужным сотрудникам и сервисам, вести журнал запросов, чтобы было видно, кто и о чем спрашивал модель.
Отдельно стоит проверять, откуда скачана модель и программы для запуска. Берите веса с официальных страниц разработчиков и программы из официальных репозиториев, а обновления устанавливайте после проверки на тестовом сервере. Если ассистент подключен к 1С, CRM или документообороту, ему выдают отдельную учетную запись с минимальными правами, чтобы ошибка в ответе не превратилась в изменение данных.
Как Unistory разворачивает нейросети в контуре компании
Unistory - AI-интегратор из Санкт-Петербурга. Мы разворачиваем открытые языковые модели на серверах заказчиков и подключаем их к системам компании, чтобы сотрудники работали с ИИ, а документы и данные не выходили за периметр. Модель подбираем под задачу и требования к данным: если нужна именно российская разработка, берем GigaChat 3, если важен только периметр - сравниваем несколько открытых моделей на ваших документах.
Какие задачи мы берем:
- Подбор модели и железа. Сравниваем модели на реальных вопросах и документах компании и считаем, какой сервер нужен и когда он выгоднее облака.
- Развертывание в контуре. На серверах компании или на выделенном сервере в российском облаке, с закрытым доступом извне и журналом запросов.
- Ассистент по документам. Ответы сотрудникам по регламентам, договорам и базе знаний со ссылкой на документ, с правами доступа, как у сотрудников.
- Подключение к системам. 1С, CRM, документооборот и почта через отдельную учетную запись с минимальными правами.
- Поддержка. Обновление модели и базы знаний, контроль качества ответов и нагрузки.
Работу начинаем с бесплатной диагностики на 30-60 минут и прототипа на ваших документах до подписания договора. Unistory - технологический партнер Yandex AI Studio и участник АЛРИИ. Похожий подход - ответы по базе документов со ссылкой на источник - мы использовали в чат-боте для инженеров по ремонту банкоматов: он снизил нагрузку на операторов колл-центра на 80%. Этапы проекта описаны на странице внедрения ИИ в бизнес.
Обсудим нейросеть в вашем контуре
Оставьте заявку - подберем модель и железо и соберем прототип на ваших документах до договора.
Заключение
Локальную нейросеть для себя можно запустить за полчаса: хватит LM Studio или Ollama и видеокарты на 8-16 ГБ. Компании локальный вариант нужен, когда данные нельзя передавать в облако или объем запросов настолько большой, что свой сервер дешевле токенов. Начинать стоит с самой компактной модели, которая справляется с задачей на ваших данных, а в расчет закладывать и сервер, и работу команды, которая будет его обслуживать.
Частые вопросы
Что такое локальная нейросеть?
Это модель ИИ, которая работает на вашем компьютере или сервере компании, без облака разработчика. Данные никуда не передаются, оплаты за запросы нет, интернет нужен только для скачивания модели.
Какую локальную нейросеть выбрать для компьютера?
Для обычного ПК подходят модели на 4-14 млрд параметров: GigaChat 3 Lightning, версии Qwen3 и Ministral 3. Запустить их проще всего через LM Studio или Ollama.
Какой компьютер нужен для локальной нейросети?
Ориентир - видеокарта на 8-12 ГБ памяти для моделей на 7-8 млрд параметров и на 12-16 ГБ для моделей на 14 млрд в 4-битном формате. Без видеокарты модель запустится на процессоре, но будет работать в несколько раз медленнее.
Можно ли скачать локальную нейросеть бесплатно?
Да. Открытые модели распространяются бесплатно, а программы для запуска - Ollama, LM Studio, llama.cpp - тоже бесплатные. Платить нужно только за железо.
Как установить нейросеть локально?
Установите LM Studio или Ollama, выберите в каталоге модель подходящего размера в 4-битном формате, скачайте ее и запустите. После скачивания интернет не нужен.
Можно ли использовать локальную нейросеть в коммерческих целях?
Большинство популярных открытых моделей выходят под лицензиями MIT и Apache 2.0, которые разрешают коммерческое использование. Перед запуском в работе стоит проверить лицензию конкретной модели, например у Kimi K2 она модифицирована.
Есть ли российская локальная нейросеть?
Да, Сбер опубликовал открытые модели GigaChat 3 под лицензией MIT: компактную Lightning на 10 млрд параметров и большую Ultra Preview. Их можно запустить на своем сервере.
Что дешевле: свой сервер или облачная нейросеть?
При небольших объемах дешевле облако. Сервер с одной A100 стоит около 152 000 рублей в месяц, а на эти деньги в облаке можно обработать около 190 млн токенов на YandexGPT Pro 5.1. Если объем больше или данные нельзя выносить, выгоднее свой сервер.
Нужен ли интернет для работы локальной нейросети?
Нет. Интернет нужен, только чтобы скачать модель и программу. Дальше нейросеть работает полностью офлайн.
Можно ли развернуть локальную нейросеть для компании под ключ?
Да. Мы в Unistory подбираем открытую модель и железо под задачу и требования к данным, разворачиваем ее на серверах компании и подключаем к базе знаний, 1С и документообороту. Начинаем с бесплатной диагностики и прототипа на ваших документах.
