Перейти к основному содержимому

Запуск ИИ-моделей локально с Ollama

Средний

Передовые модели живут в облаке, но целый класс моделей с открытыми весами — Llama, Mistral, Qwen, DeepSeek, Gemma — можно скачать и запустить на собственном ноутбуке или сервере. Ollama — самый простой способ это сделать: одна установка, одна команда — и модель работает локально. Эта страница проведёт вас от нуля до запущенной модели, покажет, как вызывать её из кода, и объяснит компромиссы, чтобы вы не ждали от локальной модели на 7B поведения передовой модели.

What you'll learn
  • Понимать, ЗАЧЕМ запускать модель локально — и каковы честные компромиссы по сравнению с облачными передовыми моделями
  • Установить Ollama и запустить первую модель двумя командами
  • Пользоваться основным CLI: pull, run, list, ps, rm, stop
  • Вызывать локальную модель из кода через OpenAI-совместимый API Ollama
  • Разобраться в требованиях к RAM, размерах моделей и квантизации, чтобы выбрать модель, которую ваша машина действительно потянет
  • Знать, когда LM Studio (графический интерфейс) — лучшая отправная точка

Зачем запускать модель локально (и когда не стоит)​

Запуск модели на собственном оборудовании даёт четыре вещи:

  • Приватность — ваши промпты и данные никогда не покидают вашу машину. Именно поэтому команды в регулируемых или чувствительных областях выбирают локальные модели. (См. развилку приватность/самохостинг в разделе Выбор модели.)
  • Офлайн — без интернета, без API, без зависимости от сбоев. Модель — это файл на вашем диске.
  • Стоимость — никаких счетов за токены. После загрузки запуск «бесплатен» (вы платите электричеством и оборудованием, а не расходами на API). Если в больших объёмах ваше ограничение — расходы на токены, локальный вариант может оказаться выгоднее.
  • Контроль — фиксируйте точную версию, настраивайте поведение и интегрируйте без лимитов запросов и неожиданностей в условиях использования.

Честные компромиссы:

  • Разрыв в возможностях. Модель, которую можно запустить на ноутбуке (1B–14B параметров), не в одной лиге с облачной передовой моделью в сложных рассуждениях, длинном контексте и агентных задачах. Для многих повседневных задач разрыв невелик; для самых сложных — велик.
  • Оборудование. Более крупным и мощным моделям нужно больше RAM/VRAM, чем есть у типичной машины. Часто вы выбираете самую большую модель, которую способно запустить ваше оборудование, а не лучшую из существующих.
  • Вы эксплуатируете её сами. Никакого управляемого масштабирования, никаких автоматических обновлений — такова цена контроля.

Распространённый и долговечный подход: прототипируйте и выбирайте с помощью небольшой оценки (тот же метод, что и для облачных моделей — см. Выбор модели), используйте локальные модели для приватной/офлайн/дешёвой в масштабе работы и обращайтесь к API передовой модели, когда задаче действительно нужны дополнительные возможности.

Установите Ollama и запустите первую модель​

Guided walkthrough1 of 4
  1. macOS и Windows: скачайте установщик с ollama.com/download и запустите его. Linux: воспользуйтесь официальным скриптом установки (ниже). Он установит команду ollama и локальную фоновую службу.

Установка в Linux (в macOS/Windows используйте скачанный установщик):

curl -fsSL https://ollama.com/install.sh | sh

Скачать и запустить небольшую модель (хороший первый выбор)

ollama run gemma4:e2b

Эта единственная команда и скачивает gemma4:e2b — модель, с которой начинается собственное краткое руководство Ollama: компактный вариант Gemma 4 примерно с 2,3B эффективных параметров и несколькими ГБ на диске, — и запускает интерактивный чат. Чтобы скачать, не начиная чат, используйте вместо этого ollama pull.

Основной CLI​

Горстка команд покрывает почти всё. Выполните ollama --help, чтобы увидеть полный список.

# Download a model without starting a chat
ollama pull qwen3

# Start an interactive chat (downloads first if needed)
ollama run qwen3

# One-shot: pass the prompt inline, get the answer, exit
ollama run qwen3 "Summarize the CAP theorem in two sentences."

# List models you've downloaded
ollama list

# Show models currently loaded in memory
ollama ps

# Stop a running/loaded model (frees memory)
ollama stop qwen3

# Delete a downloaded model to reclaim disk
ollama rm qwen3

Внутри интерактивной сессии ollama run введите /bye, чтобы выйти, и /?, чтобы увидеть команды сессии. Фоновая служба, которая на самом деле обслуживает модели, запускается командой ollama serve (приложение для рабочего стола запускает её за вас автоматически).

Вызов из кода (OpenAI-совместимый API)​

Именно эта часть делает локальные модели по-настоящему полезными в приложениях. Фоновая служба Ollama предоставляет локальный HTTP API по адресу http://localhost:11434, на порту по умолчанию 11434. У неё есть собственные нативные эндпоинты (/api/generate, /api/chat) и OpenAI-совместимый слой по пути /v1 — поэтому большая часть кода, написанного для OpenAI SDK, работает с вашей локальной моделью после замены двух строк.

Чистый HTTP через curl (нативный эндпоинт):

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4:e2b",
  "messages": [
    { "role": "user", "content": "Why is the sky blue?" }
  ],
  "stream": false
}'

Из Python с официальным OpenAI SDK — просто укажите base_url на Ollama и передайте любой непустой api_key (Ollama требует это поле, но игнорирует его значение):

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # required by the SDK, ignored by Ollama
)

response = client.chat.completions.create(
    model="gemma4:e2b",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Explain gradient descent in two sentences."},
    ],
)

print(response.choices[0].message.content)

Поскольку API совместим с OpenAI, те же приёмы, что вы применяли бы с размещённым API, переносятся как есть — включая потоковую передачу и использование инструментов / вызов функций, которые локально работают так же, как в облаке (при условии, что модель действительно хороша в этом). Слой /v1 в Ollama охватывает /v1/chat/completions, /v1/completions, /v1/responses, /v1/models (и /v1/models/{model}) и /v1/embeddings.

Оборудование, размеры моделей и квантизация​

Число, которое указано у модели, — 1B, 7B, 8B, 70B — это её количество параметров (в миллиардах). Больше параметров, как правило, означает более мощную модель и более прожорливую по памяти. Практический предел того, что вы сможете запустить, — это RAM (а на GPU — VRAM).

Квантизация — ключевой приём, делающий это возможным на обычных машинах. Веса модели изначально хранятся с высокой точностью (например, 16 бит), но их можно сжать примерно до 4 бит с небольшой, часто едва заметной потерей качества. Ollama по умолчанию поставляет большинство моделей в квантизованном виде — поэтому модель с миллиардами параметров умещается в несколько ГБ. Грубое практическое правило (проверяйте по странице конкретной модели):

  • Модели ~1B–3B: комфортно работают на большинстве современных ноутбуков (несколько ГБ RAM).
  • Модели ~7B–8B: золотая середина между мощностью и запускаемостью; закладывайте несколько ГБ свободной RAM.
  • Модели ~13B–14B: нужна достаточно хорошо оснащённая машина.
  • Модели ~70B+: нужна рабочая станция/сервер с большим объёмом RAM или мощный GPU — это не территория типичного ноутбука.

Практический рецепт: начните с небольшой модели (gemma4:e2b), убедитесь, что весь процесс работает от начала до конца, а затем наращивайте размер до самой большой модели, которая всё ещё работает на вашем оборудовании без тормозов, — а не до самой большой из существующих.

Словарь локальных моделей
Нажмите Enter или пробел, чтобы перевернуть карточку. Используйте стрелки влево и вправо для перехода между карточками.Показан термин.
1 / 6

LM Studio: графическая альтернатива​

Если командная строка — не ваше, LM Studio — это приложение для рабочего стола (macOS, Windows, Linux), которое делает ту же работу через графический интерфейс: просмотр и загрузка открытых моделей, общение с ними во встроенном интерфейсе и — как и Ollama — запуск локального OpenAI-совместимого сервера, чтобы ваш код мог к нему обращаться. Это более лёгкий вход для тех, кто не разработчик, или для тех, кто предпочитает кликать мышью, а не работать в терминале; Ollama, как правило, выигрывает, когда нужны CLI, пригодный для скриптов, и лёгкая фоновая служба. Оба запускают одни и те же виды моделей с открытыми весами, так что понятия с этой страницы переносятся напрямую.

Проверьте себя

0/4
  1. Каков самый большой честный компромисс локального запуска модели по сравнению с облачной передовой моделью?
  2. Какая команда и скачивает модель (если нужно), И начинает чат с ней?
  3. Что нужно задать, чтобы вызывать локальную модель из кода на OpenAI SDK?
  4. Почему модель с миллиардами параметров может поместиться всего в несколько ГБ RAM?
Key takeaways
  • Локально = приватность + офлайн + нет платы за токены + контроль; обратная сторона — реальный разрыв в возможностях и ограничения оборудования.
  • Запуск занимает две команды: установить Ollama, затем ollama run gemma4:e2b.
  • Основной CLI: pull (скачать), run (чат), list, ps, stop, rm — это почти всё.
  • Вызов из кода через OpenAI-совместимый эндпоинт: base_url http://localhost:11434/v1, любой непустой api_key.
  • Число параметров + квантизация решают, потянет ли ваша машина модель: начните с малого, затем увеличивайте до того, что работает без тормозов.
  • Предпочитаете графический интерфейс? LM Studio делает ту же работу кликами и тоже предоставляет локальный OpenAI-совместимый сервер.

Источники и дополнительное чтение​

Дальше​