Работа с локальными LLM в Excel с Ollama

Расскажу в этой статье немного об Ollama, а главное – о том, как обрабатывать с ее помощью сотни и тысячи запросов одномоментно в привычном Microsoft Excel.

Что такое Ollama

Ollama — это открытая платформа для управления и работы с локальными языковыми моделями. Она предоставляет простой способ установки, запуска и взаимодействия с различными моделями через единый синтаксис и единый REST API.

Ollama поддерживает множество популярных моделей, позволяя выбирать оптимальное решение для конкретных задач.

Как работать с Ollama — установка и управление моделями

У Ollama нет привычного «окна с кнопками» — управление идёт через командную строку (CMD или PowerShell). Это может показаться непривычным, но бояться нечего: команды простые и понятные.

В целом командная строка нужна лишь для установки и удаления моделей. Далее можно подключить сторонние инструменты с графическим интерфейсом (например, расширение PageAssist для браузера), чтобы работать с моделями привычным способом.

Установка Ollama (Windows)

Скачайте инсталлятор Ollama для Windows с официального сайта и запустите его. Дождитесь окончания установки.

Проверьте установку в PowerShell или командной строке (cmd.exe):

ollama --version

Подключение и удаление моделей

Основные команды управления моделями и сервером:

• Вывести список локальных моделей:

ollama list

• Скачать и/или запустить модель:

ollama pull <имя-модели>   # скачать, пример: ollama pull llama3.2
ollama run <имя-модели>   # скачать и запустить, пример: ollama run llama3.2

Весь список моделей с их описанием можно найти на официальном сайте Ollama. Напротив каждой модели уже прописаны run-команды (как на скриншоте выше) для вставки в командную строку.

Если модель не понравилась, то удалить модель можно командой:

ollama rm <имя-модели>     # пример: ollama rm llama3.2

Проверка работы Ollama в браузере

Установщик часто настраивает службу/фоновый процесс и сервер запускается после установки автоматически. Далее служба Ollama запускается автоматически вместе с компьютером, и взаимодействие с API всегда доступно локально через порт 11434.

Для работы в привычном режиме чата с AI-ассистентом можно использовать различные расширения браузера (например, расширения для локальных AI в Chrome), мне лично понравилось приложение PageAssist. Заодно можно проверить, что всё в порядке и Ollama работает.

Но пообщаться в чате можно и с более продвинутыми онлайн-моделями, а нас интересует именно массовая обработка промптов в Excel :)

Обработка запросов через Ollama в Excel:

PRO версия надстройки !SEMTools предоставляет свой инструментарий для работы с локальными LLM непосредственно в Excel, в том числе через Ollama.

Нужно только выбрать модель из списка доступных (предполагается, что вы уже нашли на официальном сайте нужную вам и скачали ее через командную строку).

Выбор локальной LLM для работы

Предполагается, что вы не меняли в Ollama порт по умолчанию (11434) и тогда все должно работать как швейцарские часы. Кликаем по соответствующему пункту меню:

Автоматически откроется окошко с доступными локально моделями. У меня выглядит так:

Выбрали модель и нажали ОК? Теперь можно массово обрабатывать запросы. А пока нейросети генерируют ответы, пойти попить чайку или погулять на свежем воздухе.

Загрузить видеокарту кропотливой работой с локальными нейронными сетями через Excel с !SEMTools можно двумя способами:

Способ 1: Задать препромпт к каждой ячейке

1. Выделите диапазон ячеек с исходными данными
2. Введите системный промпт (например: “Перефразируй следующий текст:”)
3. Нажмите “ОК”
4. Дождитесь результата обработки

Так выбранная выше нейросеть обрабатывает запросы на моем компьютере с видеокартой RTX2080:

Способ 2: Каждая ячейка = готовый запрос

Здесь каждая ячейка будет обработана как самостоятельный запрос. Поэтому должна уже содержать достаточное количество текста, который будет интерпретирован как запрос. Можно использовать конкатенацию множества ячеек с переменными.

Возможно, здесь вам может пригодиться инструмент генератор линейных комбинаций – он позволит перекомбинировать ячейки между собой и создать все вариации сочетаний исходных сущностей.

Запуск процедуры пошагово:

1. Выделите диапазон ячеек с готовыми запросами
2. Запустите обработку
3. Нажмите ОК и дождитесь результата.

Примеры применения LLM в Excel

Вот некоторые, но далеко не все, примеры применения локальных AI-моделей:

• Генерация описаний товаров на основе технических характеристик
• Генерация рекламных текстов и слоганов по ключевым словам
• Анализ и категоризация клиентских отзывов
• Создание контента для email-рассылок
• Перевод текста между разными языками, локализация текстов
• Извлечение ключевых фраз из текстов
• Формирование выжимки (основные моменты статьи, записи разговора и т.д.)

Уверен, вы сможете придумать и другие задачи для нейросетей.