Возможности !SEMTools

На этой странице я веду и буду вести историю версий !SEMTools.

Разработка надстройки активно ведется и не прекращается. Виной тому два факта – есть мое желание улучшать ее и есть пожелания пользователей по доработкам. Поэтому, если у вас есть таковые – смело пишите мне!

Дмитрий Тумайкин, автор и разработчик !SEMTools.


17.06.2024:

Теперь можно получать и обрабатывать поисковые запросы Яндекс.Директа посредством API. Доступ приложения расширен, и единый токен позволяет получать доступ сразу к трём API Яндекса – Вебмастер, Метрика, Директ.

Процедура находится в разделе SEO&PPC, меню Семант. анализ – Анализ поисковых запросов


10.06.2024:

  • Добавлены 3 новых инструмента для работы с CSV файлами – объединить CSV в папке, выборка из CSV и перекодировка CSV.
  • В список моделей ChatGPT добавлена последняя модель 4o
  • Список доступных языков в процедуре перевода Google Translate (как free, так и платный api) был расширен с 12 до 34 самых популярных. Также список стал понятнее.
  • Добавлен API Яндекс.Вебмастера и пара наиболее интересных отчетов.

16.05.2024:

  • Исправлена проблема, при которой запросы к ChatGPT могли выдавать ошибку, если в них присутствовали кавычки
  • К процедурам по получению курсов валют добавлено получение курса на заданную дату
  • Починил процедуру обработки поисковых запросов Google Ads. Теперь заголовки распознаются корректно согласно текущей выгрузке из Ads (на английском). Английская версия лемматизирует по английскому словарю, русская – по русскому.
  • Меню Join/Combine переименовано в Сцепить/Разбить, и в него добавлена процедура разбивки листа на несколько листов по значению выбранной колонки.
  • Добавлена процедура построения сводной таблицы со сцепкой значений построчно (Как через Alt+Enter в ячейке).
  • Поправлено склонение имени Виктория

8.03.2024:

  • добавлена процедура по md5-шифрованию указанных строк (для PPC-специалистов актуальна для шифрования сенситивной информации – адресов электронной почты и номеров телефонов – перед отправкой на сервера Яндекса для создания аудиторных сегментов).
  • В меню изменить числа добавлены процедуры по получению текущего курса валют и конвертации рублей в валюту и наоборот. Данные берутся с сайта Центробанка.

16.01.2024:

  • в настройки ChatGPT добавлена модель gpt-3.5-turbo-16k для поддержки более объемных запросов
  • В связи с появившимися вылетами процедуры по таймауту, добавлено обязательное указание таймаута между запросами вручную
  • Процедура удаления предлогов в конце фраз была дополнена союзами а, или, но.

25.12.2023:

  • Исправлен баг в функциях и процедурах для написания суммы и числа прописью.
  • Из словаря топонимов (RU версия) удалены станции метро. В ближайшее время они будут добавлены как отдельный список
  • Встроенные списки маркеров продаж и отзывов дополнены новыми словами и фразами

25.11.2023:

  • Доработаны и кардинально ускорены процедуры Удалить фразы и массовая замена списка фраз.
    • Теперь более длинные фразы удаляются/заменяются первыми
    • Исходная процедура замены игнорировала регистр фраз во второй колонки и сохраняла регистр исходных. Добавлена “зеркальная” процедура.
  • EN и RU версии теперь не мешают друг другу при работе со стоп-словами, топонимами, маркерами вопросов и другими встроенными списками. Если вы используете обе версии, обновить нужно тоже обе.
  • Вернулась к жизни и тысячекратно ускорена процедура поиска ближайших родителей (процедура для SEO и PPC, подробности поведает мой обучающий курс для PPC-специалистов).

17.11.2023:

  • OpenAI с сумасшедшей скоростью развивают свой продукт. Приходится догонять. Процедура обработки prompt-ов поправлена в соответствии с последними обновлениями API.
  • Процедура улучшена – теперь появились “настройки” для этого API, можно выбрать и сохранить одну из четырех наиболее популярных последних моделей. Будут усложняться по мере получения фидбека.

26.10.2023:

  • Надстройка научилась подключаться к API Яндекс.Метрики (пока только базовые шаблонные отчеты, за 30 дней).
  • Усовершенствованы процедуры, отвечающие за перевод текста в Excel: Google Translate, Deepl. Теперь, если ячейка не содержит букв, она пропускается. Не расходуем API баллы на непереводимый контент (пустые ячейки, цифры, значки и пунктуация).
  • Лемматизация – теперь процедура сама все переводит в нижний регистр, т.к. корректно работает только с нижним регистром. Предполагается, что лемматизация с сохранением регистра вам и не понадобится.
  • Процедуры замены (целых ячеек, списка на список) – теперь не выбиваются из общей логики (можно выделять целый столбец и данные автоматически выделятся до последней непустой ячейки)
  • Процедура удаления предлогов в конце ячеек теперь удаляет и стоп-слова
  • Процедура извлечения слов из списка теперь реагирует на чекбокс “игнорировать пунктуацию”
  • Подправлен словарь топонимов
  • К маркерам покупки добавлены маркеры покупки для услуг (платно, запись, приём…)

1.10.2023:

  • Исправлен баг с процедурой извлечения фраз. Теперь если из строки можно извлечь несколько фраз, они объединяются через обратную косую черту (“\”). Ранее объединялись через пробел, что не позволяло однозначно определить извлекаемые фразы.
  • В английской версии поправлен словарь топонимов.

23.09.2023:

  • Английская версия !SEMTools – Существенно расширен словарь топонимов
  • В английской версии добавлена процедура поиска с помощью Google, которая автоматически появляется в контекстном меню Excel и работает для выделенных ячеек.
  • В русской версии таких меню два – для Яндекса и Google

17.06.2023:

  • Реализовал массовую отправку запросов к ChatGPT;
  • Токен API ChatGPT теперь сохраняется в надстройке отдельной процедурой;
  • Теперь нет ограничений и можно использовать все возможности ChatGPT в базовой версии !SEMTools (платите только за само использование API). Подробнее тут.

26.05.2023:

  • Исправлена и улучшена процедура извлечения прилагательных
  • Расширен словарь маркеров покупки
  • В меню “Удалить – ячейки – по содержимому” добавлен пункт удаления пустых ячеек со смещением – вверх и влево (аналог процедуры в самом Excel, но пользоваться быстрее и удобнее)
  • Словарь характеристик для инструмента исправления порядка слов во фразах расширен до 777 слов. Среди проработанных тематик практически все товары для дома. Универсальные характеристики (цвет, форма, материал, стиль и прочие) проработаны практически досконально.

11.05.2023:

  • Пополнен словарь характеристик для процедуры корректировки порядка слов в ключевых словах из предыдущего обновления.
  • Расширен словарь маркеров вопросов. Теперь определять инфозапросы станет еще проще!
  • Улучшена логика определения информационных запросов

28.04.2023:

Добавлены процедуры корректировки порядка слов в ключевых словах. Процедура позволяет в пару кликов превратить несогласованный порядок слов в запросе в согласованный и подходящий для шаблонизации и использования в текстах, ориентированных на реальных людей.

Находятся в меню “SEO & PPC” – “Изменить” – “Слова”.


24.04.2023:

Обновлена англоязычная версия !SEMTools – добавлена английская лемматизация и процедуры по поиску и извлечению маркеров вопросов на английском языке.


Версия 10.24.04 (4.03.2023)

Добавлена поддержка API ChatGPT – completions (продолжение текста) и запросы к человекоподобному роботу. Подробнее тут: ChatGPT в вашем Excel.


Версия 10.23.17 (17.02.2023)

Добавлена поддержка перевода с помощью API Deepl. Deepl дает превосходное качество перевода, существенно обгоняя всех конкурентов.


Версия 10.23.14 (14.02.2023)

Язык интерфейса в названиях вкладок !SEMTools

Версия 10.19.25 (25.10.2022)

  • Улучшено меню Изменить-Символы-Регистр – добавлена более понятная иерархия
  • В меню возвращен нечаянно “исчезнувший” макрос изменения регистра первых букв предложений на строчные
  • Поправлен макрос извлечения слов с заглавными буквами
  • (PPC) – Доведен до совершенства алгоритм расчета КПСС, теперь значения несколько больше, чем раньше, но максимально верные исходя из задачи стремиться к 100%

Версия 10.17.20 (20.08.2022)
Добавлены бесплатные функции:
=LonLat(город) (Возвращает долготу и широту для географического названия, лучше всего города)
=РасстояниеМеждуГородами(Город1;Город2) – возвращает кратчайшее расстояние в километрах (как если лететь на самолете).

Вторая функция по сути использует первую, в большой тригонометрической формуле, представляющей землю как идеальную сферу.
Поскольку на самом деле в силу центробежной силы Земля не идеальна, а немного сплюснута, формула дает некоторую ничтожную погрешность.


Версия 10.15.20 (20.06.2022)
В релизе:

  1. Новый крутой инструмент для анализа тональности текста, он же Sentiment Analysis. Возвращает для диапазона отзывов среднее арифметическое найденных маркеров и сопоставленных им оценок. Подходит для автоматического анализа тональности отзывов – негативный или позитивный. В целом позволяет шкалировать текст по любым критериям – главное дать на вход список маркеров и соответствующих им оценок. Чуть позже напишу статью и дам примеры использования инструмента.
  2. (PPC) Усовершенствовал макрос анализа поисковых запросов Яндекс Директа – теперь он выдает еще столбец недостающих слов, и косметически более приятен результат.
  3. Доработаны макросы перемещения слов в начало и конец строки – теперь в каком порядке слова указаны у вас в диапазоне – в том же порядке будут в результирующей строке.

Версия 10.13.1 (1.04.2022)
В релизе:

  • пофиксил удаление пунктуации. Если раньше удалялся ограниченный набор символов (около 40 наиболее встречаемых), то теперь удаляется целиком и полностью все кроме букв, цифр и пробелов. Буквами считаются также диакритические символы (похожи на латиницу но с точечками, палочками и т.д.)
  • некоторые обновления меню
  • исправлен баг со склонением прилагательных в женском роде именительного падежа

Версия 10.11.21 (21.02.22)

  • Исправлены процедуры, связанные с глаголами – теперь извлекаются, например, гораздо больше. Процедуру очень любят SEO и PPC-специалисты. На очереди исправления в извлечение прилагательных.
  • В той же связи существенно исправлен словарь лемм. Если скачивали файл и используете локальную версию, рекомендуется его перекачать с сайта (

Версия 10.9.03 (3.12.21)

Новые процедуры:

  • В группе УДАЛИТЬ – Слова – целые слова – Теперь можно удалять не только все слова из указанного списка, где бы они ни находились в строке, но в зависимости от того, где они находятся – в начале и конце строки.
  • Для удобства в разделе SEO&PPC в меню “Удалить” появились заготовки – удаление предлогов и коммерческих маркеров в конце ячейки.

Версия 10.6.17 (17.09.21)

Обновление в рубрике Excel для интернет-маркетологов

– Доработал геомаркеры (добавлены некоторые падежи, удалены некоторые спорные геомаркеры, как Аскона)

– Существенно увеличил список информационных маркеров – теперь станет еще проще чистить и кластеризовать семантику

– Добавил процедуру “обход ссылок”


Версия 10.5.31 (31.08.21)

Обновление в рубрике Excel для интернет-маркетологов

– В разделе “ОБНАРУЖИТЬ” – “Фразы” появился инструмент поиска фраз, начинающихся с предлогов.

– Багфиксы


Версия 10.4.07 (7.07.21)

– Довел до ума и вывел удобной процедурой инструмент обратной транслитерации с учетом русского звучания (соответствующая функция revtranslit).

– Внес много мелких исправлений.


Версия 10.2.05 (5.05.21)

Добавил процедуры:

  • отделения текста от цифр. Это когда между ними нет пробела, а хочется, чтобы был. Находится в меню “ИЗМЕНИТЬ -> слова”
  • извлечения доменов (и их субдоменов) из текста. Находится в меню “ИЗВЛЕЧЬ -> символы -> по REGEX-паттерну – готовые”.
  • “Кавычки” – в «Ёлочки» – для соответствующего преобразования. Находится в меню “ИЗМЕНИТЬ – символы”.

Улучшил список топонимов – удалены лишние и добавлены новые

Поправил некоторые баги, морфологию топонимов.


Версия 10.0.23 (23.03.21)

Глобальное обновление, 10-я версия !SEMTools, теперь включает не только кнопки на панели, но и контекстное меню ячеек.


Версия 9.27.10 (10.03.21)

– добавил процедуру объединения ячеек – можно указывать разделителем как отдельную ячейку, так и вписать значение вручную (см.видео)

– добавил функцию БлижайшееПоЛевенштейну.


Версия 9.25.04 (4.01.21)

добавил процедуры по удалению текста из ячеек по подстроке.

– Удалить весь текст до первого / последнего вхождения

– Аналогично – после первого и последнего вхождения

– Удаляя и не удаляя саму подстроку


Версия 9.24.16 (16.12.20)

Добавил парсинг контента по ссылкам с помощью регулярных выражений.

Доступны 3 инструмента – извлечение с учетом регистра и без и простой подсчет количества вхождений паттерна в коде страницы.


Версия 9.23.19 (19.11.20)

Выкатил 3 новых бесплатных инструмента

1. Удаление листов во всех открытых книгах по текстовым условиям на основе их имени

2. Сбор листов всех книг в текущей

3. Массовое удаление первых и последних строк во всех листах текущей книги.

23.10.20

Поправил процедуру генератор ЧПУ.


Версия 9.22.14 (14.10.20)

– Sentence Case – теперь делает именно первые буквы предложений заглавными, а не первый символ.

– В математических операциях пополнение – умножить на рандомное число из диапазона (например, на диапазон от 0,9 до 1,1). Удобно для быстрого обеспечения вариативности имеющихся данных, небольших отклонений.


Версия 9.20.08 (4.08.20)

– При отмене большинства операций теперь макросы не продолжают, а прекращают работу.

– Новый инструмент в группе *ИЗМЕНИТЬ*, в меню Диапазон – Вставка N строк с шагом. Позволяет разбить текущий массив данных пустыми строками для вставки новых данных.

– Небольшие фиксы в склонении ФИО

– Другие исправления


Версия 9.18.18 (18.06.20)

Исправил недоработку с макросом замены списка слов на другой список. Теперь он реагирует на чекбокс неучета пунктуации и сохраняет изначальный регистр слов.


Версия 9.18.14 (14.06.20)

По многочисленным просьбам добавил возврат последнего действия


Версия 9.18.06 (8.06.20)

– Чекбокс опции учета и неучета пунктуации

– Значения чекбоксов теперь сохраняются и не слетают при закрыти Excel


1.06.20

– Глобальное улучшение UX.

Теперь можно выделять и обрабатывать неограниченное количество диапазонов и ячеек одновременно.


Версия 9.17.17 (17.05.20)

Разработал новый инструмент – парсинг больших текстовых и CSV-файлов


Версия 9.17.14 (14.05.20)

  • Исправил некоторые артефакты склонения ФИО
  • Добавил функции sumprop и numprop для, соответственно, суммы и числа прописью.
  • Добавил инструмент объединения данных со всех листов текущей книги
  • Улучшена стабильность процедуры парсинга метатегов и добавлен парсинг description, изменена логика меню – теперь 3 опции – title, title+h1, title+h1+description

Обновление 9.17.05 (6.05.20)

Это обновление принесло новый инструмент морфологии – склонение всей фразы целиком.


Версия 9.17.02 (2.05.20)

– Улучшения меню

– Более 20 новых инструментов по извлечению данных.

– Извлекаем атрибуты шрифта: название, размер, начертание, цвет – изменен ли и координаты в RGB-формате

– Атрибуты самих ячеек: высота, ширина, наличие заливки и ее RGB-цвет, наличие границ, все ли границы и цвет каждой

– Находим (найти -> символы) и извлекаем (извлечь -> символы) символы из ячеек по начертанию – КУРСИВ и ПОДЧЕРКНУТЫЙ (ЖИРНЫЙ уже был).


Версия 9.16.30 (30.04.20)

Добавил чекбокс опции вывода данных – маленькое с виду, но глобальное обновление.


Версия 9.16.24 (24.04.20)

– Глобальное обновление всех процедур – теперь можно выделять и обрабатывать несколько столбцов.

– В группу Join/Combine добавил инструмент-сборщик ссылок

– Связанный функционал – извлечение подсказок гиперссылок в меню SEO & PPC


Версия 9.16.20 (20.04.20)

Новый инструмент – Импорт данных на лист из всех csv-файлов в папке.


Версия 9.16.04 (4.04.20)

Добавлен инструмент переводчик в Excel


Версия 9.15.31 (31.03.20)

– Фиксы и доработка интерфейса

– Процедура замены слов на слова теперь не регистрозависимая

– В меню “заменить” и “изменить ячейки” появилась процедура замены целых ячеек (аналог ВПР, но удобнее, и без Н/Д – если не нашел, оставляет как было)


19.03.20

– Встроенный список синонимов для Яндекс.Директа пополнен новыми, теперь это более 12.500 синонимов для более 7500 слов.

– Добавлен функционал замены по регулярному выражению первого вхождения


Версия 9.15.16 (16.03.20)

– Новые математические операции на месте – округлить, округлвверх, округлвниз

– Добавлены функции регулярных выражений – regexMatch, regexExtract, regexReplace

– Багфиксы


27.2.20

Встроенный список синонимов для Яндекс.Директа пополнен новыми, и сегодня содержит почти 11.000 синонимов для более 7000 тысяч слов.


Версия 9.14.20 (20.02.20)

Встроенный список синонимов для Яндекс.Директа пополнен новыми, и сегодня содержит почти 10.000 синонимов для более 6000 тысяч слов из более 10 популярнейших тематик.


Версия 9.13.24 (24.1.20)

– Добавил математические процедуры (группа изменить)

– Добавил новый инструмент для маркетологов – массовое исключение синонимов Директа.


Версия 9.13.11 (11.1.20)

– Улучшен алгоритм склонения по падежам обычных слов

– Добавил склонение ФИО по всем падежам, по правилам русской грамматики, проверено на 350 000 ФИО

– В надстройке заработал хелп – теперь все ссылки ведут на релевантные разделы сайта

– Добавил процедуру удаления всего содержимого ячеек, если соответствует заданному регулярному выражению.


Обновление 9.12.27 (27.12.19)

Багфиксы:

– макросы парсинга поисковых подсказок Bing, Amazon и Youtube теперь корректно возвращают кириллические и любые другие Unicode – символы.

– макросы поиска, удаления и извлечения слов из списка не отдают ошибку, если в списке есть повторы

Новшества:

– макрос удаления формул в диапазоне работает даже если в нем есть отфильтрованные или скрытые значения

– добавлено удаление формул только в видимых ячейках выделенного диапазона


13.12.19

– Больше возможностей работы с регулярными выражениями – теперь практически любые сценарии по удалению и извлечению данных возможны.

– Поправлена работа макроса “удалить пунктуацию” – он удалял символы слишком по строгому правилу, что приводило к удалению символов других алфавитов

– Добавлен макрос извлечения букв любых алфавитов (пришлось потрудиться, регулярки VBA отличаются от других языков и менее функциональны в этом плане)

– Добавлены макросы по удалению и извлечению 1 слова из ячеек

– Немного оптимизирована структура меню


Версия 9.11.14 (14.11.19)

8 новых макросов, по 2 в каждой группе.

Теперь можно выделять диапазон и моментально находить, удалять, извлекать и заменять своим значением ячейки по признаку “повторяемость”.

Вариантов 2 – ячейка либо уникальна (встречается в диапазоне 1 раз), либо повторяющаяся.


5.11.19
Добавил процедуру  удаления дублирующихся слов внутри ячейки с учетом словоформ. “Дешевые платья дешево” станут “дешевые платья”.


24.10.19

Добавлены:

  • Сортировка списка по длине в символах
  • Сортировка списка по количеству слов
  • Удаление строк по длине содержимого

6.10.19

Добавил процедуры

  • Сумма и число прописью
  • Преобразование чисел, написанных текстом, в числовой формат
  • Подсчет количества символов в ячейке (в меню “посчитать”)

23.09.19

Теперь можно находить, удалять извлекать из текста различные части речи:

  • существительные
  • прилагательные
  • глаголы
  • наречия

2.09.19

добавлена возможность проверять текущую версию надстройки


26.08.19

– Теперь можно удалять сразу целые строки по нескольким популярным условиям – если вам ничего не страшно. Выделяем столбец или несколько ячеек столбца, если удалить хотим не все строки, и выбираем условие. Находится в группе “Удалить”, как полагается.

– Добавлено извлечение телефонного номера (RU) из текста.


10.08.19

– Появилась возможность извлекать из строк подстроки по REGEX-паттерну.

– Добавлены несколько популярных пресетов – извлечение email-ов и дат в разных форматах


7.08.19

UX-обновление. При выделении всего столбца и вызове процедур обрабатываются не все 1048576 строк, а только основной диапазон

Обновлена база городов – добавилось около 1000 населенных пунктов, теперь их почти 40.000


5.08.19

– теперь можно работать с целыми ячейками:

Находить, удалять и извлекать (очищать содержимое всех кроме удовлетворяющих условию) ячейки.

Универсальные условия:

  • Содержит любое из списка
  • Начинается с любого из списка
  • Заканчивается на любое из списка

– Также добавлены макросы извлечения ячеек по условиям:

  • Содержит латиницу
  • Содержит цифры
  • Содержит слова из цифр
  • Содержит заглавные буквы
  • Содержит слово

2.08.19

Новые возможности Excel для маркетологов – быстрое извлечение UTM-меток из url.


25.06.19

– Новые процедуры – поиска, удаления и извлечения фраз


20.06.19

– Добавил процедуру  обнаружения ячеек, содержащих фразы.

– Багфиксы


16.06.19

1. Улучшились макросы склонения слов – добавлены тысячи исключений для существительных.

2. Багфиксы


10.06.19

Релиз первой версии склонения слов в Excel


4.06.19

1. Добавлен ряд процедур по объединению и генерации комбинаций.

2. Добавил макрос замены списка на список по вхождению.

Эта статья также доступна на KZ