Удалить повторяющиеся слова в Excel

При анализе текстовых данных зачастую требуется удалить повторяющиеся слова в каждой строке. Иногда слова дублируются из-за машинных ошибок. Иногда повторы допускают люди. Но так или иначе — их нужно удалить.

Удалить повторяющиеся слова внутри ячейки

Прежде, чем удалять повторы слов, можно убедиться, что они есть в принципе, для этого в !SEMTools есть отдельный инструмент — найти повторяющиеся слова в ячейках. Если массив фраз большой (десятки-сотни тысяч строк), эта процедура будет заметно быстрее.

Мысленно алгоритм довольно прост и понятен — нужно:

1. разбить ячейку на слова,
2. просматривать их по порядку,
3. удалять слова, если они уже встречались в строке ранее.

Удалить повторы внутри ячейки – формула Excel 365

Если у вас последняя версия Excel, удалить повторяющиеся слова можно с помощью новых функций – ОБЪЕДИНИТЬ, УНИК и ТЕКСТРАЗД.

=ОБЪЕДИНИТЬ(" ";0;УНИК(ТЕКСТРАЗД(A1;" ");ИСТИНА))

Удалить повторы слов в ячейках в 2 клика

Формулы это здорово, но их нужно запоминать, вводить или где-то хранить, если не хочется запоминать. Да и не во всех версиях Excel есть подобные функции – только в платной подписке Office 365 или онлайн-версии Excel.

Можно ли обойтись без формул? Да, если у вас есть надстройка !SEMTools!

С помощью надстройки удалить повторы слов в ячейках можно буквально в 2 клика. Процедура производит удаление повторяющихся слов независимо от регистра. Макрос находится на вкладке «УДАЛИТЬ» в меню «Удалить слова». Ниже — наглядная инструкция:

Как видно в демонстрации, помимо обычного удаления всех повторов, можно удалять повторы по условию:

• Только числа
• Только английские слова (определяются по латинице)
• Только русские слова (определяются по кириллице)
• Только слова, идущие подряд

Такие возможности вряд ли вообще когда-либо будут реализованы в штатных функциях или процедурах Excel.

Удалить повторяющиеся слова с учетом словоформ

Иногда повторами можно считать не только полностью совпадающие слова, но и другие формы тех же слов. Для того, чтобы произвести такое удаление, потребуется лемматизация слов, чтобы производить сравнение их лемм. Чтобы осуществить подобное, в !SEMTools Pro был подключен модуль морфологии, позволяющий делать много чудесных вещей, которые оригинальный Excel вряд ли когда-либо сможет:

• Удалять неявные дубли с учётом словоформ
• Склонять слова и фразы по падежам
• Производить лемматизацию
• Извлекать и удалять из текста определённые части речи

Перед запуском процедуры нужно скачать и открыть словарь лемм, он и используется для удаления повторов слов независимо от их словоформ. Из слов с одинаковой леммой остается слово, идущее в ячейке первым по порядку.

Макрос также работает независимо от регистра — здравый смысл подсказывает, что слово остается словом вне зависимости от регистра символов в нем. Однако, если есть кейсы, где необходим чувствительный к регистру поиск и удаление — можно обратиться к автору.

Удалить повторяющиеся слова в диапазоне, собрать уникальные, посчитать и вывести списком

Иногда, например, при семантическом анализе текста, удаление повторов слов нужно произвести не в каждой ячейке, а по всему диапазону ячеек. Помимо выделения уникальных слов, может быть интересно вычислить и количество уникальных слов в тексте. Здесь вам поможет раздел про составление частотного словаря n-gram.

Перед тем, как производить все указанные процедуры, рекомендуется удалить все знаки препинания из ячеек Excel, т.к. слово со знаком препинания для Excel — уже другое слово.

Удалить повторяющиеся слова во всем столбце

Если список заранее не известен, его можно составить, посчитав самые повторяющиеся слова в тексте. Если это короткие слова, есть риск повредить данные при обычной их замене на пустоту. Эту проблему решает макрос «Удалить слова из списка».

Если же нужно удалить внутри столбца все повторы, кроме первого, можно воспользоваться инструментом в группе SEO & PPC:

Эта статья также доступна на EN