Spaces:
Runtime error
Runtime error
File size: 5,606 Bytes
c82443e 8329a95 c82443e 8329a95 c82443e 8329a95 c82443e 8329a95 3b3e1c3 8329a95 c82443e 8329a95 c82443e 8329a95 c82443e 8329a95 c82443e 8329a95 c82443e 8329a95 c82443e 8329a95 c82443e 8329a95 c82443e |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 |
import pymorphy2
morph = pymorphy2.MorphAnalyzer()
STOP_PUNCT = list(',./!@#$%^&*()_+=-<>?\|{}[]`~/')
STOP = set(
["скидка", "скидкой", "скидки", "скидке", "скидкой", "скидке", "недорого", "дешево",
"в", "на", "для", "о", "у", "и", "с", "из"] + STOP_PUNCT
)
def counter(s: str) -> dict:
"""
Словарь, который позволяет нам считать количество неизменяемых объектов
Args:
s: Входная строка, по которой строится словарь
Returns:
Количество неизменяемых объектов
"""
d = {}
for i in s:
if i not in d:
d[i] = 0
d[i] += 1
return d
def prepare4check(s1: str, s2: str, STOP: set = STOP, morph=morph) -> list:
"""
Предобработка данных для проверки
Args:
s1: Первая сравнимая строка
s2: Вторая сравнимая строка
STOP: множество стоп слов, которые мы хотели бы исключать
morph: Морфологический анализатор, для лемматизации слов
Returns:
Список предобработанных данных:
set_s1: уникальные слова первой строки с учетом удаленных стоп слов
set_s2: уникальные слова второй строки с учетом удаленных стоп слов
diff_s1: Разница между множеством слов 1 строки и множеством слов 2 строки
diff_s2: Разница между множеством слов 2 строки и множеством слов 1 строки
"""
s1 = s1.lower()
s2 = s2.lower()
s1 = [morph.parse(i)[0].normal_form for i in s1.split(' ')]
s2 = [morph.parse(i)[0].normal_form for i in s2.split(' ')]
set_s1 = set(s1) - STOP
set_s2 = set(s2) - STOP
diff_s1 = ' '.join(list(set_s1 - set_s2))
diff_s2 = ' '.join(list(set_s2 - set_s1))
return [set_s1, set_s2, diff_s1, diff_s2]
def easy_check(s1: str, s2: str, STOP: set = STOP) -> bool:
"""
Простой уровень проверки. Есть 3 типа проверки:
1: если s1 имеет такие же слова, как и s2
2: если s1 входит в множество слов s2 (предполагаем, что s2 хранит дополнительные признаки, например s1=обувь, а s2=обувь Адидас)
3: если s2 входит в множество слов s1 (предполагаем, что s2 не хранит никакой дополнительной информацией, а является частью s1)
Args:
s1: Первая сравнимая строка
s2: Вторая сравнимая строка
STOP: множество стоп слов, которые мы хотели бы исключать
Returns:
результат всех условий первой проверки
"""
set_s1, set_s2, diff_s1, diff_s2 = prepare4check(s1, s2, STOP)
if set_s1 == set_s2:
return False
if len(diff_s1) == 0:
return True
if len(diff_s2) == 0:
return False
return True
def check(s1: str, s2: str, STOP: set = STOP, morph=morph) -> bool:
"""
Более сложный уровень проверки. Есть 4 типа проверки:
1: если s1 имеет такие же слова, как и s2
2: если s1 входит в множество слов s2 (предполагаем, что s2 хранит дополнительные признаки, например s1=обувь, а s2=обувь Адидас)
3: если s2 входит в множество слов s1 (предполагаем, что s2 не хранит никакой дополнительной информацией, а является частью s1)
4: проверяем частотность минимальной строки, к максимальной, чтобы определить разницу между количеством уникальных токенов
Args:
s1: Первая сравнимая строка
s2: Вторая сравнимая строка
STOP: множество стоп слов, которые мы хотели бы исключать
morph: Морфологический анализатор, для лемматизации слов
Returns:
результат всех условий второй проверки
"""
set_s1, set_s2, diff_s1, diff_s2 = prepare4check(s1, s2, STOP)
if set_s1 == set_s2:
return False
if len(diff_s1) == 0:
return True
if len(diff_s2) == 0:
return False
dt = {len(diff_s1): diff_s1, len(diff_s2): diff_s2}
c = 0
max_s, min_s = dt[max(len(diff_s1), len(diff_s2))], dt[min(len(diff_s1), len(diff_s2))]
c_s1 = counter(min_s)
c_s2 = counter(max_s)
for i in min_s:
if i in c_s2 and c_s2[i] > 0:
c += 1
c_s2[i] -= 1
else:
c -= 1
if (c / len(min_s)) < 1.0:
return True
return False |