2.3 Классификация запросов пользователя в диалоге, векторное сходство
2.3 Классификация запросов пользователя в диалоге, векторное сходство
Лекция
Основы семантического поиска. Традиционный поиск: сходство Жаккара, алгоритм шинглов, расстояние Левенштейна. Регулярные выражения. Представление строки векторами из одного общего для всей коллекции векторного пространства. Основы векторного сходства: TF-IDF, BM25, word2vec/doc2vec, BERT.
Практическая работа
Реализация семантические классификаторы для чат-бота. Нахождение процента совпадения одной строки к другой. Реализация векторных классификаторов для чат-бота. Нахождение процента совпадения одной строки к другой