Как стать автором
Обновить

Морфологический поиск

Чулан
Точный поиск, реализуемый в базах данных это очень хорошо, когда дело касается точных фраз. Но что делать, когда среди документов есть Киевская карта но нету Карты Киева? В дело включаются языковые фильтры.Во-первых уже на лексическом уровне становится сложно оперировать с монолитным блоком текста что-бы учитывать всевозможные перестановки слов и расстояния между ними. Во-вторых, чем глубже копать в язык, тем ясней становится то, что семантический web — невероятно сложная планка для автоматических анализаторов и генераторов каких-то образов и моделей, что уж говорить про то что-бы написать RDF вручную.Морфология изучает изменение формы объектов в разных областях науки (ботанике например). Поэтому есть два пути — либо
учитывать все формы при поиске, либо вырезать корень слова и искать
только по нему. Последний способ называется stemming, отличается
быстротой, простотой и не нуждается в словарях. Именно его используют Битрикс и MS Sharepoint, Sphinx. Проблемы возникают со словами где корень изменчив (бег-бежать, расти-прирост, лев-львица). Я не буду рассказывать про стемминг, посмотрите как это реализовано php с русской морфологией. Меня больше интересуют словари. Национальный корпус русского языка приводит примерно какие характеристики могут иметься у любого слова. Теперь мы плавно подходим к пониманию того что нам необходима современная морфологическая база слов (RMU, AOT), прототип для семантической сети.

Читать дальше →
Всего голосов 22: ↑20 и ↓2 +18
Просмотры 5.9K
Комментарии 11

Эти странные, тревожные фото говорят о том, что ИИ умнеет

Блог компании Madrobots Искусственный интеллект
Перевод


ИИ учится генерировать изображения из подписей и начинает лучше понимать наш мир


Из всех моделей искусственного интеллекта именно GPT-3 разработки OpenAI сильнее всего поразила воображение публики. Она без особых подсказок может извергать стихотворения, короткие рассказы и песни, заставляя думать, что это работы человека. Но красноречие — всего лишь уловка, которую не стоит путать с реальным интеллектом.
Разве может робот создать шедевр?
Всего голосов 51: ↑48 и ↓3 +45
Просмотры 84K
Комментарии 144

Нейросети убьют 2d художников

Разработка игр *Обработка изображений *Машинное обучение *Искусственный интеллект Будущее здесь

Никого они, конечно, не убьют, но рынок труда в ближайшие пять лет поменяют точно. Произойдёт это постепенно, плавно и заметно будет только на значительной дистанции, в моменте глядя вперед или оглядываясь назад, мы не увидим каких-то значительных сдвигов как и при любом эволюционном процессе.

Читать далее
Всего голосов 14: ↑11 и ↓3 +8
Просмотры 7K
Комментарии 109