Делаем did you mean, часть вторая

[KirillGolub]

Try: britnej spearz
Response: It seems that you have type right words

Try: britni spirs
Response: It seems that you have type right words

Try: fuck them all!!!
Response: Did you mean duck theme all ?

Да нет, я имел в виду именно то, что имел в виду :)

Поглядел с точки зрения ламера. На досуге покопаюсь в коде и подумаю головой :)

[Restorer]

я немного неверно выразился на страничке :) вечером перепишу текст. в общем по вышему случаю - таких слов нет в словаре. словарь по большей части состоит из различных финансовых терминов.

[Restorer]

немного исправил код. теперь в случаях когда слова совсем не удалось угудать будет писаться "Some (or even all) of this words was not found in dictionary"

[DeFacto]

вроде ... of these words ...

[wicked_sten]

Try: wha tthe hewll dp yopu mesn
Response: Did you mean what tthe hell dp yopu mens ?

Выводы:
1. wha tthe - не оценивается пробел не в том месте
2. dp и yopu (do и you, рядом, два слова, в одном смещение на 1 букву по клавиатуре, в другом нажатие 2 кнопок рядом, кнопки те же, возможно систематическая ошибка) - не особо обработано.
3. mesn -> mens скорее словарный приск чем приоритет опечаток. mesan и measn - корректно предлагает means

[Restorer]

1. да. this is a feature
2. dp -> слова меньше 2 букв не заносятся в словарь

а так да, конечно всё не идеально. но уже много лучше, чем в прошлый раз.

[GubkaBob]

сорри, уронил на одной букве. просто note

[Restorer]

спасибо за найденный баг. пофиксил.

[MEXX]

Ретро с дига, мож кто не видел: http://fotki.yandex.ru/users/svtslv/view… :)

[wii]

woh ma i? — Server error: Error 8 (Undefined index: start)..
На другое пока что не угадывает, но не вылетает.

[Restorer]

who нет в словаре, слов меньше 2х символов тоже нет в словаре :)

[wii]

Не в этом дело. Вылетал Server error. До проверки словаря дело не доходило.
Сегодня этой проблемы уже не увидел — показался сайт.

[Restorer]

была проблема - вылетало если ввести слово из 1 буквы.
а что до моих объяснений - так это к тому, что woh ma i не угадается.

[aleks_raiden]

отличный материал, что-то похожее нам надо сделать, буду копать смотреть вашу реализацию может что-то полезное вынесу для себя

[Prophet]

Каково время выполнения запроса с

WHERE gram1 LIKE '%b%' OR gram1 LIKE '%a%' OR gram1 LIKE '%k%' OR gram1 LIKE '%c%' OR gram2 LIKE '%ba%' OR gram2 LIKE '%ak%' OR gram2 LIKE '%kc%'

для достаточно большой базы данных? Подозреваю, что большое, так как индексы использоваться не будут.

[Restorer]

на самом деле если делать поиск на среднего размера сайте, то запросы исполнятюся быстро. на демо залита база реального сайта, вы можете включиь дебаг и посмотреть (0.02 секунды где-то). гораздо дольше работает вычисление рейтингов в php

[dienow]

А сколько записей в таблице?

[Restorer]

COUNT(*) = 9200

[AndryX]

Server error: Error 8 (Undefined index: start) occured in /var/www/rst/www-zame/pub/search-guess-demo-new/incl/search_guess.php at 169

"i lve yu"

[Tholomeo]

Автор! Вы великолепны! Может быть немного оффтопика, но всё же! Скажите мне пожалуйста одну вещь: почему до сих пор не существует ни одного спеллчекера, учитывающего расстояние между буквами на клавиатуре?

[Restorer]

возможно они есть, просто про них никто не рассказывает.

[Tholomeo]

Так а всё-таки? Это разве так сложно?

[akral]

DVORAK, DVORAK! ^_~

[AndryX]

Не знаю насколько идея хорошо, но не проще ли юзать гугль? оО
Посылать поисковый запрос через GET и смотреть что выдаст гугль в Did you mean :)

[Restorer]

неспортивно и долго :) а ещё гуглю может за такое забанить (были случаи)

[AndryX]

Про долго можно поспорить (относительно чему долго...), а вот бан - да, это плохо :)
Я всегда был поклонником изобретать велосипед, но тут я бы наверное искал готовое решение.

[AlienZzzz]

можно еще сменить мускл на постгре, там есть в функциях полнотекстового поиска поиск по отпечаткам, и нет русского , как я понял, т.е. имхо какой смысл в нем, только для буржуев полезно.

[SatyrArs]

photo - вообще не узнаёт слово(

[Restorer]

такого слова нет в словаре

[Aleksey]

Посмотрите стандартный spellchecker из Apache Lucene. Он также использует технологию n-gramm-ов, но его преимущество состоит в том, что при поиске подходящего термина используется не SQL OR конструкция, а полнотекстовый boolean-овский OR поиск с вычислением релевантности на основе TF-IDF, что дает гораздо лучшие результаты и в плане релевантности подсказки и в плане производительности.

[xunter]

а как с русским текстом? Попробовал Lucene.NET — с английским все хорошо, а русский не выдает!
Использовал StandartAnalyzer, SpellChecker. Последний ничего не выдает.
???