Баг. С гл. страницы идем на сообщения за сутки форума "О жизни Клуба", (+40) например, дале при переходе на страницу 2 или по ">>" - пусто, хотя на 1 стр. - "Всего 40 тем Показаны с 1 по 20"

сабж. Мелочь, но неприятно...

Я в поиске тоже заметил глюки с разбиением на страницы. На первой странице результатов есть ссылки на 2 и 3 страницы, однако при попытке перейти на них выдается сообщение "ничего не найдено".
http://fotoclub.ru/forum/textsearch.php?action=search&query=%CE%E1%ED%E8%ED%F1%EA&forum_id=0&date_interval=12&end_date=28.03.2005
А еще в результатах поиска, бывает, один и тот же пост показывается на нескольких страницах подряд.

Цитата:

от:Anton Shevchenko
Я в поиске тоже заметил глюки с разбиением на страницы. На первой странице результатов есть ссылки на 2 и 3 страницы, однако при попытке перейти на них выдается сообщение "ничего не найдено".
http://fotoclub.ru/forum/textsearch.php?action=search&query=%CE%E1%ED%E8%ED%F1%EA&forum_id=0&date_interval=12&end_date=28.03.2005
А еще в результатах поиска, бывает, один и тот же пост показывается на нескольких страницах подряд.

Подробнее

Есть такое. Особенности реализации. Если сможете реализовать для нас многопоточный поиск на загруженном сервере по миллиону тектовых сообщений в пределах секунды не грузя наглухо сервер, то я Вам скажу огромное человеческое спасибо. А пока - никак. :)

фига себе! то есть глюки сознательно заложены в алгоритм для увеличения скорости?
А вообще, давайте имеющийся алгоритм, структуры, покумекаю....

Цитата:

от: Anton Shevchenko
фига себе! то есть глюки сознательно заложены в алгоритм для увеличения скорости?
А вообще, давайте имеющийся алгоритм, структуры, покумекаю....

Поиск индексированный по словам. Индекс в БД. Классический варинат: таблица слов, таблица ID документов (собственно посты) и таблица связей между ними. Таблица связей имеет около 15.000.000 записей. Выборки делаются из каждой таблицы отдельно. После того, как получены ID документов в которых встречаются заказанные слова идет выборка уже по таблице с постами. Это сделано для универсализации движка поисковой системы, бо для поисковика документ вещь абстрактная и не обязательно форумный пост. Так вот в этот момент те посты, которые были удалены из базы, но не были удалены из индекса фактически не показываются и хоть в заголовке указано "с 1 по 20" будет меньше либо столько же. При перемещении по страницам это дело накапливается - весь результат поиска кешируется в сессии. Все эти ухищрения с неудалением постов из индекса и кешированием и дают требуемую скорость. Если делать весь поиск при обращении к каждой странице результатов (как список постов, фотографий и т.д. методом OFFSET/LIMIT) то все на фиг виснет как только приходит какой-нибудь качальщик с телепортом и добирается до середины пейджинга. Если удалять посты из индекса при удалении постов/тем, то при появлении модератора в форуме жизнь замирает - проверено опытным путем :) Как правило флеймовые темы содержат сотни слов и сделать такой количество перестроений в индексе по 15 миллионам записей очень накладно.

Вообще весь код Клуба строился на предположении, что 99% должно работать быстро, пусть даже с некоторыми глюками из-за кеширования всего-чего-только-можно. :)

Так индекс вообще никогда не перестраивается? Ведь тогда он будет только расти.... Пусть по расписанию перестраивается в мертвое время (хотя на фотору даже глубокой ночью несколько сотен пользователей онлайн :) ), хотя б раз в неделю....

еще, возможно, стоит отсортировать индекс не по алфавиту, а по частоте встречаемости слова в запросе (индекс же только для поиска используется?)

подумаю еще.

кстати, если не секрет, под какой СУБД все работает?

Цитата:

от: Anton Shevchenko
Так индекс вообще никогда не перестраивается?

Нет. Построение индекса заняло примерно 30 дней. И постов тогда было раза в два меньше.

Цитата:

от: Anton Shevchenko
Ведь тогда он будет только расти....

Ну да. Насколько я помню, из индекса посты удаляются в том случае если их-таки находят поиском :) Т.е. если на первой странице выведено не 20 из 20, а меньше, то при следующем поиске хвост заполнится (хотя и там могут оказаться удаленные посты).

Цитата:

от: Anton Shevchenko
Пусть по расписанию перестраивается в мертвое время (хотя на фотору даже глубокой ночью несколько сотен пользователей онлайн :) ), хотя б раз в неделю....

Если руки дойдут, то может организую поисковик на соседнем сервере, там все проще будет, во всяком случае если его положить под нагрузкой - отвалится только поиск, а не весь Клуб.
Цитата:

от: Anton Shevchenko

еще, возможно, стоит отсортировать индекс не по алфавиту, а по частоте встречаемости слова в запросе (индекс же только для поиска используется?)

Не понял, какой индекс отсортировать или имеется ввиду кластеризация по индексу? Сначала ищутся самые редки слова, потом к ним по И цепляются результаты более частых. Хотя некоторые паразиты ( :) !!!) набирают "Nikon Canon" и заметно подсаживают сначала базу, а потом и оперативку - бо спор бесконечный и флеймообразующий.
Цитата:

от: Anton Shevchenko

кстати, если не секрет, под какой СУБД все работает?

Постгрес 7.4, линукс, 2хОптерона и 4Г рам. Загрузка пока минимальная - массовый переход всей аудитории фотосайта должно выдержать :) (эк, размечтался...)

Цитата:

от: Volod
линукс

А че не фря? :)