Jump to content
Sign in to follow this  
sunjob

recollindex - realtime monitoring

Recommended Posts

добрый день

давно использую сабж (recoll-морда и recollindex) и наблюдаю неадекватное поведение реалтайм мониторинга

собирал с обоими поддержками (fam & inotify), у обоих примерное поведение неадекватности, только у fam-a их больше :о)

смысл неадекватности: пока база данных маленькая то мониторинг вроде как более менее работает, в течении 5-10 секунд именениея в содержании файла видны, как только база вырастает более 2гигов, то реалтайм мониторинг "уходит в глухую оборону", не видит изменений или вообще сваливается

вопрос 1: есть кто самолично (и лучше самосборно и с большой базой данных) запустил реалтайм на своей машине?

далее... :о) при запуске recollindex происходит "просмотр или переиндексация изменеий", которая занимает достаточное время/процессор (особенно при больших базах данных)

- при нормально работающем "реалтайме" этого, сообстбвенно, и не надо делать то

- но! после этой "переиндексации изменений" - видятся прошлые изменения, которые не были замечаны до этого (прошлые это обычно со вчерашнего дня или сеанса)

причем ни какими ключами запуска не мог добиться что бы recollindex запускался без этой самой "переиндексации"

так как "реалтайм" барахлил то я мирился с этими переиндексациями (хрен с ним, потарахтит неск. минут и успокоится)

теперь решил разобраться

вопрос 2: кто ни будь смог запустить реалтайм монитор без этих "задрочествований"

recoll использует xapian в кач-ве базы данных, мониторю эту тему года эдак с... блин, короче давно, собирал все версии recoll & xapian, ненормальность наблюдалась примерно одинаково во всех версиях, в более старых чуть менее

п.с. с автором программы связывался, описывал косяки, ни чего внятного не получил, кроме "предложения повторить несколько раз эти косяки с разными режимами, типа с базой на 3, 5 и более гигобайт итд" апосля отписаться ему... :о)

slackware 12.2, kernel 2.6.29.6, kde(tde) 3.5.12, 32гб, asus gts 250/512, sdd,hdd,cd-dvd-ram etc...

Share this post


Link to post
Share on other sites

с первым вопросом разобрался:

/etc/sysctl.conf

# inotify for recollindex realtime monitoring

#

# cat /proc/sys/fs/inotify/max_queued_events - 16384

# cat /proc/sys/fs/inotify/max_user_instances - 128

# cat /proc/sys/fs/inotify/max_user_watches - 16384

#

# -->

#

fs.inotify.max_queued_events=32768

fs.notify.max_user_instances=256

fs.inotify.max_user_watches=32768

///

остался второй вопрос: запуск recollindex - без переиндексации

Share this post


Link to post
Share on other sites

опять написал автору, он ответил что "специально для этого добавил ключ -n... в последней версии" !!! замечательно!!!

использую версию 1.14.4 (древнюю, шуструю и не падучую) - осталось написать патч :о)

Share this post


Link to post
Share on other sites

фсе, тему можно сдавать в архив, патч для старой версии recollindex-1.14.4, который добавляет новый ключ "-n" для подавления «переиндексации», т.е. тихий старт

--- src/index/recollindex.cpp 2010-11-27 23:40:38.000000000 +0700

+++ src/index/recollindex.cpp.2 2013-10-12 20:23:45.000000000 +0800

@@ -23,6 +23,7 @@

#include <stdio.h>

#include <signal.h>

+#include <unistd.h>

#include <errno.h>

#include <sys/time.h>

#include <sys/resource.h>

@@ -157,6 +158,7 @@

#define OPT_x 0x800

#define OPT_l 0x1000

#define OPT_b 0x2000

+#define OPT_n 0x4000

static const char usage [] =

"\n"

@@ -169,6 +171,7 @@

"recollindex -m [-w <secs>] -x [-D]\n"

" Perform real time indexing. Don't become a daemon if -D is set.\n"

" -w sets number of seconds to wait before starting.\n"

+" -n skip initial incremental indexing pass.\n"

#ifndef DISABLE_X11MON

" -x disables exit on end of x11 session\n"

#endif /* DISABLE_X11MON */

@@ -232,6 +235,7 @@

case 'i': op_flags |= OPT_i; break;

case 'l': op_flags |= OPT_l; break;

case 'm': op_flags |= OPT_m; break;

+ case 'n': op_flags |= OPT_n; break;

case 's': op_flags |= OPT_s; break;

#ifdef RCL_USE_ASPELL

case 'S': op_flags |= OPT_S; break;

@@ -333,9 +337,11 @@

if (!(op_flags & OPT_x) && !x11IsAlive())

exit(0);

- confindexer = new ConfIndexer(config, &updater);

- confindexer->index(rezero, ConfIndexer::IxTAll);

- deleteZ(confindexer);

+ if ((op_flags&OPT_n) == 0) {

+ confindexer = new ConfIndexer(config, &updater);

+ confindexer->index(rezero, ConfIndexer::IxTAll);

+ deleteZ(confindexer);

+ }

int opts = RCLMON_NONE;

if (op_flags & OPT_D)

opts |= RCLMON_NOFORK;

Share this post


Link to post
Share on other sites

а вот и рано сдавать в архив

применил патч, присланный автором, переустановил и... все равно переиндексация каждый раз, при запуске демона...

написал обратно автору, молчит... давайте вместе думать :о) если кому интересно

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...
Sign in to follow this  

×
×
  • Create New...