Pro-search reference manual

$processor{'prot'}{'file'}{'disabled'} = 1;

Необходимо загрузить в базу данных диапазоны и/или ресурсы которые будем сканировать: создаем файл, например rangeи прописываем все диапазоны и непингуемые ресурсы например

            
10.13.32.0/27
10.13.110.0/24
ftp://192.168.50.10
ftp://10.10.201.201

Диапазоны могут быть любого вида понимаемого nmap (напр 172.16.0,2,6,7.0-254) или конкретные ресурсы (file://.. , ftp://.. , ...) загружаем в базу коммандой
perl crawler.pl file=range --noscan
ИЛИ указать все диапазоны и ресурсы прямо в коммандной строке например
perl crawler.pl --noscan 10.13.32.0/27 10.13.110.0/24 ftp://192.168.50.10

Вытаскивает диапазоны или ресурсы с вражеских поисковиков, форумов, списков, итд 8)
примеры:
запуск во всех случаях (файл может быть локально, на ftp, file, http):
perl crawler.pl --noscan ipdig=http://search.zzz.ru/ftp_list.php

на страничке: присутствует 10.20.1.4 ... ftp://10.20.5.7 ..... 10.20.8.100
мы хотим добавить все подсети: 10.20.1.0/24 10.20.5.0/24 10.20.8.0/24
config.pl:
по умолчанию

мы хотим добавить все ftp: ftp://10.20.1.4 ftp://10.20.5.7 ftp://10.20.8.100
config.pl:

            
  $config{'dig_prot_add'} = 'ftp';
  $config{'dig_netmask'} = '';

или мы хотим найти только ftp://* , только ip, только что-нибудь еще -
- сочиняем свой $config{'dig_find_mask'}

Так-же возможна комманда ipdigf=file.txt , где в file.txt на каждой строчке по ссылке на страницы/файлы

Внимание! паука можно запускать только из его директории. из других мест работать не будет. Если нужно запустить например из крона - cd /usr/local/www/search && perl crawler.pl params...

=== Некоторые Возможные Параметры crawler.pl:

- в любом количестве и в любой последовательности

Действия:
installУстановка базы, таблиц, директорий. Можно запускать несколько раз.
proc[=NUM]запустить NUM Процессов сканирования (по умолчанию 1)
drop[=table]Удаление таблиц[ы].
purgeУдалить из базы устаревшие записи
delhost=HOSTудалит из всех таблиц HOST.
deldeadудалить хосты без файлов из таблицы resource
upload[=NUM]обработать содержимое в NUM потоков var/
index_disableВыключить индексы на таблице filebase
index_enableВключить, Но гораздо быстрее включать индексы с помощью
repair[=table]mysql починить все таблицы или если указано одну
mirпочинить таблицу с помощью myisamchk
flushmysql
analyzemysql
optimizemysql
mystatusmysql show processlist в файл mysql.???????.dump
hublist[=url]загрузить dc хаблист или $config{'hublist'}
mrtgвывод данных для графиков mrtg
statчуть статистики
upgradeпривести таблицы к текущей версии
helpвсе взозможные параметры

Цели:
[ip]10.1.2.3
[ip_range](nmap style) 192.168.0.0/16 '192.88-90.*.*'
[resource]ftp://10.2.3.4 \\10.3.4.5
scan=[ip|resource|resource]см выше.
[file]list.txt file=filenameвзять список для сканирования из файла
Файл может быть локальным или url
http://.. ftp://.. file://..
skip=[ip]равносильно записи в bannedили $config{'banned'}

Параметры:
[-]|[c[onf]]-KEY=VALUEУстановить значение $config{KEY} = VALUE
например --log_screen=1
Также можно указывать --xxx__yyy=zzz, что равносильно

$config{'xxx'}{'yyy'} = 'zzz';

Полезные параметры из $config{..}
--forceСканировать ресурс[ы] даже если не пришло их время
--ftp_recurse_forceрекурсивный обход ftp (вместо ls -R)(для серверов vsftpd)
--pingonlyНе сканировать порты, только пинг (для поддержки online (если не нужно каждый интервал [до|пере]сканировать ресурсы)) --log_dbgВыводить сообщения для отладки
--log_allВыводить все сообщения
--fastНе проверять на ошибки базы, не делать повторов при ошибках

Можно указывать хоть все параметры вместе - выполнены будут в оптимальном порядке. Например
perl crawler.pl drop install file=range --noscan 10.20.0.0/16 ftp://10.30.40.50

Любое действие можно указывать с одним "-" например
perl crawler.pl drop -install -debug

запускаем один или несколько процессов сканирования (например 3) (это можно запихнуть в автозагрузку)
perl crawler.pl proc=3
все - система живет, работает, цветет и пахнет.

Можно запустить демоном:
perl crawler.pl proc=3 &

Для *nix Вы можете отредактировать под себя search.sh.distи скопировать его например в /usr/local/etc/rc.d/search.shдля автоматичесмкой загрузки при старте системы.

Для одноктатного сканирования определенного ресурса можно запускать crawler с указанием цели (может быть несколько).
различные варианты:

Для очистки базы от мертвых ресурсов желательно запускать каждый день-неделю-... [пожже это будет встроено в proc и будет выполняться само]
perl crawler.pl purge

При желании, и если это будет иметь результаты в скорости поиска-вставки можно запускать
perl crawler.pl optimize

После прерываний работы crawler в ./var/ могут появляться файлы, обработать их можно с помощью

perl crawler.pl upload

Для автоматической очистки ./var/ и ./tmp/ можно в крон добавить find /usr/local/www/search/tmp/ -mtime +30 -delete

По умолчанию автоопределение. Многие браузеры кроме оперы 8) по умолчанию отдают язык en.
Если иногда бывают настоящие en пользователи можно так:

$config{'lng_default_auto'} = 'ru'; # if autodetect fail - use ru

Если en пользователей не бывает - лучше убрать автоопределение так:

$config{'lng_default'} = 'ru'; # disable autodetect, use ru

(ручное переключение языка работать будет)

Если необходимо сканировать ftp с логином-паролем отличным от anonymous -
или сканируем ftp://login:pass@10.20.30.40 - в результатах так и будет c логином и паролем.
или добавляем в конфиг

            
$config{'fine'}{'10.20.30.40'}{'anonymous_user'} = 'xxx';
$config{'fine'}{'10.20.30.40'}{'anonymous_pass'} = 'yyy';

сканируем как обычно ftp://10.20.30.40

если большой и неравномерный диапазон - лучше разбить на маленькие примерно таким скриптом:

for (0..210) { print "10.20.$_.0/24\n"; }

результат в файл, просканировать, везде где alive:0 - убрать в другой файл (его на вякий случай еще можно раза 2 просканировать в разное время - вдруг кто проявится)

Если сеть с большим количеством файлов (более 1-3 миллионов) - перед первым сканированием:
perl crawler.pl index_disable
как все пройдет:
perl crawler.pl index_enable
при последующих пересканированиях mysql будет задумываться только о новых файлах.

mrtg sample config:
mrtg.conf

          
...
Target[local.ips]: `cd /usr/local/www/search/ && perl crawler.pl mrtg --log_screen=0 --log_all=- --nolog_startstop --fast`
MaxBytes[local.ips]: 100000
Options[local.ips]: growright, gauge, noinfo, nopercent
WithPeak[local.ips]: ymw
Title[local.ips]: ip in local net
YLegend[local.ips]: ips now/total
LegendI[local.ips]: ips total
LegendO[local.ips]: ips alive
ShortLegend[local.ips]: ip
Legend1[local.ips]: - total ip's
Legend2[local.ips]: - alive ip's
Legend3[local.ips]: - total ip's max per 5 min
Legend4[local.ips]: - alive ip's max per 5 min

Target[local.res]: `cd /usr/local/www/search/ && perl crawler.pl mrtg=online --log_screen=0 --log_all=- --nolog_startstop --fast`
MaxBytes[local.res]: 100000000
Options[local.res]: growright, gauge, noinfo, nopercent
WithPeak[local.res]: ymw
Title[local.res]: online resource size
YLegend[local.res]: files/mbytes
LegendI[local.res]: files
LegendO[local.res]: Mbytes
ShortLegend[local.res]: .
Legend1[local.res]: - files
Legend2[local.res]: - mbytes
Legend3[local.res]: - files max per 5 min
Legend4[local.res]: - mbytes max per 5 min
...

OR with $config{'mrtg_out'}:
config.pl:

$config{'mrtg_out'} = '/usr/local/www/search/mrtg.out';

mrtg.cfg

Target[local.ips]: `cat /usr/local/www/search/mrtg.out`

for web:

          
  $config{'html_main_aft'} = '<table><tr><td>net alive:</td><td>shared:</td></tr><tr><td><a href="http://site/mrtg/local.ips.html">
   <img src="http://site/mrtg/local.ips-day.png"/></a></td><td><a href="http://site/mrtg/local.res.html">
   <img src="http://site/mrtg/local.res-day.png"/></a></td></tr></table><p/>';

alt-printscreen на окошке проводника photoshop ctrl-n enter ctrl-v zoom select ctrl-c ctrl-n enter ctrl-v ctrl-alt-shift-s png-128 enter

Не все параметры из конфига можно переопределить из коммандной строки. Например $program{'upload'}{'proc'}- нельзя. Далее покажем как это обойти. Аналогично можно подстраивать любые действия-параметры

Вариант 1:

            
 #Устанавливаем любой параметр 
 $program{'upload'}{'proc'} = 1 if $param->{'example'};

Или

            
 #Устанавливаем любые параметры
 if ($param->{'example'}) {
   $program{'upload'}{'proc'} = 1 ;
   $config{'log_dbg'} = 1;
 }

и запускаем
perl crawler.pl proc --example

Вариант 2:

            
 $program{'example'}{'func'} = sub {
   $program{'upload'}{'proc'} = 1;
   $config{'log_dbg'} = 1;
   $program{'proc'}{'func'}->();
 }

и запускаем
perl crawler.pl example

Используя фантазию и данные примеры можно сделать себе жизнь легче и удобнее 8)