сбор статистики HTTP

[esvaf]

Здравствуйте!

Передо мной стоит задача собирать и записывать в базу список url адресов, запршеных с компьютеров моей сети по HTTP, с указанием времени и имени компьютера(или ip). В распоряжении имеется компьютер, подключенных на равных правах с остальными. Сеть построена на базе одного хаба. ОС Linux.

Комп с точки зрения сети РАВНОЗНАЧНЫЙ с пользовательскими.

НЕ роутер, НЕ шлюз и никто другой...

Заранее спасибо за помощь!

[Aceler]

Перефразирую задачу: вам нужно перехватить все пакеты, гуляющие по сети, и вытащить из них те, что содержат обращения к http серверам, а из пакетов вытащить адреса?

[esvaf]

Да. Еще желательно ip(или имя) хоста, отправившего запрос.

[AccessD]

воспользоваться снифером

[esvaf]

AccessD писал(а) Thu, 11 January 2007 21:49

воспользоваться снифером

А поточнее можно?

Какой сниффер лучше подходит для моей задачи?

И как его запустить(параметры, скрипты)?

[AccessD]

а вот в этом вам поможет гугл. в сети полно ресурсов по этой теме.

но имейте ввиду, что сниферы в сети могут быть вычислены админом, со всеми вытекающими

[Hans R. Steiner]

Эта задача не выполнима... если только, Вы не собираетесь

в автоматическом режиме, генерировать URL и пытаться на него

зайти.

[Aceler]

esvaf писал(а) Thu, 11 January 2007 21:51

AccessD писал(а) Thu, 11 January 2007 21:49 воспользоваться снифером А поточнее можно? Какой сниффер лучше подходит для моей задачи? И как его запустить(параметры, скрипты)?

Никакой. Очень специфичная задача, скорее всего вам придется писать скрипт для обработки вывода сниффера.

[Aceler]

Hans R. Steiner писал(а) Thu, 11 January 2007 21:55

Эта задача не выполнима... если только, Вы не собираетесь в автоматическом режиме, генерировать URL и пытаться на него зайти.

Почему?

[esvaf]

AccessD писал(а) Thu, 11 January 2007 21:53

а вот в этом вам поможет гугл. в сети полно ресурсов по этой теме. но имейте ввиду, что сниферы в сети могут быть вычислены админом, со всеми вытекающими

Я убьюсь ап стенку если сам себя замечу!

Проблема лишь в том, что роутером не я занимаюсь...

[Hans R. Steiner]

Потому, что я ответ набивал долго... пока задача не была

перефразирована

А как я понял задачу - надо собрать список адресов, на которые не

пускает провайдер (именно эта задача невыполнима)

[Aceler]

Hans R. Steiner писал(а) Thu, 11 January 2007 22:42

Потому, что я ответ набивал долго... пока задача не была перефразирована

30 минут???

[Ineu]

Предполагая, что сеть построена на свичах (а что она построена на хабах, очень маловероятно), ответственно заявляю, что проснифить трафик Вам не удастся. Трафик попросту не будет доходить до Вашей машины, исходя из самого принципа работы свичей. Обойти это можно, лишь превратив свич в хаб путем переполнения CAM-таблиц. А вот за такие художества любой вменяемый провайдер отключает сразу, без выяснений, предупреждений и штрафов.

ЗЫ. Перечитал исходный пост еще раз, только заметил "сеть построена на базе одного хаба". Если это _действительно_ хаб, то можете считать вышеизложенное просто маленькой оффтоповой лекцией

[Aceler]

EvilShadow писал(а) Thu, 11 January 2007 23:30

Предполагая, что сеть построена на свичах (а что она построена на хабах, очень маловероятно),

Народ, вы что оба два???

esvaf писал(а) Thu, 11 January 2007 21:15

Здравствуйте! Передо мной стоит задача собирать и записывать в базу список url адресов, запршеных с компьютеров моей сети по HTTP, с указанием времени и имени компьютера(или ip). В распоряжении имеется компьютер, подключенных на равных правах с остальными. Сеть построена на базе одного хаба. ОС Linux.

[Ineu]

Бен, у Вас что, фиды ежеминутно проверяются?

[Aceler]

Нет, каждые пять минут.

[esvaf]

1.Это действительно Х_А_Б и никто другой, даже могу сходить модель посмотреть если это пригодится.

2.Какие непускаемые адреса провайдера? Надо СПИСОК ПОСЕЩЕННЫХ АДРЕСОВ(даже не важно работают ли они - в браузере набрал url, нажал enter - адрес уже в базе) - в совершенстве это база MySQL с тремя полями время/хост_юзверя/запрошенный_URL

так-же хорошо иметь просто список сайтов(без путей по сайту) но при хранении в базе я сам напишу скрипт выдирания адресов самих сайтов

[Aceler]

esvaf писал(а) Fri, 12 January 2007 00:11

1.Это действительно Х_А_Б и никто другой, даже могу сходить модель посмотреть если это пригодится. 2.Какие непускаемые адреса провайдера? Надо СПИСОК ПОСЕЩЕННЫХ АДРЕСОВ(даже не важно работают ли они - в браузере набрал url, нажал enter - адрес уже в базе) - в совершенстве это база MySQL с тремя полями время/хост_юзверя/запрошенный_URL так-же хорошо иметь просто список сайтов(без путей по сайту) но при хранении в базе я сам напишу скрипт выдирания адресов самих сайтов

У меня такое чувство, что сегодня все дружно разучились читать чужие посты....

[Aceler]

По теме.

Попробуйте snort в режиме snort -dev. А вывод его перенаправьте на перловый скрипт, который будет парсить URL.

[esvaf]

Aceler писал(а) Fri, 12 January 2007 00:41

По теме. Попробуйте snort в режиме snort -dev. А вывод его перенаправьте на перловый скрипт, который будет парсить URL.

ну snort -dev это уже что-то.

Спасибо!

А с перлом я не дружу.......

Примера такого скрипта нет?

[Aceler]

Maestro писал(а) Fri, 12 January 2007 08:48

всего делов то...

На несколько тысяч рублей

[Aceler]

Ну вы же не знаете, где находится машинка с линуксом и где хаб... А ставить новую - это те самые тысячи.

Лучше пусть изучает Perl Или любой другой PCRE язык.

[Hans R. Steiner]

Aceler писал(а) Fri, 12 January 2007 00:35

esvaf писал(а) Fri, 12 January 2007 00:11 1.Это действительно Х_А_Б и никто другой, даже могу сходить модель посмотреть если это пригодится. 2.Какие непускаемые адреса провайдера? Надо СПИСОК ПОСЕЩЕННЫХ АДРЕСОВ(даже не важно работают ли они - в браузере набрал url, нажал enter - адрес уже в базе) - в совершенстве это база MySQL с тремя полями время/хост_юзверя/запрошенный_URL так-же хорошо иметь просто список сайтов(без путей по сайту) но при хранении в базе я сам напишу скрипт выдирания адресов самих сайтов У меня такое чувство, что сегодня все дружно разучились читать чужие посты....

Просто, ошибок меньше в словах допускатиь надо... особенно,

критичных. Вы наверное слышали прикол о том, что в слове, главное

только пара букв, а вче остальное достраивается и допридумывается

из-за чего, мы не замечаем многих ошибок...

слово "запршеных" я только с четверторо раза смог

прочитать как "запрошенных"

[Aceler]

/me вешает на грудь значок "почетный телепат Linux.ru"

[esvaf]

Я же писал, что очччень желательно без модификаций железа(сети).