dreamhunter
Рейтинг
+1.70
Сила
3.30

dreamhunter

Владимир

avatar
Даа… Люблю его чертяку. Перл всмысле.
avatar
Я и не говорю, что там прям гигантская нагрузка, но она именно возрастает в десятки раз, так как ASA абсолютно не умеет агрегировать данные. А именно:
Маршрутизатор передает информацию о сессии. В записи информация о времени ее начала, конца, количество байт, количество пакетов и т.д.
ASA же шлет информацию о каждом пакете.

То есть если в маршрутизаторе несколько пакетов «собрано» в одной записи, которая описывает всю сессию, то ASA опишет каждый пакет этой сессии. Соответственно получается дичайшая избыточность данных.

Естественно это связано с разницей архитектуры устройств…
avatar
Да как сказать актуально… С ASA я разобрался давно, в коллектор алгоритм только не добавлял — лениво. Вообще с ASA снимать netflow плохая практика. Из-за формата данных, которые приходят оттуда, нагрузка на коллектор возрастает в десять раз.
И плюс ко всему я так понял ты пользовался уже готовым решением, а у меня полностью своя разработка…
avatar
Добавлена интеграция в систему Cacti.
avatar
Проект перемещен в https://sourceforge.net/projects/netflow/
avatar
Че было то, админ? С чего база то упала?
avatar
Если честно я и не подозревал о этом пакете. С другой стороны моей целью и было полностью разобраться с протоколом. А вообще спасибо за ссылку.
avatar
Тут в общем то порочный круг: Если я не умею писать движок на сайт — я воспользуюсь готовыми. В готовых всегда может содержаться вредоносный код. Что бы это пресечь, необходим специалист высокого класса. Если есть такой специалист, зачем тогда нужен готовый движок?
Мало того. Если например пользоваться коммерческими проектами и платить деньги, все равно можно напороться на неприятности. В итоге ты заплатил деньги и тебе все равно нужен специалист высокого класса.
avatar
проверено, все ок. Как говорит мой коллега: трафик NetFlow, хоть и довольно большой, но зато бежит тонкой струйкой.
Однако конечно, где можно обойтись без триггеров — лучше обойтись без них.
avatar
Все же было бы неплохо хотя бы одну картинку с изображением сабжа. Далеко не все хотят лезть в гугл-картинки.
avatar
Спешл для Костяна:
CREATE TABLE IF NOT EXISTS `ip4report` (
`id` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
`device_id` INT UNSIGNED NOT NULL,
`first` DATETIME NOT NULL,
`firstms` SMALLINT UNSIGNED NOT NULL,
`last` DATETIME NOT NULL,
`lastms` SMALLINT UNSIGNED NOT NULL,
`srcaddr` INT UNSIGNED,
`dstaddr` INT UNSIGNED,
`nexthop` INT UNSIGNED,
`input` SMALLINT UNSIGNED,
`output` SMALLINT UNSIGNED,
`dpkts` INT UNSIGNED,
`doctets` INT UNSIGNED,
`srcport` SMALLINT UNSIGNED,
`dstport` SMALLINT UNSIGNED,
`tcp_flags` TINYINT UNSIGNED,
`prot` TINYINT UNSIGNED,
`tos` TINYINT UNSIGNED,
`src_as` SMALLINT UNSIGNED,
`dst_as` SMALLINT UNSIGNED
) ENGINE=InnoDB;

delimiter |

CREATE TRIGGER `v5toip4report` AFTER INSERT ON `v5`
FOR EACH ROW BEGIN
INSERT INTO `ip4report` VALUES (
0,
NEW.`device_id`,
FROM_UNIXTIME(NEW.`datetime`-CEIL((NEW.`sysuptime`-NEW.`first`)/1000)),
1000 — MOD(NEW.`sysuptime`-NEW.`first`, 1000),
FROM_UNIXTIME(NEW.`datetime`-CEIL((NEW.`sysuptime`-NEW.`last`)/1000)),
1000 — MOD(NEW.`sysuptime`-NEW.`last`, 1000),
NEW.`srcaddr`,
NEW.`dstaddr`,
NEW.`nexthop`,
NEW.`input`,
NEW.`output`,
NEW.`dpkts`,
NEW.`doctets`,
NEW.`srcport`,
NEW.`dstport`,
NEW.`tcp_flags`,
NEW.`prot`,
NEW.`tos`,
NEW.`src_as`,
NEW.`dst_as`);
END;
|
Если не сможешь этим воспользоваться — бросай программирование!!!
avatar
Дерзай-дерзай…
avatar
вообще то не очередь, а многопоточность. UDP протокол, по которому передаются данные, ждать не будет.
по FlowTools — этот проект не развивается. Посмотри, когда была сделана последняя версия.
avatar
Плюс я тебе расскажу такую тему:
Данные NetFlow могут прийти на коллектор в любой момент. Обработка данных с одного коллектора занимает N времени. Если ты используешь свой домашний компьютер как сенсор — этого как бы будет хватать. Но если ты работаешь в серьезной организации, то у тебя начнутся следующие проблемы:
Данные с одного из сенсоров могут прийти в тот момент, когда твой коллектор обрабатывает данные другого. В этом случае ты будешь просто терять данные. Поверь это реальность в сетях с количеством пользователей больше 500 и сенсорами Cisco ASA.

Вот тебе и выбор: делать заточенный под определенные нужды коллектор либо попытаться сделать что-нибудь по-производительней, переложив функции анализа данных на анализаторы.
avatar
Хех, а во flow-tools они обработанные? =)
Ну и почему ты говоришь что у меня они не обработанные, если они извлекаются обычным SQL скриптом? тебе какой еще вид то надо? =)
avatar
ты предыдущую часть читал? зачем тебе flow-tools?
avatar
в моих статьях… (
avatar
хмм? сайт раскрутился чтоль? смотрю реклама пошла.
avatar
Переоформил статью. Теперь есть намек на релиз.
avatar
Даже не знаю что и сказать…
Во-первых работаю усердно на одним интересным проектом, который скоро выложу.
А во-вторых я не знаю чего людям хочется узнать.
Будет вторая часть. Когда? — Скоро. =)