Netflow-искания Часть 3.1 (изобретаем анализатор)

Очередным доказательством того что своя на работе только кружка послужило стирание виртуалки с NetFlow анализатором. Причины по сути довольно смешные. Не смешная только возможность потерять данные. В связи с этим решил создать новый топик, где поделюсь своими исследованиями и сохраню методы решения задачи для себя.

Преамбула: Есть такая классная штука, как сервер видеонаблюдения. Еще есть не менее классная штука как сервер ВКС. И они очень любят кушать канал связи. 10 мегабит для них — воронка, в которую они пытаются просунуть свой арбуз. Одним весенним утром наш Мега-Босс захотел воспользоваться конференц-связью дабы отыметь своих подчиненных пусть не физически, но хоть так. И что характерно — отымел, но совсем не тех кого ожидали, а наш отдел. Качество связи было отвратительным.
Естественно сам факт совершенного насилия над нами был лишь следствием. Захотелось узнать истинные причины этого. Одной из задач стояло составление очень сложного отчета по трафику в разрезах по сервисам. То есть грубо говоря необходимо было поставить на мониторинг и детально разобрать трафик для выяснения причин плохого качества ВКС.

Задача: Сформировать сложный, но читабельный для всех отчет по трафику по заданным периодам в разрезе по различным сервисам/источникам данных.

Исходные данные: Сырые данные, собранные Flow-Tools.

Читать дальше →

Ошибка при обновлении NO_PUBKEY 07DC563D1F41B907

  • Linux
Для установки кодеков в Debian\Lenny добавил репозиторий www.debian-multimedia.org и при apt-get update получил ошибку GPG error:
W: GPG error: http://www.debian-multimedia.org squeeze Release:
The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 07DC563D1F41B907

Помогло следующее:
# apt-get install debian-keyring

И потом:
# gpg --keyring /usr/share/keyrings/debian-keyring.gpg -a --export 07DC563D1F41B907 |apt-key add -

После этого apt-get update отрабатывает без ошибок.

Копирование HDD во FreeBSD

Сегодня был очень приятно порадован далеко шагнувшим прогрессом в области резервного копирования.

Возникла необходимость увеличить диск на виртуальной машине (vmware). Старый диск был объемом 15 GB. Естественно он быстро забился. Создали новый образ, но как поступить? Кроме того что мне не хватало дискового пространства, у меня был еще и swap маленького размера (это как раз тот случай, когда размер имеет значение). Насколько я знаю, процедуры расширения слайса не бывает. Потому первое что в голову пришло — dump/restore. Я уже пользовался этим набором — вполне успешно, только геморно. Обратился к Google и он мне подсказал, что оказывается есть решение попроще:
# whereis clonehdd
clonehdd: /usr/ports/sysutils/clonehdd
# cd /usr/ports/sysutils/clonehdd
# make install clean
# rehash
# man clonehdd
...читаем и видим пример:
# clonehdd -src=ad0 -dst=ad2 -swap=1024
его и пользуем...

Естественно названия дисков у меня были другие и размер swap больше.
После того как я ввел команду с необходимыми мне параметрами, он меня вежливо предупредил, что все на dst диске будет убито. И сделал всю грязную работу.
Во время копирования я посмотрел, какие процессы запущены — dump/restore.
То есть фактически это красивая и удобная упаковка для этих двух программ. Я запустил копирование на работающей машине. Конечно сколько то байт информации потерялось, но мне было все равно. В данном случае это было допустимо.

Как добавить еще одну сетевую карту гостю в KVM

  • Linux
Ну удалось сходу найти в русском сегменте сети инструкцию по данной теме. Тем кто только начинает изучать виртуализацию в среде KVM будет полезно.

Есть уже работающий домен (виртуальный сервер) под названием gw, которому надо добавить еще одно устройство — сетевую карту. Данный домен будет использоваться в качестве шлюза сети, NAT. В системе уже должны быть настроены bridge интерфейсы:

# brctl show
bridge name  bridge id          STP enabled   interfaces
bridge0      8000.00a0d1e848c4  no            eth0
                                              vnet0
                                              vnet1
bridge1      8000.00a0d1e848c5  no            eth1


Из этой картины мы видим, что к bridge0 уже подцеплено два виртуальных сетевых интерфейса, которые уже работают в каких-та доменах.

Задача — на bringe1 повесить еще один виртуальный интерфейс, который будет доступен в виртуальной машине в качестве eth1.

Читать дальше →

BASH Tips&Tricks #000B: Hello ли world? О встроенном в BASH "Эффекте бабочки".

  • BASH
Изучение многих языков программирования начинается с написания с простейшего кусочка кода, выводящего на экран радостно-интернациональное Hello, world!
Теперь давайте представим себе, что мы только начинаем изучать BASH и решили написать нашу первую приветствующую мир программку:

#!/bin/bash
echo "Hello, world!"

Я думаю, вы догадались уже, в чём подвох.
А именно: этот элементарный код не работает…

Читать дальше →

Не проходят вызовы или голос в asterisk?

  • Asterisk
Очень распространенная проблема с голосом по IP, когда нужно передать в другую сеть, то не слышно вас или собеседника. Сам бился много раз. Нашел в сети полезную схему как диагностировать проблему. Может кому пригодится в решении проблемы.



И еще одна схема дальше →

Netflow-искания Часть 3 (изобретаем коллектор)

Итак поигрались с готовыми решениями — красота. Что дальше? Лично меня очень беспокоила информация о потерянных пакетах в логах:
# /var/log/flow-capture.log:
ftpdu_seq_check(): src_ip=xxx.xxx.xxx.xxx dst_ip=0.0.0.0 d_version=5 expecting=1531521097 received=1531521307 lost=210
ftpdu_seq_check(): src_ip=xxx.xxx.xxx.xxx dst_ip=102.0.0.0 d_version=5 expecting=1730244036 received=1730300526 lost=56490
ftpdu_seq_check(): src_ip=xxx.xxx.xxx.xxx dst_ip=99.111.117.110 d_version=5 expecting=1730207586 received=1730300556 lost=92970
ftpdu_seq_check(): src_ip=xxx.xxx.xxx.xxx dst_ip=102.0.0.0 d_version=5 expecting=1730300556 received=1730300586 lost=30

Плюс ко всему какие то нелепые dst_ip.

Что бы не мешать основному процессу, добавляю на сенсоре строчку для дублирования инфы на другой порт:
# conf t
# ip flow-export destination xxx.xxx.xxx.xxx 9997

Циска ругнется, что мы дублируем инфу, но послушно выполнит.

Читать дальше →

Cacti - The complete RRDTool-based solution

Предыстория: О cacti я слышал много положительных отзывов. Эта статья написана после серии статей «Netflow-искания» поскольку получилось слишком много оффтоп-информации, которая могла бы оказаться полезной.

Возможности:
1) Сбор данных по SNMP, NetFlow, Syslog и ciscoconfigs с устройств сети;
2) Анализ собранных данных и их отображение в виде графиков;
3) Построение карт сетей;
4) Мониторинг доступности устройств.

Задача: Организовать мониторинг сети на основе программного комплекса Cacti.

Имеем: Сервер с установленными FreeBSD 9.1, Apache 2.2, PHP 5.3, MySQL 5.5, Flow-Tools 0.68.

Читать дальше →

Как вывести конфигурацию микротика в текстовый файл или на консоль

  • Mikrotik
Вот так:
Показать конфиг в терминале
/export compact

Сохранить конфигурацию в файл
/export compact file=myconfig

При этом конфигурация микротика сохраняется в понятном текстовом виде, вроде
/interface bridge
add name=bridge1
/interface ethernet
set 0 comment=To-ADSL-Modem mtu=1480 name=WAN
set 1 comment=To-LAN-Switch name=LAN
set 2 master-port=LAN
set 3 master-port=LAN
set 4 master-port=LAN
и т.д.

Livestreet 1.0.2

Livestreet 1.0.2
Движок сайта обновлен с версии 0.5 на последнюю актуальную 1.0.2. Постепенно буду добавлять плагины и допиливать шаблон. Если найдете баги, прошу писать в комментах этой темы или в личку.

Netflow-искания Часть 2 (анализаторы)

Итак, если вы вдруг случайно настроили сенсоры, коллекторы и FlowTools, то естественно встанет вопрос с анализатором. Flow-Tools — очень хороший пакет программ. Но если вы работаете в более-менее приличной конторе, в которой есть больше одного IT работника, вам понадобится как то представлять (показывать) информацию своим коллегам и начальству для дальнейшего разбора полетов.

Читать дальше →

Star Wars

  • Юмор
Alex Young сообщает:
C:\Users\young>tracert -h 200 216.81.59.173
Трассировка маршрута к FIN [216.81.59.173] с максимальным числом прыжков 200:
 1 3 ms 2 ms 1 ms msk-b13-s49.ti.ru [212.1.254.115]
 2 3 ms 2 ms 2 ms 212.1.240.165
 3 8 ms 7 ms 7 ms 78.25.83.161
 4 60 ms 59 ms 60 ms 10.222.238.110
 5 70 ms 74 ms 81 ms 10gigabitethernet1-1.core1.lon1.he.net [195.66.224.21]
 6 67 ms 73 ms 74 ms 10gigabitethernet2-4.core1.par2.he.net [72.52.92.42]
 7 143 ms 142 ms 149 ms 10gigabitethernet7-1.core1.ash1.he.net [184.105.213.93]
 8 155 ms 162 ms 158 ms 10gigabitethernet1-2.core1.atl1.he.net [184.105.213.110]
 9 150 ms 154 ms 155 ms 216.66.0.26
 10 191 ms 190 ms 190 ms 10.26.26.102
 11 197 ms 201 ms 196 ms Episode.IV [206.214.251.1]
 12 196 ms 195 ms 194 ms A.NEW.HOPE [206.214.251.6]
 13 185 ms 190 ms 185 ms It.is.a.period.of.civil.war [206.214.251.9]
 14 190 ms 191 ms 188 ms Rebel.spaceships [206.214.251.14]
 15 195 ms 193 ms 194 ms striking.from.a.hidden.base [206.214.251.17]
 16 191 ms * 192 ms have.won.their.first.victory [206.214.251.22]
 17 200 ms 197 ms 194 ms against.the.evil.Galactic.Empire [206.214.251.25]
 18 195 ms 189 ms 190 ms During.the.battle [206.214.251.30]
 19 191 ms 194 ms 194 ms Rebel.spies.managed [206.214.251.33]
 20 192 ms 190 ms 188 ms to.steal.secret.plans [206.214.251.38]
 21 191 ms 190 ms 196 ms to.the.Empires.ultimate.weapon [206.214.251.41]
 22 194 ms 191 ms 195 ms the.DEATH.STAR [206.214.251.46]
 23 197 ms 194 ms 192 ms an.armored.space.station [206.214.251.49]
 24 191 ms 196 ms 201 ms with.enough.power.to [206.214.251.54]
 25 193 ms 193 ms 200 ms destroy.an.entire.planet [206.214.251.57]
 26 198 ms 199 ms 199 ms Pursued.by.the.Empires [206.214.251.62]
 27 190 ms 192 ms 189 ms sinister.agents [206.214.251.65]
 28 192 ms 195 ms 196 ms Princess.Leia.races.home [206.214.251.70]
 29 190 ms 190 ms 190 ms aboard.her.starship [206.214.251.73]
 30 202 ms 191 ms 189 ms custodian.of.the.stolen.plans [206.214.251.78]
 31 198 ms 196 ms 202 ms that.can.save.her [206.214.251.81]
 32 185 ms 192 ms 191 ms people.and.restore [206.214.251.86]
 33 199 ms 196 ms 198 ms freedom.to.the.galaxy [206.214.251.89]
 34 193 ms 194 ms 197 ms 0-------------------0 [206.214.251.94]
 35 * 197 ms 196 ms 0------------------0 [206.214.251.97]
 36 197 ms 190 ms 194 ms 0-----------------0 [206.214.251.102]
 37 193 ms 190 ms 195 ms 0----------------0 [206.214.251.105]
 38 195 ms 201 ms 194 ms 0---------------0 [206.214.251.110]
 39 194 ms 193 ms 190 ms 0--------------0 [206.214.251.113]
 40 193 ms 196 ms 212 ms 0-------------0 [206.214.251.118]
 41 199 ms 195 ms 190 ms 0------------0 [206.214.251.121]
 42 198 ms 196 ms 196 ms 0-----------0 [206.214.251.126]
 43 198 ms 199 ms 191 ms 0----------0 [206.214.251.129]
 44 196 ms 196 ms 191 ms 0---------0 [206.214.251.134]
 45 190 ms 195 ms 194 ms 0--------0 [206.214.251.137]
 46 192 ms 197 ms 193 ms 0-------0 [206.214.251.142]
 47 195 ms 193 ms 194 ms 0------0 [206.214.251.145]
 48 201 ms 199 ms 201 ms 0-----0 [206.214.251.150]
 49 189 ms 205 ms 194 ms 0----0 [206.214.251.153]
 50 199 ms 194 ms 195 ms 0---0 [206.214.251.158]
 51 199 ms 194 ms 193 ms 0--0 [206.214.251.161]
 52 196 ms 198 ms 193 ms 0-0 [206.214.251.166]
 53 201 ms 195 ms 196 ms 00 [206.214.251.169]
 54 191 ms 190 ms 189 ms I [206.214.251.174]
 55 199 ms 199 ms 201 ms By.Ryan.Werber [206.214.251.177]
 56 196 ms 198 ms 192 ms When.CCIEs.Get.Bored [206.214.251.182]
 57 199 ms 200 ms 201 ms read.more.at.beaglenetworks.net [206.214.251.185]
 58 196 ms 198 ms 196 ms FIN [216.81.59.173]
Трассировка завершена.
C:\Users\young>


UPD: если вам мало, проделайте «telnet towel.blinkenlights.nl».

Netflow-искания Часть 1 (сенсоры и коллекторы)

Я думаю, что все согласятся с тем, что мониторинг сетевой активности является одной из приоритетных задач в процессе эксплуатации корпоративных сетей.
Все легко и просто, пока вы администрируете сеть небольшого офиса в городе N. Но что если ваша фирма пошла в гору и стала расширяться? Открытие нового филиала скорей всего повлечет начало отношений с провайдерами, организацию каналов связи и более сложные (назовем это так) манипуляции с сетью.
Нет желания описывать такие вещи, как маршрутизацию, ее необходимость и проблемы с ней связанные. Допустим вы непосредственно маршрутизацию победили. Но это не значит, что все у вас будет хорошо.

Читать дальше →

Коллекция интересных (нетривиальных) LDAP-related ссылок

  • LDAP
Данная коллекция будет пополняться время от времени путём непосредственного редактирования мной данного поста.
Нужна в первую очередь мне самому, поскольку кроме собственно ссылок содержит и краткое описание того, о чём в соотв. материалах идёт речь.

Читать дальше →

Три буквы о главном

  • LDAP
Во многих странах уже давно и успешно пользуются технологиями SSO для частных нужд компаний и корпораций. У нас об SSO если и знают, то что-то совсем не то (и часто вообще путают с доменным входом в сеть Windows) и не применяют на практике, а чаще — не знают, не интересуются и знать не желают.
Читать дальше →

SSD HDD и мифы о тюнинге или правильный тюнинг для работы с SSD, выбор SSD

В предыдущем посте я поделился с вами, тем почему разная цена на серверные и десктопные диски. Думаю теперь не лишне обсудить работу с SSD-дисками, точнее надо ли их тюнинговать, как это написано на разных ресурсах, но советую сперва прочитать статью в блоге моего коллеги по форуму OSZONE.NET Вадима Стеркина«12 мифов об оптимизации SSD, которые никогда не умрут.
Читать дальше →