IT-answer

Коллекторы служат для сбора информации с сенсоров. Как правило коллекторы идут в одном пакете с анализаторами т.к. без них пользы мало. Однако стоит уделить отдельное им внимание.

Для начала выясним, какая информация приходит на коллектор и вообще как происходит взаимодействие между сенсором и коллектором.

Итак: Сенсор в одностороннем порядке передает данные по NetFlow. От версии протокола зависит формат передаваемых данных. Современные маршрутизаторы как правило работают с 1, 5 и 9 версиями протокола.

1 и 5 версии весьма похожи друг на друга. Пятая версия более продвинута. В ней включена информация о BGP, а так-же нумерация пакетов для контроля.

NetFlow v9 - это совсем другое дело. В девятой версии применяется совершенно другая идеология - передача данных на основе шаблона. То есть оборудование сначала сообщает, какие данные она передаст, а потом их передает. Передача данных о шаблонах происходит через определенные промежутки времени.

Задача коллектора

Коллектор должен распознать данные и передать информацию для хранения в базу данных (файловую или реляционную). Также коллектор должен распознавать версию NetFlow и источник передачи данных.

Проблемы сбора данных

Их много. Наиболее острые:

• Целостность информации - NetFlow работает на уровне UDP. Это значит, что доставка данных не гарантирована. Эта проблема решается размещением коллектора как можно ближе к сенсору и подключением через скоростные каналы.
• "Гонки" - Если вы отправляете данные с нескольких сенсоров на один коллектор, то могут возникнуть проблемы с конкурирующими данные. Коллектор может не успеть передать данные прежде чем придут новые. Это очень большая проблема и должна решаться размещением коллекторов на скоростных серверах, распределением нагрузки, разделением процесса коллектора на потоки.
• Типизация данных - Принимая данные с сенсоров разных моделей или производителей вы получаете целый веер проблем, связанных с типизацией данных. Особенно это касается с девятой версией протокола, которая не имеет жесткой структуры. Вопросы хранения с заранее не предопределенной структурой заставляют использовать наиболее продвинутые алгоритмы, чем старшие версии протоколов.