FlowCollector Changelog

Версия 1.4

Дата релиза: 11.03.2025

Новые возможности

Поддержка BGP FlowSpec
Реализована генерация событий BGP FlowSpec в ответ на обнаружение сетевых аномалий, что позволяет автоматически блокировать порты, используемые в атаках.

Функционал Router ID
Добавлена поддержка Router ID для группировки источников NetFlow с общими или индивидуальными счетчиками, что предотвращает ошибки, вызванные обработкой дублирующихся потоков.

Хранение SNMP в ClickHouse
Теперь данные SNMP сохраняются в ClickHouse рядом с NetFlow и используются в Data Explorer для классификации интерфейсов и анализа направлений сетевого трафика.

Поддержка IPv6 для ICMP Flood
Добавлена полная поддержка IPv6 для детекции атаки ICMP-flood.

Интеграция с NATS
Реализована поддержка NATS для передачи информации и событий о сетевых аномалиях, что повысило производительность системы.

Новые векторы детекции аномалий

Детекция атаки HTTPS-flood
Детекция атаки GRE-flood

Улучшения производительности

Запись метрик напрямую в ClickHouse
Метрики теперь записываются непосредственно в ClickHouse, что значительно повысило производительность параллельной записи метрик и статистики.

Оптимизация механизма детекции аномалий
Улучшена общая производительность системы, протестирована обработка атак на 2 миллиона IP-адресов одновременно.

Оптимизация обработки NetFlow

Все входящие потоки NetFlow теперь сохраняются в ClickHouse для анализа в Data Explorer.
Реализовано сжатие NetFlow-данных старше 24 часов для экономии места.
Добавлена возможность произвольного поиска данных в SP Spider.

Улучшение обработки зеркалированного трафика
Общие оптимизации производительности.

Автоматическое распределение нагрузки по CPU
Оптимизирована работа сервиса Analyzer, теперь ресурсы автоматически распределяются между всеми ядрами процессора.

Повышение эффективности записи отчетов
Увеличена скорость записи отчетов и точность фиксируемых данных.

Исправления ошибок и мелкие улучшения

Исправлена ошибка зависания маршрутов GoBGP.
Поддержка 32-битных значений в IPFIX для совместимости со старыми или менее продвинутыми маршрутизаторами.
Добавлены новые системные метрики: В FlowCollector появились метрики для отладки, включая количество экспортируемых метрик и число защищаемых хостов под анализом.
Мелкие исправления ошибок и улучшения удобства использования.

Версия 1.0

* Новая функция ручного создания "дампов" сетевого трафика для режима port mirroring (API + телеграмм-бот)
* Обновлен формат оповещений для Telegram и SMTP. Теперь в сообщении находится ссылка на отчет относящийся к сетевой аномалии
* Общие улучшения производительности по системе
* Множественные баг-фиксы

Версия 0.6.94

* Появились полноценные отчеты по каждой аномалии, дашборд "reports"
* Реализована интеграция с gobgp, в том числе возможность отправки разных анонсов
* Реализована автоматическая настраиваемая запись трафика (создание "дампа") по факту аномалии в режиме port mirroring
* Новый вариант оповещений в телеграмм: можно отправлять "дампы" сразу после их записи
* Новый дашборд: Top-12 IP addresses (bits + packets)

Версия 0.6.9

* Поддержка для сетевых карт Mellanox
* Увеличение производительности

Версия 0.6.8

* Генерация отчетов по каждой аномалии, с детальной информации по трафику
* Новый вариант оповещения о начале аномалии: SMTP (e-mail)