Thank you for reading this post, don't forget to subscribe!
Использование централизованного лог-сервера для хранения логов очень удобно, когда мы имеем развитую инфраструктуры серверов. Но хранить журналы в файлах, хоть и на одном сервере очень неудобно в плане анализа этих данных. Идеальным решением будет хранить журналы в базе данных, где можно выполнять намного более быстрый поиск сообщений для их дальнейшего анализа. Rsyslog имеет модули для работы с разными базами данных. Расмотрим пример настройки хранения журналов в базе данных на примере СУБД Mysql.
Установим необходимые пакеты:
sudo yum install rsyslog-mysql mariadb-server
Настройка СУБД
Запускаем Mariadb
sudo systemctl start mariadb
Выполним скрипт первоначальной настройки
mysql_secure_installation
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 |
NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY! In order to log into MariaDB to secure it, we"ll need the current password for the root user. If you"ve just installed MariaDB, and you haven"t set the root password yet, the password will be blank, so you should just press enter here. Enter current password for root (enter for none): OK, successfully used password, moving on… Setting the root password ensures that nobody can log into the MariaDB root user without the proper authorisation. Set root password? [Y/n] yes New password: Re-enter new password: Password updated successfully! Reloading privilege tables.. … Success! By default, a MariaDB installation has an anonymous user, allowing anyone to log into MariaDB without having to have a user account created for them. This is intended only for testing, and to make the installation go a bit smoother. You should remove them before moving into a production environment. Remove anonymous users? [Y/n] y … Success! Normally, root should only be allowed to connect from "localhost". This ensures that someone cannot guess at the root password from the network. Disallow root login remotely? [Y/n] y … Success! By default, MariaDB comes with a database named "test" that anyone can access. This is also intended only for testing, and should be removed before moving into a production environment. Remove test database and access to it? [Y/n] y - Dropping test database… … Success! - Removing privileges on test database… … Success! Reloading the privilege tables will ensure that all changes made so far will take effect immediately. Reload privilege tables now? [Y/n] y … Success! Cleaning up… All done! If you"ve completed all of the above steps, your MariaDB installation should now be secure. Thanks for using MariaDB! |
После первоначальной настройки СУБД, где мы создали пользователя root и задали ему пароль, выполним подготовку БД к использованию Rsyslog
Вместе с модулем были установлены вспомогательные инструменты, которые упрощают настройку.
В директории /usr/share/doc/rsyslog-8.24.0 храниться скрипт, который создаст базу со всеми необходимыми для работы таблицами.
Запустим команду:
mysql -u root -p < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
Теперь, когда есть база сохдадим пользователя с правами которого будет происходить дальнейшая работа Rsyslog сервера с СУБД:
Подключаемся к базе и выполняем команду:
|
1 2 |
<strong>GRANT ALL PRIVILEGES ON Syslog.* TO "syslog_user"@"localhost" IDENTIFIED BY "1111"; </strong> |
Настройка Rsyslog
Включаем возможность получения логов с удаленных серверов и модуль для работы с базой данных
|
1 2 3 4 5 6 7 8 |
# Получение сообщений по протоколу UDP на порту 514 $ModLoad imudp $UDPServerRun 514 # Подключение модуля mysql $ModLoad ommysql |
Пишем фильтр для обработки логов принятых с удаленного сервера, будем их отправлять в базу
|
1 2 |
:fromhost-ip, isequal, "172.20.1.58" :ommysql:127.0.0.1,Syslog,syslog_user,1111 |
Указываем использование модуля mysql с данными для подключения к базе:
|
1 |
:ommysql:ip-адрес_сервера:имя_БД,имя_пользователя_для_подключения,пароль |
Перезапускаем Rsyslog сервер
systemctl restart rsyslog
Производим настройку на клиенте, прописываем отправлять логи на наш лог сервер
cat /etc/rsyslog.conf
|
1 |
*.* @172.20.1.162 |
Теперь проверим как это работает
С клиента выполним команду для отправки текста как лог сообщения
logger "Testing log messages"
Теперь на сервере Rsyslog посмотрим что записалось в базу
|
1 |
<strong>SELECT id,DeviceReportedTime,FromHost,Message FROM SystemEvents;</strong> |
|
1 2 3 4 5 6 7 8 |
+----+---------------------+--------------+-----------------------+ | id | DeviceReportedTime | FromHost | Message | +----+---------------------+--------------+-----------------------+ | 4 | 2017-12-25 12:04:04 | test-debian9 | Testing log messages | +----+---------------------+--------------+-----------------------+ 1 row in set (0.01 sec) |
Настройки работают, теперь мы сможем хранить и читать лог сообщения из БД.