Домой Без рубрики Как установить и настроить Filebeat? Облегченный экспедитор журналов для среды разработки и...

Как установить и настроить Filebeat? Облегченный экспедитор журналов для среды разработки и разработки

2532
0

Содержание

За последние несколько лет я играл с Filebeat — это один из лучших lightweight журнал / пересылка данных для вашего производственного приложения .

Рассмотрим сценарий, в котором вам нужно перенести журналы из одного клиентского местоположения в центральное местоположение для анализа. Splunk является одной из альтернатив для пересылки журналов, но это слишком дорого. На мой взгляд, это слишком дорого.

Вот где Filebeat входит в картину. Это супер легкий вес , простой, простой в настройке, использует меньше памяти и слишком эффективен. Filebeat является продуктом Elastic.co ,

Это надежно и не пропускает удар. Это guarantees delivery of logs ,

Готово из всех типов контейнеров:

Filebeat с помощью простой однострочной команды обрабатывает сбор, анализ и визуализацию журналов из любой из следующих сред:

  • апаш
  • NGINX
  • система
  • MySQL
  • Apache2
  • Auditd
  • Elasticsearch
  • HAProxy
  • Icinga
  • IIS
  • Iptables
  • Кафка
  • Kibana
  • Logstash
  • MongoDB
  • Osquery
  • PostgreSQL
  • Redis
  • Suricata
  • Traefik
  • И больше…

Filebeat поставляется с внутренними модулями (auditd, Apache, NGINX , System, MySQL и т. Д.), Которые упрощают сбор , анализ и визуализацию общих форматов журналов вплоть до одной команды .

Как установить Filebeat в среде Linux?

Если у вас есть какие-либо из нижеперечисленных вопросов, то вы попали по адресу:

  • Начало работы с Filebeat
  • Учебник по Filebeat: Начало работы
  • Установить, настроить и использовать FileBeat — Elasticsearch
  • Пример настройки и конфигурации Filebeat
  • Как установить Elasticsearch, Logstash?
  • Как установить Elastic Stack в Ubuntu ?

Шаг-1) Установка

Загрузите и извлеките двоичный файл Filebeat, используя команду ниже.

Среда Linux:

1
2
3
4
5
6
root @ localhost : ~ # curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.0-linux-x86_64.tar.gz
   % Всего      % Получено % Xferd Средняя скорость Время Время Время Текущий
                                 Dload Upload Всего отработанных левых скоростей
100 11.1M    100 11.1M      0      0    13.2M        0 :: :: :: 13.2M
root @ localhost : ~ # tar xzvf filebeat-6.7.0-linux-x86_64.tar.gz

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
root @ localhost : ~ # cd filebeat-6.7.0-linux-x86_64 /
root @ localhost : ~ / filebeat6.7.0linuxx86_64 # pwd
/ root / filebeat6.7.0linuxx86_64
root @ localhost : ~ / filebeat6.7.0linuxx86_64 # ls -ltra
Всего 36720
RWRR   1 корень корень      13675 март 21 14: 30 ЛИЦЕНЗИЯ . текст
RWRR   1 корень корень    163444 март 21 14: 30 УВЕДОМЛЕНИЕ . текст
drwxrхтх    4 корень корень      4096 март 21 14 : 31 kibana
drwxrхтх    2 корень корень      4096 март 21 14 : 33 модули . d
drwxrхтх 21 корень корень      4096 март 21 14 : 33 модуль
RWRR   1 корень корень    146747 март 21 14 : 33 поля . YML
rw ——-    1 корень корень      7714 март 21 14 : 33 FileBat . YML
RWRR   1 корень корень      69996 март 21 14 : 33 FileBat . ссылка. YML
rwxrxrx    1 корень корень 37161549 март 21 14 : 34 filebeat
RWRR   1 корень корень        802 март 21 14 : 35 ПРОЧИТАЙТЕ . Мэриленд
RWRR   1 корень корень        41 март 21 14 : 35 , build_hash . текст
drwx ——    9 корень корень      4096 март 30 13 : 46 , ,
drwxrхтх    5 корень корень      4096 март 30 13 : 46 ,

Mac Скачать:

1
2
локон L О https : //artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.0-darwin-x86_64.tar.gz
tar xzvf filebeat6.7.0darwinx86_64 . деготь. GZ

RPM Скачать:

1
2
локон L О https : //artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.0-x86_64.rpm
sudo rpm vi filebeat6.7.0x86_64 . оборотов в минуту

Шаг 2) Настройте файл конфигурации filebeat.yml

Проверять, выписываться filebeat.yml файл. Это файл конфигурации.

Вот простое содержимое файла.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
root @ localhost : ~ / filebeat6.7.0linuxx86_64 # cat filebeat.yml
###################### Пример конфигурации Filebeat #########################
# Этот файл является примером файла конфигурации, выделяя только самые распространенные
# опции. Файл filebeat.reference.yml из той же директории содержит все
# поддерживаются варианты с большим количеством комментариев. Вы можете использовать его в качестве ссылки.
#
# Вы можете найти полный справочник по конфигурации здесь:
# https://www.elastic.co/guide/en/beats/filebeat/index.html
# Для более доступных модулей и опций, см. Пример filebeat.reference.yml
# конфигурационный файл.
# =========================== Входы Filebeat ==================== =========
FileBat . входы :
# Каждый — это вход. Большинство параметров могут быть установлены на уровне входа, поэтому
# вы можете использовать разные входы для различных конфигураций.
# Ниже приведены конкретные настройки входа.
тип : журнал
   # Измените на true, чтобы включить эту конфигурацию ввода.
   включено : ложный
   # Пути, которые следует сканировать и извлекать. Основанные на глобусе пути.
   пути :
     / var / log / * . журнал
     # — c: / programdata /asticsearch / logs / *
   # Исключить строки. Список регулярных выражений для сопоставления. Это отбрасывает линии, которые
   # соответствие любому регулярному выражению из списка.
   #exclude_lines: ['^ DBG']
   # Включить строки. Список регулярных выражений для сопоставления. Он экспортирует строки, которые
   # соответствие любому регулярному выражению из списка.
   #include_lines: ['^ ERR', '^ WARN']
   # Исключить файлы. Список регулярных выражений для сопоставления. Filebeat удаляет файлы, которые
   # соответствуют любому регулярному выражению из списка. По умолчанию файлы не удаляются.
   #exclude_files: ['.gz $']
   # Необязательные дополнительные поля. Эти поля могут быть свободно выбраны
   # добавить дополнительную информацию в просканированные файлы журнала для фильтрации
   #fields:
   # level: debug
   # обзор: 1
   ### Многострочные параметры
   # Многострочный можно использовать для сообщений журнала, охватывающих несколько строк. Это распространено
   # для трассировки стека Java или продолжения C-Line
   # Шаблон регулярного выражения, который должен соответствовать. Пример шаблона соответствует всем строкам, начинающимся с [
   # multiline.pattern: ^ / [
   # Определяет, должен ли шаблон, установленный под шаблоном, быть отменен или нет. По умолчанию установлено значение false.
   # multiline.negate: false
   # Матч может быть установлен на «после» или «до». Он используется для определения необходимости добавления линий в шаблон
   #, которое было (не) сопоставлено до, после или до тех пор, пока шаблон не сопоставлен на основе отрицания.
   # Примечание: After — это эквивалент предыдущего, а before — следующий в Logstash
   # multiline.match: after
# ============================= Модули Filebeat ================== =============
FileBat . конфиг . модули :
   # Glob pattern для загрузки конфигурации
   путь : $ { путь . config } / modules . д / * . YML
   # Установите значение true, чтобы включить перезагрузку конфигурации
   перезагрузить. включено : ложный
   # Период, в течение которого файлы по пути должны проверяться на наличие изменений
   # reload.period: 10 с
# ==================== Настройка шаблона Elasticsearch =========================
установка. шаблон. настройки :
   индекс. number_of_shards : 3
   # index.codec: best_compression
   # _source.enabled: false
# ================================ Общее ================ =====================
# Имя грузоотправителя, который публикует данные сети. Может использоваться для группировки
# все транзакции, отправленные одним отправителем в веб-интерфейсе.
#название:
# Теги грузоотправителя включены в свое поле с каждым
# транзакция опубликована.
#tags: [service-X, web-tier]
# Необязательные поля, которые можно указать для добавления дополнительной информации в
# выход.
#fields:
# env: постановка
# ============================== Панели мониторинга ================== ===================
# Эти настройки управляют загрузкой примеров панелей мониторинга в индекс Kibana. загрузка
# информационные панели отключены по умолчанию и могут быть включены либо путем установки
опций здесь или с помощью флага CLI `-setup` или команды` setup`.
# setup.dashboards.enabled: false
# URL-адрес, откуда можно скачать архив информационных панелей. По умолчанию этот URL
# имеет значение, которое вычисляется на основе имени и версии ритма. Для выпущенных
# версии, этот URL-адрес указывает на архив панели мониторинга на сайте artifacts.elastic.co
# Веб-сайт.
# setup.dashboards.url:
# ============================== Кибана ================== ===================
# Начиная с Beats версии 6.0.0, информационные панели загружаются через API Kibana.
# Это требует настройки конечной точки Kibana.
установка. кибана :
   # Хибана Хост
   # Схема и порт могут быть опущены и будут установлены по умолчанию (http и 5601)
   # Если вы укажете и дополнительный путь, схема обязательна: http: // localhost: 5601 / path
   # Адреса IPv6 всегда должны быть определены как: https: // [2001: db8 :: 1]: 5601
   #host: localhost: 5601
   # Kibana Space ID
   # ID пространства Kibana, в которое должны быть загружены информационные панели. По умолчанию,
   # Будет использовано пространство по умолчанию.
   # space.id:
# ============================= Elastic Cloud ================== ================
# Эти настройки упрощают использование filebeat с Elastic Cloud (https://cloud.elastic.co/).
# Параметр cloud.id перезаписывает `output.elasticsearch.hosts` и
# `setup.kibana.host` options.
# Вы можете найти «cloud.id» в веб-интерфейсе Elastic Cloud.
# cloud.id:
# Параметр cloud.auth перезаписывает `output.elasticsearch.username` и
# `output.elasticsearch.password` настройки. Формат: «<пользователь>: <пароль>».
# cloud.auth:
# ================================ Выходы ================ =====================
# Настроить, какой вывод использовать при отправке данных, собранных в такт.
# ————————— Elasticsearch выход ——————— ———
вывод . эластичный поиск :
   # Массив хостов для подключения.
   хосты : [ localhost: 9200 ]
   # Включено ilm (бета) для использования управления жизненным циклом индекса вместо ежедневных индексов.
   # ilm.enabled: false
   # Необязательный протокол и базовые учетные данные.
   #protocol: https
   #username: эластичный
   #password: changeme
# —————————— Вывод Logstash —————— —————
# output.logstash:
   # Хосты Logstash
   #hosts: [localhost: 5044]
   # Необязательный SSL. По умолчанию выключено.
   # Список корневых сертификатов для проверок HTTPS-сервера
   # ssl.certificate_authorities: [/etc/pki/root/ca.pem]
   # Сертификат для аутентификации клиента SSL
   # ssl.certificate: /etc/pki/client/cert.pem
   # Ключ сертификата клиента
   # ssl.key: /etc/pki/client/cert.key
# ================================ Процессоры ================ =====================
# Настройка процессоров для улучшения или управления событиями, генерируемыми ритмом.
процессоры :
   add_host_metadata : ~
   add_cloud_metadata : ~
# ================================ Ведение журнала ================ =====================
# Устанавливает уровень журнала. Уровень журнала по умолчанию — информация.
# Доступные уровни журнала: ошибка, предупреждение, информация, отладка
# logging.level: debug
# На уровне отладки вы можете выборочно включить ведение журнала только для некоторых компонентов.
# Чтобы включить все селекторы, используйте [*]. Примерами других селекторов являются «бит»,
# «Публикация», «Сервис».
# logging.selectors: [*]
# ============================== Мониторинг Xpack ================= ==============
# filebeat может экспортировать внутренние метрики в центральный мониторинг Elasticsearch
# кластер. Для этого необходимо включить мониторинг xpack в Elasticsearch.
# отчеты отключены по умолчанию.
# Установите значение true, чтобы включить репортер мониторинга.
# xpack.monitoring.enabled: false
# Раскомментируйте, чтобы отправить метрики в Elasticsearch. Большинство настроек из
# Выход Elasticsearch также принимается здесь. Любая настройка, которая не установлена
# автоматически наследуется от выходной конфигурации Elasticsearch, так что если вы
# настроив вывод Elasticsearch, вы можете просто раскомментировать
# следующая строка
# xpack.monitoring.elasticsearch:

Откройте файл filebeat.yml и настройте местоположение файла журнала:

Шаг-3) Отправить журнал ElasticSearch

Убедитесь, что вы начали ElasticSearch локально перед запуском Filebeat. Я опубликую статью позже сегодня how to install and run ElasticSearch локально с простыми шагами.

Вот конфигурация файла filebeat.yml для ElasticSearch.

ElasticSearch работает на порте 9200.

1
2
3
вывод . эластичный поиск :
   # Массив хостов для подключения.
   хосты : [ localhost: 9200 ]

И все готово.

Шаг 4) Запустите Filebeat

1
2
Баш3,2 $ sudo chown root filebeat . YML
Баш3,2 $ Судо , / filebeat е

Выполните две вышеуказанные команды из корневого каталога filebeat, и вы должны увидеть журналы запуска filebeat, как показано ниже.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
root @ localhost : / user / crunchify / filebeat6.6.2linuxx86_64 # sudo chown root filebeat.yml
root @ localhost : / user / crunchify / filebeat6.6.2linuxx86_64 # sudo ./filebeat -e
20190330T14: 52: 02.608Z ИНФО экземпляр / бит . go : 616 Домашний путь : [ / user / crunchify / filebeat6.6.2linuxx86_64 ] Путь к конфигурации : [ / user / crunchify / filebeat6.6.2linuxx86_64 ] Путь данных : [ / user / crunchify / filebeat6.6.2linuxx86_64 / data ] Путь к журналам : [ / user / crunchify / filebeat6.6.2linuxx86_64 / logs ]
20190330T14: 52: 02.608Z ИНФО экземпляр / бит . go : 623 Удар UUID : da7e202dd48042df907a1073b19c8e2d
20190330T14: 52: 02.609Z ИНФОРМАЦИЯ [ seccomp ] seccomp / seccomp . go : 116 Syscall фильтр успешно установлен
20190330T14: 52: 02.609Z ИНФОРМАЦИЯ [ бить ] экземпляр / удар . go : 936 бить Информация { system_info : { бить : { путь : { config : /user/crunchify/filebeat-6.6.2-linux-x86_64 , «данные» : /user/crunchify/filebeat-6.6.2-linux-x86_64/data , дом : /user/crunchify/filebeat-6.6.2-linux-x86_64 , журналы : /user/crunchify/filebeat-6.6.2-linux-x86_64/logs } , тип : filebeat , uuid : da7e202d-d480-42df-907a-1073b19c8e2d } } }
20190330T14: 52: 02.609Z ИНФОРМАЦИЯ [ бить ] экземпляр / удар . go : 945 строить Информация { system_info : { build : { совершить : 1eea934ce81be553337f2828bd12131896fea8e4 , libbeat : «6.6.2» , «время» : 2019-03-06T14: 17: 59.000Z , «версия» : 6.6.2 } } }
20190330T14: 52: 02.609Z ИНФОРМАЦИЯ [ бить ] экземпляр / удар . go : 948 Идти время выполнения Информация { system_info : { идти : { os : linux , arch : amd64 , max_procs : 2 , version : go1.10.8 } } }
20190330T14: 52: 02.611Z ИНФОРМАЦИЯ [ бить ] экземпляр / удар . go : 952 хозяин Информация { system_info : { хозяин : { архитектура : x86_64 , время_загрузки : 2019-01-15T18: 44: 58Z , контейнер : false , имя : localhost , ip : [ 127.0.0.1/8 , :: 1/128 , 50.116.13.161/24 , 192.168.177.126/17 , 2600: 3c01 :: f03c: 91ff: fe17: 4534/64 , fe80 :: f03c: 91ff : fe17: 4534/64 ] , kernel_version : 4.18.0-13-generic , mac : [ f2: 3c: 91: 17: 45: 34 ] , os : { family : debian , platform : ubuntu , name : Ubuntu , version : 18.10 (Cosmic Cuttlefish) , major : 18 , minor : 10 , patch : 0 , кодовое имя : космический } , часовой пояс : UTC , timezone_offset_sec : 0 , идентификатор : 1182104d1089460dbcc0c94ff1954c8c } } }
20190330T14: 52: 02.611Z ИНФОРМАЦИЯ [ бить ] экземпляр / удар . go : 981 Процесс Информация { system_info : { процесс : { возможности : { унаследовано : null , разрешено : [ chown , dac_override , dac_read_search , fowner , fsetid , kill , setgid , setuid , setpcap , linux_immutable , net_bind_service, net_broadcast, net_admin, net_raw, ipc_lock, ipc_owner, sys_module, sys_rawio, sys_chroot, sys_ptrace, sys_pacct, sys_admin, «sys_boot» , «sys_nice» , «sys_resource» , «sys_time» , «sys_tty_config» , «mknod» , «lease» , «audit_write» , «audit_control» , «setfcap» , «mac_override» , «mac_admin» , «syslog» wake_alarm, block_suspend, audit_read], эффективное: [ Чаун, dac_override, dac_read_search, fowner, fsetid, убивать, setgid, УИП , setpcap, linux_immutable, net_bind_service, net_broadcast, net_admin, net_raw, ipc_lock, ipc_owner, sys_module, sys_rawio, sys_chroot, sys_ptrace, sys_pacct , sys_admin , sys_boot , sys_nice , sys_resource , sys_time , sys_tty_config , mknod , le ase , audit_write , audit_control , setfcap , mac_override , mac_admin , syslog , wake_alarm , block_suspend , audit_read ] , bounding : [ chown , dac_override , dac_read_search , fowner , fsetid , kill , setgid , setuid , setpcap , linux_immutable , net_bind_service , net_broadcast , net_admin , net_raw , ipc_lock, ipc_owner, sys_module, sys_rawio, sys_chroot, sys_ptrace, sys_pacct, sys_admin, sys_boot, sys_nice, sys_resource, sys_time, sys_tty_config , mknod , lease , audit_write , audit_control , setfcap , mac_override , mac_admin , syslog , wake_alarm , block_suspend , audit_read ] , ambient : null } , cwd : /user/crunchify/filebeat-6.6.2-linux-x86_64 , exe : /user/crunchify/filebeat-6.6.2-linux-x86_64/filebeat , имя : filebeat , pid : 20394 , ppid : 20393 , seccomp : { mode : filter , no_new_privs : true } , start_time : 2019-03-30T14: 52: 01.740Z } } }
20190330T14: 52: 02.611Z ИНФО экземпляр / бит . go : 281 Настройка Beat : filebeat ; Версия : 6.6.2
20190330T14: 52: 05.613Z ИНФОРМАЦИЯ add_cloud_metadata / add_cloud_metadata . go : 319 add_cloud_metadata : тип хостинг провайдера нет обнаружено .
20190330T14: 52: 05.614Z ИНФО эластичный поиск / клиент . go : 165 URL-адрес Elasticsearch : http : // localhost: 9200
20190330T14 : 52 : 05.615Z ИНФОРМАЦИЯ [ издатель ] трубопровод / модуль . go : 110 Бит имя : локальный
20190330T14 : 52 : 05.615Z ИНФО экземпляр / бит . go : 403 filebeat начать работать .
20190330T14 : 52 : 05.615Z ИНФО регистратор / регистратор . go : 134 Загрузка данных регистратора из / user / crunchify / filebeat6.6.2linuxx86_64 / data / registry
20190330T14 : 52 : 05.615Z ИНФОРМАЦИЯ [ мониторинг ] журнал / журнал . go : 117 Начало регистрации метрик каждый 30е годы
20190330T14: 52: 05.616Z ИНФО регистратор / регистратор . go : 141 состояния
Загружен из регистратора : 0
20190330T14: 52: 05.616Z INFO гусеничный / гусеничный . go : 72 Загрузка входов : 1
20190330T14: 52: 05.616Z ИНФО лог / вход . go : 138 Настроенные пути : [ / crunchify / tutorials / log / crunchifyfilebeattest . журнал ]
20190330T14: 52: 05.616Z ИНФО вход / ввод . go : 114 Начиная ввод типа: журнал ; ID : 7740765267175828127
20190330T14: 52: 05.617Z INFO гусеничный / гусеничный . go : 106 Загрузка и Пусковые входы завершены . Включенные входы : 1
20190330T14: 52: 05.617Z ИНФОРМАЦИЯ cfgfile / перезагрузка . go : 150 Config перегружатель начал
20190330T14: 52: 05.617Z ИНФОРМАЦИЯ cfgfile / перезагрузка . go : 205 Загрузка конфигурационных файлов завершена.

Шаг 5) Результат

Следующим шагом будет проверка, какие журналы поступают в Elastic Search и как вы визуализируете. Очень скоро мы пройдем подробное руководство по этому вопросу. Оставайтесь в курсе.

Что дальше? Настройка эластичного поиска

Как установить и настроить Elasticsearch в вашей среде разработки / производства?

Как установить и настроить Filebeat? Облегченный экспедитор журналов для среды разработки и разработки

0.00 (0%) 0 votes

ЧИТАТЬ ТАКЖЕ:  Как добавить опцию регистрации в Twitter (OAuth2) на форуме Discourse.org - подробные и проверенные шаги

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь