日志采集

日志采集_日志采集工具Flume

失败是最佳的营养，腐烂的树叶是树成长最佳的肥料一样，我们不仅要反思自己的过错，更要分享自己的过错，敢于分享自己过错的人才是了不起的人。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中…

Elastic Agent 的安装及使用

概述 Elastic Agent是Elastic Stack中的一个全新组件，旨在简化和统一监控和集成管理流程。它是一个轻量级的代理，可以部署到各种不同类型的主机和容器中，用于收集系统指标、日志和事件数据，并将其发送到Elasticsearch进行存储和分析。在es7及以前的版本中，使用 elast…

Log4j2 配置日志记录发送到 kafka 中

前言 log4j2 在 2.11.0 之后的版本，已经内置了 KafkaAppender 支持可以将打印的日志直接发送到 kafka 中，在这之前如果想要集中收集应用的日志，就需要自定义一个 Layout 来实现，相对来说还是比较麻烦的。官网文档：L…

Logstash 7.7.1版本安装系统梳理

前言上一篇文章介绍了《ElasticSearch7.7.1集群搭建 & Kibana安装》，今天说一下 Logstash的安卓和配置； Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以动态地将来自不同数据源的数据统一起来，并将数据标准化…

FileBeat笔记（一）——安装和采集Springboot日志

1. 下载和安装 # windows 下载，本文以windows命令演示 https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-windows-x86_64.zip# linux 下载 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-darwin-x86_64.tar.g…

Docker上部署LPG（loki+promtail+grafana）踩坑复盘

Docker上部署LPG（lokipromtailgrafana）踩坑复盘声明网上配置部署踩坑声明参考掘金文章：https://juejin.cn/post/7008424451704356872 版本高的用docker compose命令，版本低的用docker-compose 按照文章描述，主要准备…

夜莺浏览日志、filebeat采集日志（四）

文章目录一、elasticsearch二、filebeat三、日志分析一、elasticsearch docker启动 docker run -d -p 9200:9200 -p 9300:9300 --restartalways -e ES_JAVA_OPTS"-Xms512m -Xmx512m" \ -e discovery.typesingle-node -e xpack.security.enabledtrue -e ELASTIC_P…

Filebeat 采集 k8s Pod 和 Events 日志实战操作

文章目录一、概述1）采集 Pod 日志流程介绍3）采集 Events 日志流程介绍二、K8s 集群部署三、ElasticSearch 和 kibana 环境部署四、Filebeat 采集配置1）采集 Pod 日志配置2）采集 Events 日志配置1、创建 filebeat 授权 token2、f…