目录
1. 常用组合1.1 ELK Stack -> Elastic Stack1.2 EFK Stack1.3 Graylog1.4 PLG 日志系统1.5 Splunk1.6 Filebeat + ELK1.7 AWS CloudWatch Logs1.8 阿里云日志服务1.9 腾讯云 CLS（日志服务）
2. 推荐
日志收集是系统监控和调试中的关键环节。常见的日志收集方案有多个，每种方案各有优劣，选择时应根据实际业务需求进行评估。以下是几种常用的日志收集方案及其特点，这里只是进行概括阐述，具体的细节还需要自己深入了解。
1. 常用组合
1.1 ELK Stack -> Elastic Stack
之前常说的 ELK = Elasticsearch、Logstash、Kibana；而现在 ELK Stack 已经演变为更广泛的 Elastic Stack，包含的核心组件除了传统的 Elasticsearch、Logstash 和 Kibana 外，还包括一些扩展工具来增强日志收集、监控和数据可视化的功能。
比如现在常用的 Elasticsearch + Logstash + Kibana + Beats 的组合，其中，Beats 负责日志的采集， Logstash 负责做日志的聚合和处理，Elasticsearch 作为日志的存储和搜索系统，Kibana 作为可视化前端展示。 例如 1.6 Filebeat + ELK/EFK 就是 Elastic Stack 中的。
优点：
功能强大，可以处理大量的日志。提供强大的可视化和分析功能，通过 Kibana 展现日志的趋势、查询和告警。Elasticsearch 支持强大的搜索和数据存储。 缺点：
资源消耗较大，维护成本高，尤其是在大规模数据情况下。Logstash 配置复杂，且性能相较其他方案较慢。当日志量非常大时，Elasticsearch 的性能可能会成为瓶颈。 适用场景：适合日志量大、需要实时分析和搜索日志的场景，特别是在 DevOps 监控、生产环境中。
1.2 EFK Stack
之前的组合为：EFK = Elasticsearch、Fluentd、Kibana，但是后续推荐的组合为：EFK = Elasticsearch、Fluent Bit、Kibana；目前 Fluent Bit 被广泛用于轻量级的日志收集，而 Fluentd 则用于集中式的日志处理和管理。
Fluentd 是 Kubernetes 最常用的日志收集工具之一，可以从容器中直接收集日志，推送到 Elasticsearch。Fluent Bit 是 Fluentd 的轻量级版本，适合资源受限的环境和简单的日志收集任务；Fluent Bit 现在被认为是下一代解决方案。两者可相互补充或独立部署。
优点：
Fluentd 相对于 Logstash 更轻量级，性能更好。支持丰富的插件，可以方便地与各种系统集成。同样提供 Elasticsearch 的强大搜索能力和 Kibana 的可视化能力。 缺点：
Fluentd 配置复杂度仍然较高，调试需要一定经验。对于超大规模的日志数据，Elasticsearch 仍然存在性能瓶颈。在高并发日志数据处理上，可能需要一些优化。 适用场景：适合需要高性能日志收集和轻量级日志处理的场景。
1.3 Graylog
专注于安全性和审计的日志系统，支持对用户行为和交易记录的追踪。
优点：
专注于日志管理，使用 Elasticsearch 作为存储引擎，支持集中化日志管理和处理。拥有内置的日志解析和报警功能，支持插件扩展。界面友好，易于配置和管理。 缺点：
与 ELK 类似，Elasticsearch 的性能瓶颈仍然存在。插件丰富度不如 Fluentd。 适用场景：适合中小型团队或项目，特别是需要轻量化日志管理的环境。
1.4 PLG 日志系统
PLG = Promtail+ Loki + Grafana
优点：
Loki 是一种针对日志的轻量化存储方案，直接与 Promtail 和 Grafana 集成，易于安装和管理。Loki 仅存储日志的索引，而非全文，因此性能较好，存储需求较低。与 Kubernetes 集成友好。 缺点：
Loki 的日志查询不如 Elasticsearch 灵活，只支持基于标签的查询。 主要原因是 Promtail 收集日志时与 Prometheus 一样，使用是标签（如 app=webserver）来区分数据，这些标签会被存储在 Loki 中。不适合需要复杂全文搜索的场景。 适用场景：适合容器化环境（如 Kubernetes），注重日志存储和监控的统一管理。
1.5 Splunk
Splunk 是金融行业的标杆日志管理工具，提供高度定制的安全合规性解决方案。
优点：
企业级解决方案，功能非常强大，支持复杂查询和实时分析。内置机器学习分析工具，支持异常检测和高级数据分析。用户界面非常友好，支持自定义仪表板和报告。 缺点：
成本非常高，通常只适用于大型企业。部署和维护复杂，需要专业运维人员。 适用场景：适合大企业，尤其是有高性能需求且愿意支付较高费用的场景。
1.6 Filebeat + ELK
其实是 Elastic Stack 中的常用类型。Elastic Stack，包含的核心组件除了传统的 Elasticsearch、Logstash 和 Kibana 外，还包括一些扩展工具来增强日志收集、监控和数据可视化的功能。
比如现在常用的 Elasticsearch + Logstash + Kibana + Beats 的组合，其中，Beats 负责日志的采集， Logstash 负责做日志的聚合和处理，Elasticsearch 作为日志的存储和搜索系统，Kibana 作为可视化前端展示。
Filebeat 就是 Beats 中的常见的组件，主要用于收集和传输日志文件；此外常见的 Beats 还有：
Metricbeat：用于收集系统和服务的性能指标（如 CPU、内存、网络等）。Packetbeat：用于网络数据流量的监控，分析 TCP、HTTP、DNS 等协议的性能。Auditbeat：用于收集系统审计数据，包括用户登录、文件更改等活动。Heartbeat：用于监控服务的可用性，通过 Ping 方式检查服务是否运行。更多…
优点：
Filebeat 是轻量级的日志收集器，适合边缘设备和微服务架构。配合 ELK 或 EFK，能够实现强大的日志存储和可视化功能。资源占用极低，易于配置和扩展。 缺点：
Filebeat 仅负责日志的收集，后续分析和存储仍需借助其他工具。 适用场景：适合微服务架构和需要低资源占用的场景，尤其是边缘计算。
1.7 AWS CloudWatch Logs
优点：
作为 AWS 的原生解决方案，易于与 AWS 其他服务集成，支持无缝扩展。支持自动化日志告警和可视化。提供按使用量付费的灵活收费模式，且免维护。 缺点：
仅适用于 AWS 环境，难以在其他云或本地环境中使用。对日志分析和搜索功能有限，不如专用解决方案强大。 适用场景：适合基于 AWS 云环境的应用程序，特别是需要快速集成和部署的场景。
1.8 阿里云日志服务
简介：阿里云日志服务是一种云原生的日志收集和分析解决方案，能够轻松收集、存储和查询日志数据。
优点：
完全托管，适合无需复杂运维的公司。集成阿里云其他服务（如安全产品、监控产品）。支持弹性扩展，适应大规模日志收集。 缺点：
云平台依赖，数据安全和合规需要关注。需要付费使用。 适用场景：适合已经在 阿里云 生态环境的公司。
1.9 腾讯云 CLS（日志服务）
腾讯云提供的日志服务也是一种全托管的日志解决方案，适合中国企业，支持自动化日志收集、分析和警报。
优点：
集成腾讯云的监控和告警系统，适合已有腾讯云用户。提供完善的权限管理和审计功能。 缺点：
云平台锁定，适合已经在 腾讯云 生态系统中的公司。需要付费使用。 适用场景：适合已经在 腾讯云 生态环境的公司。
2. 推荐
【注】虽然是常用的固定搭配，但是在实际使用过程中可以根据自身需求进行自由的组合，为系统提供更好的日志服务。
小型或轻量级项目：
Filebeat + ELK 是较好的选择，具有更好的性能和可扩展性。如果是容器化环境，且日志设计符合标签化规范，选择 PLG 或许是一个比较好的选择；如果日志设计并不是很规范的话，使用 EFK 技术栈或许更好（支持全文检索）。 大中型企业：
ELK Stack 或 Graylog 能够处理大量日志，并提供强大的搜索和可视化功能；根据开源组件自研也是一个很好的方案，更加贴合自身的业务。 云环境：
国内的话可以使用阿里云与腾讯云提供的托管服务。如果使用了 AWS，那么可以使用 AWS 提供的日志服务。 容器化环境：
PLG 是专为容器化设计的高效日志方案，特别适合 Kubernetes。EFK （Elasticsearch + Fluent Bit + Kibana）也是常用的工具组合。