跳到主要内容

日志分析技巧

介绍​

日志分析是分布式系统故障排除的核心技能之一。Jaeger 作为流行的分布式追踪系统，提供了强大的日志收集和可视化功能。通过分析 Jaeger 收集的日志数据，开发者可以快速定位性能瓶颈、错误源头和系统异常。

在本指南中，我们将介绍 Jaeger 日志分析的基础技巧，帮助您从海量日志数据中提取有价值的信息。

基础日志分析技巧​

1. 时间范围筛选​

Jaeger 允许按时间范围筛选日志，这是缩小问题范围的第一步。在 UI 界面中：

  1. 选择合适的时间范围
  2. 使用相对时间（如"最近1小时"）或绝对时间
// 查询示例
{
  "start": "2023-07-20T10:00:00Z",
  "end": "2023-07-20T11:00:00Z"
}

2. 服务与操作过滤​

通过服务名和操作名过滤可以快速定位特定组件的日志：

  1. 在 Jaeger UI 顶部的服务下拉菜单中选择目标服务
  2. 在操作下拉菜单中选择特定操作
提示

对于微服务架构，建议从最外层服务开始排查，逐步深入内部服务。

3. 标签与标记分析​

Jaeger 为每个 span 添加了标签和标记，这些是重要的分析维度：

{
  "traceID": "abc123",
  "spans": [
    {
      "spanID": "def456",
      "operationName": "HTTP GET",
      "tags": [
        {"key": "http.status_code", "value": 500},
        {"key": "error", "value": true}
      ]
    }
  ]
}

高级分析技巧​

1. 错误模式识别​

通过 Jaeger 的错误标记快速定位问题：

  1. 在 UI 中筛选 error=true 的 spans
  2. 分析错误发生的服务链

2. 延迟分析​

使用 Jaeger 的延迟直方图识别性能瓶颈：

  1. 查看 span 持续时间分布
  2. 比较同一操作在不同时间的延迟
警告

注意区分网络延迟和服务处理延迟，它们需要不同的优化策略。

3. 追踪对比​

对比成功和失败的追踪可以帮助发现问题：

  1. 找到相同操作的成功和失败案例
  2. 比较它们的参数、路径和执行时间差异

实际案例分析​

案例：间歇性API超时​

现象：用户报告API偶尔超时，但无法稳定复现。

分析步骤：

  1. 在 Jaeger 中筛选出超时的API调用
  2. 发现所有超时都发生在调用"库存服务"时
  3. 对比正常和超时案例：
    • 相同的输入参数
    • 相同的服务版本
  4. 发现超时案例中数据库查询时间异常

解决方案：优化数据库索引，增加查询超时设置。

总结​

有效的日志分析需要：

  1. 系统性地缩小问题范围
  2. 善用 Jaeger 的过滤和可视化功能
  3. 对比正常和异常案例
  4. 结合业务上下文解读数据

附加资源​

  • Jaeger 官方文档
  • 《分布式系统观测》- 第5章 日志分析
  • 练习：尝试在测试环境中人为制造一个错误，然后使用 Jaeger 定位它
小测验
  1. 如何快速找到系统中的所有错误请求？
  2. 当发现某个服务延迟增加时，应该首先检查什么？