How to process multiline log entry with logstash filter?

在使用Logstash处理日志时，对于多行日志条目的处理是一个常见但复杂的问题。多行日志条目通常出现在堆栈跟踪、SQL语句或其他需要跨多行记录的事件中。为了正确解析这些日志条目，我们需要使用Logstash的多行过滤器插件。

步骤1: 确定日志的模式

首先，我们需要确定日志条目的开始模式。例如，Java的异常堆栈跟踪通常从一个包含异常类型和消息的行开始，后面跟着多行堆栈信息。

步骤2: 配置Logstash的输入插件

在Logstash的配置文件中，我们首先设置输入插件来读取日志文件。例如，使用 file插件来读取日志文件：

plaintext
input {
  file {
    path => "/path/to/your/logfile.log"
    start_position => "beginning"
}

步骤3: 使用多行过滤器

接下来，我们使用 multiline插件来合并多行日志条目。这通常在输入阶段完成，以确保在进入过滤器之前，日志条目已经是完整的。配置时，我们需要指定何种情况下将一行视为前一行的继续：

plaintext
codec => multiline {
  pattern => "^\\s" # 例如，使用正则表达式匹配行首的空白字符
  what => "previous"
}

这里的配置意味着，任何以空白字符开头的行都会被视为前一行的延续。

步骤4: 设置过滤器和输出

在配置完输入和多行处理后，根据需要设置过滤器来细化日志数据，然后配置输出，例如输出到Elasticsearch：

plaintext
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logdata"
  }
}

示例：处理Java异常堆栈跟踪

假设我们有以下格式的日志：

shell
Exception in thread "main" java.lang.NullPointerException
        at com.example.myapp.Main.main(Main.java:14)

我们可以这样配置 multiline:

plaintext
codec => multiline {
  pattern => "^\\s+at"
  what => "previous"
}

这个配置会将以"at"开头的行合并到前一行中，因为这是Java堆栈跟踪中堆栈元素的典型开头。

通过以上步骤，Logstash就可以有效地处理多行日志条目，从而为后续的日志分析提供了结构化和完整的数据。