How to turn off INFO logging in Spark?

在 Apache Spark 中，日志级别默认设置为 INFO，这意味着它会记录所有 INFO 级别以上的日志，包括 WARN 和 ERROR 级别的日志。在进行开发或者生产调优时，过多的 INFO 日志可能会干扰真正重要的信息，因此有时候我们希望能够调整日志级别以减少日志输出。

要在 Spark 中关闭 INFO 级别的日志，您可以按照以下步骤操作：

方法1：使用 Spark 配置文件（推荐用于集群环境）

1. 编辑 log4j 配置文件：找到 Spark 安装目录下的 conf 文件夹，复制 log4j.properties.template 文件为 log4j.properties 如果还未有此文件。

2. 修改 log4j.properties 文件：打开 log4j.properties，找到关于日志级别的设置行，如 log4j.rootCategory=INFO, console，将 INFO 改为 ERROR 或者其他你想要的日志级别，这样就会减少日志输出。

   shell
   log4j.rootCategory=ERROR, console

3. 保存并重新启动 Spark 应用：更改配置文件后，需要重启您的 Spark 应用以使更改生效。

方法2：编程方式更改日志级别（适用于交互式和程序内调整）

如果你正在使用 Spark Shell 或者你的 Spark 应用是动态调整日志级别，可以在代码中直接设置：

scala
import org.apache.log4j.{Level, Logger}

// 获取根日志记录器
val rootLogger = Logger.getRootLogger()
// 设置日志级别
rootLogger.setLevel(Level.ERROR)

在 Spark 应用程序中添加上述代码可以在程序运行时动态地关闭 INFO 级别的日志记录，只保留 ERROR 级别的日志。

综述

关闭 INFO 日志记录可以通过编辑配置文件或编程方式实现，具体使用哪种方法取决于您的具体需求和环境。在生产环境中，通常建议通过修改配置文件来设置适当的日志级别，以便于集中管理和减少性能开销。在开发或测试环境中，可能会采用编程方式实现更灵活的日志级别调整。