如何使用Golang实现日志文件轮转_自动创建新文件并归档

Go 标准库 log 包不支持日志轮转,需用 github.com/natefinch/lumberjack 实现按大小轮转;它轻量、API 简洁,通过 Filename、MaxSize、MaxBackups 等配置实现自动归档与压缩,且 Write 并发安全。

Go 标准库的 log 包本身不支持日志轮转(如按大小或时间切分、归档旧文件),需借助第三方库或自行实现。最常用、稳定且符合生产要求的是 github.com/natefinch/lumberjack —— 它轻量、无依赖、API 简洁,专为 log.Writer 设计。

使用 lumberjack 实现按大小轮转

这是最常见场景:当日志文件达到指定大小(如 100MB),自动重命名旧文件(如 app.log.1)、创建新 app.log,并限制保留历史文件数量。

  • 安装:go get github.com/natefinch/lumberjack
  • 基础用法:将 lumberjack.Logger 作为 io.Writer 传给 log.SetOutputlog.New
  • 关键配置项:
    • Filename:日志主文件路径(如 "logs/app.log"
    • MaxSize:单个文件最大 MB 数(默认 100,单位是 MB,不是字节)
    • MaxBackups:最多保留几个旧日志(如 5 表示保留 app.log.1 ~ app.log.5
    • MaxAge:旧日志最长保留天数(0 表示不限制)
    • Compress:是否对归档文件启用 gzip 压缩(需 Go 1.16+)

完整可运行示例

以下代码启动一个日志器,每写入约 1MB 就触发轮转(便于测试),保留最多 3 个备份,自动压缩:

package main

import ( "log" "time" "github.com/natefinch/lumberjack" )

func main() { logger := &lumberjack.Logger{ Filename: "logs/app.log", MaxSize: 1, // MB MaxBackups: 3, MaxAge: 7, Compress: true, }

// 将 lumberjack 作为输出目标
log.SetOutput(logger)
defer logger.Close() // 程序退出前关闭,确保缓冲写入

for i := 0; i < 100; i++ {
    log.Printf("第 %d 条日志,时间:%s", i, time.Now().Format(time.RFC3339))
    time.Sleep(100 * time.Millisecond)
}

}

运行后你会看到:logs/app.log(当前写入中)、logs/app.log.1.gzlogs/app.log.2.gzlogs/app.log.3.gz(若已轮转多次)。

按时间轮转?lumberjack 不直接支持,但可组合实现

lumberjack 本身不检查“是否到整点/每天零点”,但可通过外部控制实现时间维度轮转:

  • 方案一(推荐):用 MaxAge = 1 + 每日固定路径(如 logs/app-2025-05-20.log),由程序在每日首次写日志时切换 Filename —— 需自己维护 io.Writer 切换逻辑
  • 方案二:配合系统 cron 或 systemd timer,每天定时执行脚本移动+压缩日志,Go 进程只负责写单一文件(简单但耦合运维)
  • 替代库考虑:如 github.com/gogf/gf/v2/os/gloggithub.com/rs/zerolog + 自定义 sink,但复杂度上升,非必要不建议

注意事项与最佳实践

避免踩坑的关键细节:

  • 务必调用 logger.Close():尤其在短生命周期程序(如 CLI 工具)中,否则最后一批日志可能丢失
  • 目录需提前存在:lumberjack 不会自动创建 logs/ 目录,启动前加 os.MkdirAll("logs", 0755)
  • 并发安全:lumberjack 的 Write 方法是线程安全的,可被多个 goroutine 同时调用
  • 权限问题:确保进程对日志目录有读写权限,Linux *意 SELinux/AppArmor 限制
  • Windows 注意:路径分隔符用 /filepath.Join,lumberjack 内部兼容良好