如何使用Golang实现文件缓存_Golang Web缓存策略技巧

关键不是“要不要缓存”,而是“缓存什么、什么时候失效、谁来清理”;用 sync.Map + 文件修改时间做轻量级缓存适合中小规模 Web 服务。

为什么 os.File 不能直接当缓存载体

文件内容读取后若每次请求都 os.Open + io.ReadAll,性能会随并发陡降。但把整个文件内容塞进内存(比如用 map[string][]byte)又容易触发 OOM,尤其面对 MB 级配置文件或模板。关键不是“要不要缓存”,而是“缓存什么、什么时候失效、谁来清理”。

sync.Map + 文件修改时间做轻量级缓存

适合中小规模 Web 服务(QPS os.FileInfo.ModTime(),每次读前比对磁盘最新时间戳。

  • 只缓存解析后的结构体(如 json.RawMessage 或自定义 struct),不是原始字节
  • 键名用文件绝对路径(filepath.Abs 处理相对路径),避免软链接导致的重复缓存
  • 不主动启动 goroutine 定时扫描——改用「懒检查」:每次 Get 前 os.Stat 对比时间戳
  • 注意 sync.MapLoadOrStore 返回值是 (interface{}, bool),第二个 bool 表示是否新存入,别误当“是否命中”
var fileCache sync.Map // map[string]cacheEntry

type cacheEntry struct { data interface{} modTime time.Time }

func LoadFileAsJSON(path string, v interface{}) error { absPath, _ := filepath.Abs(path) fi, err := os.Stat(absPath) if err != nil { return err }

if raw, ok := fileCache.Load(absPath); ok {
    if entry, ok := raw.(cacheEntry); ok && entry.modTime.Equal(fi.ModTime()) {
        b, _ := json.Marshal(entry.data)
        return json.Unmarshal(b, v)
    }
}

b, err := os.ReadFile(absPath)
if err != nil {
    return err
}

if err := json.Unmarshal(b, v); err != nil {
    return err
}

fileCache.Store(absPath, cacheEntry{
    data:    v,
    modTime: fi.ModTime(),
})
return nil

}

大文件或高并发场景必须加锁粒度控制

当多个 goroutine 同时首次加载同一文件,sync.Map.LoadOrStore 虽线程安全,但无法阻止多次重复读盘和反序列化。此时需用 singleflight.Group 消除惊群效应。

  • singleflight 的 key 必须包含文件路径,但不要带查询参数(如 config.json?v=123)——应提前 Normalize
  • 回调函数里仍要校验 ModTime,因为 singleflight 不保证调用时机,可能两次请求间隔中文件已被修改
  • 缓存过期不靠 TTL,而靠 ModTime 变更;所以不用设 time.Now().Add(5 * time.Minute) 这类逻辑
var loadGroup singleflight.Group

func LoadFileWithDedup(path string, v interface{}) error { absPath, _ := filepath.Abs(path) fi, err := os.Stat(absPath) if err != nil { return err }

// 先查缓存,命中且时间一致则直接返回
if raw, ok := fileCache.Load(absPath); ok {
    if entry, ok := raw.(cacheEntry); ok && entry.modTime.Equal(fi.ModTime()) {
        *(*interface{})(unsafe.Pointer(&v)) = entry.data
        return nil
    }
}

// 未命中,走 singleflight 防止重复加载
res, err, _ :

= loadGroup.Do(absPath, func() (interface{}, error) { b, err := os.ReadFile(absPath) if err != nil { return nil, err } var data interface{} if err := json.Unmarshal(b, &data); err != nil { return nil, err } fileCache.Store(absPath, cacheEntry{ data: data, modTime: fi.ModTime(), }) return data, nil }) if err == nil { *(*interface{})(unsafe.Pointer(&v)) = res } return err

}

别忽略 syscall.EBADF 和文件删除竞态

线上环境常有部署脚本热更配置文件:先删旧文件,再写新文件。此时若缓存中还存着已删除文件的 *os.File(比如你错误地缓存了打开的句柄),后续 Read 就会报 EBADF。更隐蔽的是:os.Stat 对已删除但未关闭的文件仍返回旧信息,导致缓存长期不更新。

  • 永远不要缓存 *os.File,只缓存内容或解析结果
  • 如果必须用 os.Open 流式处理大文件,确保 defer Close,且不在闭包中逃逸
  • 对敏感配置文件(如 TLS 证书),建议加一层 os.SameFile 校验:缓存中的 dev/inode 是否与当前磁盘文件一致

真正难处理的从来不是“怎么缓存”,而是“怎么知道它已经不该再用了”。时间戳只是近似手段,inode 才是唯一标识——但跨文件系统时 inode 会变,所以最终还得结合业务语义做兜底,比如给配置加版本号字段。