如何在Golang中使用io.Copy实现数据复制_支持文件和网络流

io.Copy 是 Go 中统一处理任意 io.Reader/io.Writer 类型数据复制的核心工具,支持文件、网络、内存流等场景,自动分块读写、需检查错误并关闭资源。

在 Go 中,io.Copy 是最常用、最简洁的数据复制工具,它能统一处理文件、网络连接、内存缓冲区等任意实现了 io.Readerio.Writer 接口的类型。只要源支持读、目标支持写,就能直接复制,无需关心底层是磁盘 I/O 还是 TCP 流。

基础用法:复制文件到文件

这是最直观的场景。打开源文件(io.Reader)和目标文件(io.Writer),传给 io.Copy 即可:

  • 使用 os.Open 打开源文件,os.Createos.OpenFile 创建/打开目标文件
  • io.Copy 内部自动分块读写(默认 32KB 缓冲),避免一次性加载大文件到内存
  • 务必检查返回的 error —— 复制中途出错(如磁盘满、权限不足)会在此返回

网络流复制:HTTP 响应体直接写入文件

常见于下载场景。HTTP 响应体(resp.Body)是 io.ReadCloser,文件句柄是 io.WriteCloser,天然适配:

  • 发起 HTTP 请求后,直接将 resp.Body 和本地文件句柄传给 io.Copy
  • 复制完成后,记得分别调用 resp.Body.Close() 和文件 .Close()(或用 defer
  • 注意:不要先用 ioutil.ReadAll 读全部内容再写,会吃光内存;io.Copy 流式处理更安全

双向管道与内存流:bytes.Buffer 和 io.Pipe

当需要在内存中中转或模拟流式处理时,bytes.Bufferio.Pipe 是好搭档:

  • bytes.Buffer 同时实现 io.Readerio.Writer,适合小数据缓存或测试
  • io.Pipe() 返回配对的 io.Readerio.Writer,常用于协程间流式通信(如一个 goroutine 写,另一个读)
  • 例如:启动 goroutine 调用 io.Copy(pipeWriter, src),主线程从 pipeReader 读取,实现解耦

进阶控制:自定义缓冲区与进度监听

io.Copy 本身不暴露缓冲区或进度,但可通过包装实现:

  • io.CopyBuffer(dst, src, make([]byte, 64*1024)) 指定缓冲区大小(如 64KB),提升大文件性能
  • 要监听进度,可封装一个带回调的 io.Reader(如实现 Read(p []byte) 方法,在每次读完后触发回调)
  • 也可用 io.TeeReader 在读取时同步写入日志或计算哈希,不影响主流程

不复杂但容易忽略:始终关闭资源、检查错误、避免内存泄漏。用好 io.Copy,就能写出清晰、高效、符合 Go 风格的流式 I/O 代码。