# fs_transfer_project

**Repository Path**: bigbenben/fs_transfer_project

## Basic Information

- **Project Name**: fs_transfer_project
- **Description**: fs_transfer_project
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2025-12-23
- **Last Updated**: 2025-12-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# FS Transfer Project

基于Go语言开发的高性能文件传输系统，支持大文件传输、断点续传等高级功能。

详细的内容介绍全在微信公众号中。干货持续更新，敬请关注「代码扳手」微信公众号：

<img width="430" height="430" alt="image" src="wx.jpg" />

## 项目概述

本项目是一个基于TCP协议的自定义文件传输系统，实现了客户端和服务端之间的高效文件传输。该项目具有以下特点：

- 自定义协议帧格式，确保数据传输的可靠性和一致性
- 使用Protocol Buffers进行数据序列化，提高传输效率
- 支持文件上传、下载、目录浏览等基本文件操作
- 具备断点续传能力，支持大文件可靠传输
- 采用模块化设计，易于扩展和维护

## 项目结构

```
.
├── client                # 客户端代码
│   ├── download_demo.go   # 文件下载示例
│   ├── main.go           # 客户端主程序
│   └── upload_demo.go    # 文件上传示例
├── frame                 # 协议帧处理模块
│   ├── command.go        # 命令定义
│   └── frame.go          # 帧格式定义及编解码
├── proto                 # Protocol Buffers定义
│   └── fs_protocol.proto # 协议消息定义
└── server                # 服务端代码
    ├── dispatcher.go     # 命令分发器
    ├── file_ops.go       # 文件操作处理
    ├── file_ops_advanced.go # 高级文件操作功能
    ├── logger.go         # 日志系统
    └── main.go           # 服务端主程序
```

## 核心组件

### 1. 协议帧（Frame）

在[frame/frame.go](file:///G:/wxblog/fs_transfer_project/frame/frame.go)中定义了数据传输的基本单元，包含固定的16字节头部和可变长度的负载数据：

- **Magic**: 魔数，用于标识协议类型（固定值0x46495348即"FISH"）
- **Version**: 协议版本号
- **Flags**: 标志位，用于扩展用途
- **Cmd**: 命令ID，标识操作类型
- **StreamID**: 流ID，用于多路复用
- **PayloadLen**: 负载数据长度
- **Checksum**: 校验和，用于数据完整性验证
- **Reserved**: 保留字段，用于未来扩展

### 2. 命令类型

在[frame/command.go](file:///G:/wxblog/fs_transfer_project/frame/command.go)中定义了支持的命令类型：
- CmdAuth: 认证命令
- CmdList: 列出目录内容命令
- CmdOpen: 打开文件命令
- CmdRead: 读取文件命令
- CmdWrite: 写入文件命令

### 3. 协议消息

在[proto/fs_protocol.proto](file:///G:/wxblog/fs_transfer_project/proto/fs_protocol.proto)中使用Protocol Buffers定义了各类操作的消息格式：
- AuthReq/AuthResp: 认证请求/响应
- ListReq/ListResp: 列表请求/响应
- OpenReq/OpenResp: 打开文件请求/响应
- ReadReq/ReadResp: 读取文件请求/响应
- WriteReq/WriteAck: 写入文件请求/确认
- ResumeReq/ResumeResp: 断点续传请求/响应

### 4. 服务端

服务端主要由以下几个模块组成：

1. [server/main.go](file:///G:/wxblog/fs_transfer_project/server/main.go)：主程序入口，负责监听TCP连接并为每个客户端创建独立的处理协程
2. [server/dispatcher.go](file:///G:/wxblog/fs_transfer_project/server/dispatcher.go)：命令分发器，根据接收到的命令类型将请求路由到相应的处理函数
3. [server/file_ops.go](file:///G:/wxblog/fs_transfer_project/server/file_ops.go)：基础文件操作处理，包括认证、目录列表、文件打开、读取和写入等功能
4. [server/file_ops_advanced.go](file:///G:/wxblog/fs_transfer_project/server/file_ops_advanced.go)：高级文件操作功能，如文件句柄管理、校验和计算、断点续传等
5. [server/logger.go](file:///G:/wxblog/fs_transfer_project/server/logger.go)：日志系统，提供结构化日志记录功能

### 5. 客户端

客户端包含以下主要模块：

1. [client/main.go](file:///G:/wxblog/fs_transfer_project/client/main.go)：客户端主程序，负责连接服务端并演示基本的上传下载流程
2. [client/download_demo.go](file:///G:/wxblog/fs_transfer_project/client/download_demo.go)：文件下载功能演示
3. [client/upload_demo.go](file:///G:/wxblog/fs_transfer_project/client/upload_demo.go)：文件上传功能演示

## 功能特性

### 基本功能
- 文件上传和下载
- 目录浏览
- 客户端认证

### 高级功能
- 大文件传输优化
- 断点续传支持
- 数据校验和验证
- 零拷贝文件传输（Linux/Unix环境）
- 完整的错误处理和日志记录

## 使用方法

### 启动服务端

```bash
cd server
go run .
```

服务端默认监听9000端口。

### 运行客户端

```bash
cd client
go run .
```

客户端会连接到本地9000端口，并执行示例的上传和下载操作。

## 技术要点

### 并发安全
通过使用互斥锁（sync.Mutex）保护共享资源，确保在并发环境下文件句柄表和传输表的安全访问。

### 数据一致性
使用CRC32校验和确保传输过程中数据的完整性。

### 性能优化
- 实现了零拷贝文件传输（针对Linux/Unix系统）
- 使用bufio提升IO性能
- 采用固定大小的数据块进行传输，便于流量控制和错误恢复

## 扩展性考虑

项目采用模块化设计，可以方便地扩展以下功能：
1. 添加新的命令类型和对应处理逻辑
2. 增强安全机制，如TLS加密传输
3. 实现更复杂的权限控制系统
4. 添加文件压缩功能减少传输数据量
5. 实现多线程并发传输提升传输速度

## 依赖项

- golang.org/x/sys v0.38.0
- google.golang.org/protobuf v1.33.0
- go.uber.org/zap v1.27.1 (日志库)

## 注意事项

1. 当前实现的服务端功能较为基础，在生产环境中可能需要进一步完善错误处理和日志记录。
2. 客户端示例仅演示了基本的上传下载流程，实际应用中可能需要增加更多的异常处理和重试机制。
3. 断点续传功能已部分实现，但需要进一步完善才能在复杂网络环境下稳定工作。