# 自动化操作电脑

**Repository Path**: GodJason/auto-pc

## Basic Information

- **Project Name**: 自动化操作电脑
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-07-14
- **Last Updated**: 2025-07-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

<div align="center">
[官网]
[arXiv]
[PDF]

https://img.shields.io/badge/Python-3.10-blue.svg
https://img.shields.io/badge/MIT-blue

https://docs/images/cradle-intro-cr.png

</div>
Cradle框架通过人类使用的统一界面（屏幕截图作为输入，键盘鼠标操作作为输出），赋能基础模型执行复杂的计算机任务。

📢 最新动态
2024-06-27: 重大更新！Cradle已扩展支持四款游戏：荒野大镖客2、星露谷物语、城市：天际线和商人生活2，以及多种软件包括但不限于Chrome、Outlook、Capcut、美图和飞书。我们同时发布了最新论文，欢迎查阅！

<div align="center">
https://docs/images/gcc.jpg

</div>
最新视频
<div align="center"> <a alt="观看视频" href="https://www.youtube.com/watch?v=fkkSJw1iJJ8"><img src="./docs/envs/images/rdr2/RDR2_story_cover.jpg" width="33%" /></a> &nbsp;&nbsp; <a alt="观看视频" href="https://www.youtube.com/watch?v=ay5gBqzPcDE"><img src="./docs/envs/images/rdr2/RDR2_openended_cover.jpg" width="33%" /></a> &nbsp;&nbsp; <a alt="观看视频" href="https://www.youtube.com/watch?v=regULK_60_8"><img src="./docs/envs/images/skylines/cityskyline_video_cover.png" width="33%" /></a> &nbsp;&nbsp; <a alt="观看视频" href="https://www.youtube.com/watch?v=Kaiz4yJieUk"><img src="./docs/envs/images/stardew/stardew_video_cover.png" width="33%" /></a> &nbsp;&nbsp; <a alt="观看视频" href="https://www.youtube.com/watch?v=WZiL_0V880M"><img src="./docs/envs/images/dealers/dealer_video_cover.png" width="33%" /></a> &nbsp;&nbsp; <a alt="观看视频" href="https://www.youtube.com/watch?v=uWgLnZmpVTM"><img src="./docs/envs/images/software/Software_cover.png" width="33%" /></a> &nbsp;&nbsp; </div>
点击上方任意视频缩略图即可在YouTube观看。

💾 安装指南
准备环境文件
我们目前支持OpenAI和Claude的API。请在项目根目录创建.env文件存储密钥（只需其中一个即可）。

示例.env文件内容：

text
OA_OPENAI_KEY = "abc123abc123abc123abc123abc123ab"
RF_CLAUDE_AK = "abc123abc123abc123abc123abc123ab" # Claude访问密钥
RF_CLAUDE_SK = "123abc123abc123abc123abc123abc12" # Claude秘密访问密钥
AZ_OPENAI_KEY = "123abc123abc123abc123abc123abc12"
AZ_BASE_URL = "https://abc123.openai.azure.com/"
RF_CLAUDE_AK = "abc123abc123abc123abc123abc123ab"
RF_CLAUDE_SK = "123abc123abc123abc123abc123abc12"
IDE_NAME = "Code"
OA_OPENAI_KEY是OpenAI API密钥，可从OpenAI平台获取。

AZ_OPENAI_KEY是Azure OpenAI API密钥，可从Azure门户获取。

RF_CLAUDE_AK和RF_CLAUDE_SK是AWS Claude API的访问密钥和秘密密钥。

IDE_NAME指运行代码的IDE环境，如PyCharm或Code(VSCode)，主要用于实现IDE与目标环境的自动切换。

环境配置
Python环境
bash
# 克隆仓库
git clone https://github.com/BAAI-Agents/Cradle.git
cd Cradle

# 创建conda环境
conda create --name cradle-dev python=3.10
conda activate cradle-dev
pip install -r requirements.txt
安装OCR工具
text
1. 方案一
# 下载与spaCy安装匹配的最佳模型版本
python -m spacy download en_core_web_lg

或

# 通过pip安装.tar.gz或.whl文件
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.7.1/en_core_web_lg-3.7.1.tar.gz

2. 方案二
# 复制此URL https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.7.1/en_core_web_lg-3.7.1.tar.gz
# 在浏览器中下载到res/spacy/data目录
cd res/spacy/data
pip install en_core_web_lg-3.7.1.tar.gz
🚀 快速开始
由于每款游戏和软件差异较大，我们为每个环境提供了具体配置说明：

荒野大镖客2

星露谷物语

城市：天际线

商人生活2

软件控制

<div align="center"> <img src="./docs/images/games_wheel.png" height="365" /> <img src="./docs/images/applications_wheel.png" height="365" /> </div>
🌲 文件结构
对于希望将框架应用于新游戏的用户，我们重点标注了与游戏迁移相关的核心模块（⭐⭐⭐）：

text
Cradle
├── cache # 缓存GroundingDino和bert-base-uncased模型
├── conf # ⭐⭐⭐ 环境和LLM模型配置文件
│   ├── env_config_[游戏名].json
│   ├── openai_config.json
│   └── ...
├── res # 框架资源
│   ├── [游戏或软件名] # ⭐⭐⭐ 游戏资源目录
│   │   ├── prompts # 提示词模板
│   │   ├── skills # 自动生成的技能文件
│   │   ├── icons # 图标替换资源
│   │   └── saves # 游戏存档
├── cradle # 核心模块
│   ├── environment # ⭐⭐⭐ 游戏环境实现
│   │   ├── [游戏或软件名]
│   │   │   ├── atomic_skills # 原子技能(如角色移动)
│   │   │   ├── composite_skills # 组合技能
│   │   │   ├── skill_registry.py # 技能注册
│   │   │   └── ui_control.py # 游戏窗口控制
│   ├── runner # ⭐⭐⭐ 各游戏执行流程
│   └── provider # 功能模块
│       ├── module # ⭐⭐⭐ 行动计划、自我反思等模块
│       └── process # ⭐⭐⭐ 各模块的预处理/后处理方法
└── ...
📚 迁移到新游戏
由于不同游戏的设置和操作系统兼容性差异，Cradle不能简单替换游戏名实现迁移。我们建议根据游戏特性选择参考实现：

实时战斗游戏(如RDR2、星露谷)：需要暂停游戏等待响应

非实时游戏(如天际线、商人生活2)：可直接参考实现

假设新游戏名为newgame，具体迁移指南请参阅新游戏迁移指南。

引用
如果我们的工作对您有帮助，请考虑引用：

text
@article{tan2024cradle,
  title={Cradle: Empowering Foundation Agents towards General Computer Control},
  author={Tan, Weihao and Zhang, Wentao and Xu, Xinrun and Xia, Haochong and Ding, Ziluo and Li, Boyu and Zhou, Bohan and Yue, Junpeng and Jiang, Jiechuan and Li, Yewen and An, Ruyi and Qin, Molei and Zong, Chuqiao and Zheng, Longtao and Wu, Yujie and Chai, Xiaoqiang and Bi, Yifei and Xie, Tianbao and Gu, Pengjie and Li, Xiyun and Zhang, Ceyao and Tian, Long and Wang, Chaojie and Wang, Xinrun and Karlsson, Börje F. and An, Bo and Yan, Shuicheng and Lu, Zongqing},
  journal={arXiv preprint arXiv:2403.03186},
  year={2024}
}