🚀 One-stop solution for creating your digital avatar from chat history 💡 Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life. 从聊天记录创造数字分身的一站式解决方案
项目主页 | 项目文档 | Windows部署指南 | Linux部署指南【保姆级】
[!IMPORTANT]
WhatsApp and Telegram chat logs integration for digital avatar creation is coming !
[!IMPORTANT]
- WeClone仍在快速迭代期,当前效果不代表最终效果。
- 微调LLM效果很大程度取决于模型大小、聊天数据的数量和质量,理论上模型越大,数据越多,效果越好。
- Windows环境未进行严格测试,可以使用WSL作为运行环境。详细教程可点击Windows部署指南查看。
项目默认使用Qwen2.5-7B-Instruct模型,LoRA方法对sft阶段微调,大约需要16GB显存。也可以使用LLaMA Factory支持的其他模型和方法。
需要显存的估算值:
方法 | 精度 | 7B | 14B | 30B | 70B | x B |
---|---|---|---|---|---|---|
Full (bf16 or fp16 ) |
32 | 120GB | 240GB | 600GB | 1200GB | 18x GB |
Full (pure_bf16 ) |
16 | 60GB | 120GB | 300GB | 600GB | 8x GB |
Freeze/LoRA/GaLore/APOLLO/BAdam | 16 | 16GB | 32GB | 64GB | 160GB | 2x GB |
QLoRA | 8 | 10GB | 20GB | 40GB | 80GB | x GB |
QLoRA | 4 | 6GB | 12GB | 24GB | 48GB | x/2 GB |
QLoRA | 2 | 4GB | 8GB | 16GB | 24GB | x/4 GB |
1.cuda安装(已安装可跳过,要求版本12.4及以上):LLaMA Factory
2.建议使用 uv安装依赖,这是一个非常快速的 Python 环境管理器。安装uv后,您可以使用以下命令创建一个新的Python环境并安装依赖项,注意这不包含音频克隆功能的依赖:
git clone https://github.com/xming521/WeClone.git
cd WeClone
uv venv .venv --python=3.10
source .venv/bin/activate # windows下执行 .venv\Scripts\activate
uv pip install --group main -e .
[!TIP]
如果要使用最新的模型进行微调,需要手动安装最新版LLaMA Factory:uv pip install --upgrade git+https://github.com/hiyouga/LLaMA-Factory.git
,同时其他依赖版本也可能需要修改,例如vllm pytorch transforms
3.将配置文件模板复制一份并重命名为settings.jsonc
,后续配置修改在此文件进行:
cp settings.template.jsonc settings.jsonc
[!NOTE]
训练以及推理相关配置统一在文件settings.jsonc
4.使用以下命令测试CUDA环境是否正确配置并可被PyTorch识别,Mac不需要:
python -c "import torch; print('CUDA是否可用:', torch.cuda.is_available());"
5.(可选)安装FlashAttention,加速训练和推理:uv pip install flash-attn --no-build-isolation
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen2.5-7B-Instruct.git
下载有问题使用其他方式下载:模型的下载
请使用PyWxDump提取微信聊天记录(不支持4.0版本微信)。可以先将手机的聊天记录迁移(备份)到电脑,数据量更多一些。下载软件并解密数据库后,点击聊天备份,导出类型为CSV,可以导出多个联系人(不建议使用群聊记录),然后将导出的位于wxdump_tmp/export
的 csv
文件夹放在./dataset
目录即可,也就是不同人聊天记录的文件夹一起放在 ./dataset/csv
。
settings.jsonc
中提供了一个禁用词词库blocked_words
,可以自行添加需要过滤的词句(会默认去掉包括禁用词的整句)。[!IMPORTANT]
🚨 请一定注意保护个人隐私,不要泄露个人信息!
make_dataset_args
。weclone-cli make-dataset
single_combine_time_window
将单人连续消息通过逗号连接合并为一句,根据qa_match_time_window
匹配问答对。clean_dataset
中的enable_clean
选项,对数据进行清洗,以达到更好效果。* 当前系统支持使用 llm judge
对聊天记录进行打分,提供 vllm 离线推理 和 API 在线推理 两种方式。可通过将 settings.jsonc
文件中的 "online_llm_clear": false
修改为 true
来启用 API 在线推理模式,并配置相应的 base_url
、llm_api_key
、model_name
等参数。所有兼容 OpenAI 接口的模型均可接入。llm 打分分数分布情况
后,可通过设置 accept_score
参数筛选可接受的分数区间,同时可适当降低 train_sft_args
中的 lora_dropout
参数,以提升模型的拟合效果。settings.jsonc
的 model_name_or_path
和 template
选择本地下载好的其他模型。per_device_train_batch_size
以及gradient_accumulation_steps
来调整显存占用。train_sft_args
的num_train_epochs
、lora_rank
、lora_dropout
等参数。weclone-cli train-sft
多卡环境单卡训练,需要先执行 export CUDA_VISIBLE_DEVICES=0
取消settings.jsonc
中deepspeed
行代码注释,使用以下命令多卡训练:
uv pip install deepspeed
deepspeed --num_gpus=使用显卡数量 weclone/train/train_sft.py
可以在这一步测试出合适的temperature、top_p值,修改settings.jsonc的infer_args
后,供后续推理时使用。
weclone-cli webchat-demo
weclone-cli server
不包含询问个人信息的问题,仅有日常聊天。测试结果在test_result-my.txt。
weclone-cli server
weclone-cli test-model
使用Qwen2.5-14B-Instruct模型,大概3万条处理后的有效数据,loss降到了3.5左右的效果。
AstrBot 是易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书。
使用步骤:
weclone-cli server
启动api服务/tool off all
,否则会没有微调后的效果。[!IMPORTANT]
检查api_service的日志,尽量保证大模型服务请求的参数和微调时一致,tool插件能力都关掉。
LangBot 是一个开源的接入全球多种即时通信平台的 LLM 机器人平台,适合各种场景使用。
gpt-3.5-turbo
,供应商选择 OpenAI,填写 请求 URL 为 WeClone 的地址,详细连接方式可以参考文档,API Key 任意填写。欢迎任何 Issues/Pull Requests!
你可以通过查看Issues或帮助审核 PR(拉取请求)来贡献。对于新功能的添加,请先通过 Issue 讨论。
运行uv pip install --group dev -e .
安装开发依赖。
项目使用pytest
测试(测试脚本待完善),pyright
检查类型,ruff
检查代码格式。
[!CAUTION]
请勿用于非法用途,否则后果自负。
除本免责声明规定外,用户在使用本项目过程中应遵守相关的法律法规和道德规范。对于因用户违反相关规定而引发的任何纠纷或损失,本项目及其开发者不承担任何责任。
请用户慎重阅读并理解本免责声明的所有内容,确保在使用本项目时严格遵守相关规定。
[!TIP]
如果本项目对您有帮助,或者您关注本项目的未来发展,请给项目 Star,谢谢