【折腾】本地部署大模型：我的 GPU 服务器实战记录

admin

分享一次本地部署开源大模型的完整实战，从环境搭建到推理调优。

硬件配置
单卡 24G 显存，跑 7B~14B 模型无压力。

部署方案
Ollama + Open WebUI 一条龙，十几分钟即可完成。

性能调优
量化方案选择、上下文长度设置、并发请求优化。

踩坑记录
CUDA 版本冲突、显存溢出、中文乱码的解决办法都在这里。

完整配置清单放评论区，欢迎交流你的部署方案！