Serge Alpaca模型聊天界面

声明：该文章由作者（李发）发表，转载此文章须经作者同意并请附上出处(0XUCN)及本页链接。。

Serge 是基于 llama.cpp 的聊天界面，用于运行羊驼模型。完全自托管，不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。

• SvelteKit 前端

• 用于存储聊天记录和参数的 Redis

• API 的 FastAPI + langchain，使用 python 绑定包装对 llama.cpp 的调用

使用

设置 Serge 非常简单，可以在一个命令中完成启动：

docker run -d \         -v weights:/usr/src/app/weights -v datadb:/data/db/ \         -p 8008:8008 ghcr.io/nsarrazin/serge:latest        

然后只需转到 http://localhost:8008/ 就可以了！

API 文档可以在 http://localhost:8008/api/docs 找到

[超站]友情链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/