!9 更新README资料

From: @znzjugod 
Reviewed-by: @zhoupengcheng11, @gaoruoshu 
Signed-off-by: @gaoruoshu
This commit is contained in:
openeuler-ci-bot 2023-11-08 02:21:33 +00:00 committed by Gitee
commit 38abebe9fd
No known key found for this signature in database
GPG Key ID: 173E9B9CA92EEF8F

View File

@ -1,37 +1,64 @@
# llama.cpp
# llama.cpp使用指南
#### 介绍
Port of English lagre model LLaMA implemented based on C/C++
## 介绍
llama.cpp是基于C/C++实现的LLama英文大模型接口可以支持用户在消费者级别的CPU机器上完成开源大模型的部署和使用。
llama.cpp支持多个英文开源大模型的部署如LLaMaLLaMa2Vicuna等。
#### 软件架构
软件架构说明
## 软件架构
llama.cpp核心架构分为两层
- 模型量化层:可以量化开源模型,减少模型大小;
- 模型启动层:可以启动量化后的模型。
特性:
- 基于ggml的C/C++实现;
- 通过int4/int8量化、优化的KV缓存和并行计算等多种方式加速CPU推理
- 互动界面是流媒体生成,具有打字机效果;
- 无需 GPU可只用 CPU 运行。
## 安装教程
### 软硬件要求
处理器架构支持AArch64和X86_64处理器架构
操作系统openEuler 23.09
内存根据不同开源模型的大小不低于4G。
### 安装组件
使用llama.cpp部署大模型需要安装llama.cpp软件包。安装前请确保已经配置了openEuler yum源。
1. 安装:
```
yum install llama.cpp
```
2. 查看是否安装成功:
```
/usr/bin/llama_cpp_main -h
```
若成功显示help信息则安装成功。
#### 安装教程
## 使用说明
1. 需要下载量化后的开源大模型如LLaMa、LLaMa2、Vicuna、GPT4All等。
2. 启动模型其中model_path为模型存放的路径
```
/usr/bin/llama_cpp_main -m model_path --color --ctx_size 2048 -n -1 -ins -b 256 --top_k 10000 --temp 0.2 --repeat_penalty 1.1 -t 8
```
可通过以下命令查看命令行选项用法:
```
/usr/bin/llama_cpp_main -h
```
1. xxxx
2. xxxx
3. xxxx
## 规格说明
本项目可支持在CPU级别的机器上进行大模型的部署和推理但是模型推理速度对硬件仍有一定的要求硬件配置过低可能会导致推理速度过慢降低使用效率。
#### 使用说明
表1可作为不同机器配置下推理速度的参考
1. xxxx
2. xxxx
3. xxxx
表格中Q4_0Q4_1Q5_0Q5_1代表模型的量化精度ms/token代表模型的推理速度含义为每个token推理耗费的毫秒数该值越小推理速度越快
#### 参与贡献
**表1** 模型推理速度的测试数据
1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request
| LLama-7B | Q4_0 | Q4_1 | Q5_0 | Q5_1 |
|--------------------------------|------|------|------|------|
| ms/token (CPU @ Platinum 8260) | 55 | 54 | 76 | 83 |
| 模型大小 | 3.5G | 3.9G | 4.3G | 6.7G |
| 内存占用 | 3.9G | 4.2G | 4.5G | 5.0G |
#### 特技
1. 使用 Readme\_XXX.md 来支持不同的语言,例如 Readme\_en.md, Readme\_zh.md
2. Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3. 你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4. [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目,是综合评定出的优秀开源项目
5. Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6. Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)