测试页面
GuoDonghui2025/02/19
这是一个测试页面
现在我随便写一点东西
def func():
print("hello world")
以上是一个python中函数的定义
而以下函数实现了快速排序
def quick_sort(arr):
if len(arr) <= 1:
return arr
pivot = arr[len(arr) // 2]
left = [x for x in arr if x < pivot]
middle = [x for x in arr if x == pivot]
right = [x for x in arr if x > pivot]
return quick_sort(left) + middle + quick_sort(right)
使用pip安装v2llm
pip install v2llm
再使用下面的命令下载一个模型
vllm download facebook/opt-125m
以下表格列举了常见开源模型和它们对硬件的要求
模型 | 硬件要求 |
---|---|
OPT-125M | 4GB VRAM |
OPT-350M | 8GB VRAM |
OPT-1.3B | 16GB VRAM |
OPT-2.7B | 32GB VRAM |
OPT-6.7B | 40GB VRAM |
OPT-13B | 64GB VRAM |
OPT-30B | 128GB VRAM |
OPT-66B | 256GB VRAM |
Qwen-7B | 32GB VRAM |
Qwen-14B | 64GB VRAM |
Qwen-72B | 128GB VRAM |
deepseek-6b-base | 32GB VRAM |
deepseek-6b-chat | 32GB VRAM |
deepseek-6b-instruct | 32GB VRAM |
deepseek-6b-sft | 32GB VRAM |
deepseek-6b-sft-int8 | 32GB VRAM |