测试页面

GuoDonghui2025/02/19

这是一个测试页面

现在我随便写一点东西

def func():
    print("hello world")

以上是一个python中函数的定义

而以下函数实现了快速排序

def quick_sort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[len(arr) // 2]
    left = [x for x in arr if x < pivot]
    middle = [x for x in arr if x == pivot]
    right = [x for x in arr if x > pivot]
    return quick_sort(left) + middle + quick_sort(right)

使用pip安装v2llm

pip install v2llm

再使用下面的命令下载一个模型

vllm download facebook/opt-125m

以下表格列举了常见开源模型和它们对硬件的要求

模型硬件要求
OPT-125M4GB VRAM
OPT-350M8GB VRAM
OPT-1.3B16GB VRAM
OPT-2.7B32GB VRAM
OPT-6.7B40GB VRAM
OPT-13B64GB VRAM
OPT-30B128GB VRAM
OPT-66B256GB VRAM
Qwen-7B32GB VRAM
Qwen-14B64GB VRAM
Qwen-72B128GB VRAM
deepseek-6b-base32GB VRAM
deepseek-6b-chat32GB VRAM
deepseek-6b-instruct32GB VRAM
deepseek-6b-sft32GB VRAM
deepseek-6b-sft-int832GB VRAM
Last Updated 2025/2/20 20:57:22