部署 DeepSeek R1 671B 深度思考模型

# uname -r
5.15.0-94-generic

yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)
apt-get install gcc g++ cmake ninja-build

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i cuda-keyring_1.1-1_all.deb
apt-get update
apt-get -y install cuda-toolkit-12-4 cuda-drivers

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> /etc/profile
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> /etc/profile
echo 'export CUDA_HOME=/usr/local/cuda' >> /etc/profile
source /etc/profile

# nvidia-smi 
Wed Feb 19 11:20:42 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.90.12              Driver Version: 550.90.12      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA H800                    Off |   00000000:18:00.0 Off |                    0 |
| N/A   37C    P0             84W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA H800                    Off |   00000000:3A:00.0 Off |                    0 |
| N/A   37C    P0             83W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA H800                    Off |   00000000:4B:00.0 Off |                    0 |
| N/A   37C    P0             82W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA H800                    Off |   00000000:5C:00.0 Off |                    0 |
| N/A   37C    P0             84W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   4  NVIDIA H800                    Off |   00000000:84:00.0 Off |                    0 |
| N/A   38C    P0             83W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   5  NVIDIA H800                    Off |   00000000:AC:00.0 Off |                    0 |
| N/A   37C    P0             84W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   6  NVIDIA H800                    Off |   00000000:B3:00.0 Off |                    0 |
| N/A   37C    P0             85W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
|   7  NVIDIA H800                    Off |   00000000:B9:00.0 Off |                    0 |
| N/A   38C    P0             87W /  700W |       4MiB /  81559MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

# nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Mar_28_02:18:24_PDT_2024
Cuda compilation tools, release 12.4, V12.4.131
Build cuda_12.4.r12.4/compiler.34097967_0

apt-get install python3-pip
pip install pip -U
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
pip install nvitop

# nvitop -1
Wed Feb 19 11:44:37 2025
╒═════════════════════════════════════════════════════════════════════════════╕
│ NVITOP 1.4.2       Driver Version: 550.90.12      CUDA Driver Version: 12.4 │
├───────────────────────────────┬──────────────────────┬──────────────────────┤
│ GPU  Name        Persistence-M│ Bus-Id        Disp.A │ MIG M.   Uncorr. ECC │
│ Fan  Temp  Perf  Pwr:Usage/Cap│         Memory-Usage │ GPU-Util  Compute M. │
╞═══════════════════════════════╪══════════════════════╪══════════════════════╪════════════════════╕
│   0  H800                Off  │ 00000000:18:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   36C    P0    85W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
├───────────────────────────────┼──────────────────────┼──────────────────────┼────────────────────┤
│   1  H800                Off  │ 00000000:3A:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   36C    P0    83W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
├───────────────────────────────┼──────────────────────┼──────────────────────┼────────────────────┤
│   2  H800                Off  │ 00000000:4B:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   37C    P0    82W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
├───────────────────────────────┼──────────────────────┼──────────────────────┼────────────────────┤
│   3  H800                Off  │ 00000000:5C:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   36C    P0    84W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
├───────────────────────────────┼──────────────────────┼──────────────────────┼────────────────────┤
│   4  H800                Off  │ 00000000:84:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   37C    P0    83W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
├───────────────────────────────┼──────────────────────┼──────────────────────┼────────────────────┤
│   5  H800                Off  │ 00000000:AC:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   36C    P0    84W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
├───────────────────────────────┼──────────────────────┼──────────────────────┼────────────────────┤
│   6  H800                Off  │ 00000000:B3:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   37C    P0    85W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
├───────────────────────────────┼──────────────────────┼──────────────────────┼────────────────────┤
│   7  H800                Off  │ 00000000:B9:00.0 Off │ Disabled           0 │ MEM: ▏ 0.0%        │
│ N/A   37C    P0    87W / 700W │   3.50MiB / 79.65GiB │      0%      Default │ UTL: ▏ 0%          │
╘═══════════════════════════════╧══════════════════════╧══════════════════════╧════════════════════╛
[ CPU: ▏ 0.3%                                UPTIME: 22:52:42 ]  ( Load Average:  0.15  0.07  0.08 )
[ MEM: ▍ 0.8%                                   USED: 7.92GiB ]  [ SWP: ▏ 0.0%                     ]

╒══════════════════════════════════════════════════════════════════════════════════════════════════╕
│ Processes:                                                                          root@pm-93f2 │
│ GPU     PID      USER  GPU-MEM %SM  %CPU  %MEM  TIME  COMMAND                                    │
╞══════════════════════════════════════════════════════════════════════════════════════════════════╡
│  No running processes found                                                                      │
╘══════════════════════════════════════════════════════════════════════════════════════════════════╛

mkdir -p /data/ollama && cd /data/ollama
wget https://ollama.com/install.sh

# 为了加速下载，可以使用代理
sed -i 's#https://ollama.com/download#https://gh-proxy.com/github.com/ollama/ollama/releases/download/v0.5.11#g' install.sh


# 增加ollama systemd的环境变量
sed -i '/\[Service\]/a\EnvironmentFile=/data/ollama/env' install.sh

cat > /data/ollama/env <<EOF
OLLAMA_HOST=0.0.0.0:11434
OLLAMA_ORIGINS=*
OLLAMA_KEEP_ALIVE=10m
OLLAMA_FLASH_ATTENTION=1
OLLAMA_NUM_PARALLEL=1
OLLAMA_MODELS=/data/ollama/models
EOF

chmod +x install.sh
./install.sh

# 安装完成后，可以查看 ollama 的状态
systemctl status ollama

GIT_LFS_SKIP_SMUDGE=1  git clone https://www.modelscope.cn/unsloth/DeepSeek-R1-GGUF.git
git lfs pull  --include="DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M*"
# # ls -al
total 789902780
drwxr-xr-x  2 root root         4096 Feb 19 18:43 .
drwxr-xr-x 16 root root         4096 Feb 19 16:30 ..
-rw-r--r--  1 root root  48339779936 Feb 19 18:01 DeepSeek-R1-Q4_K_M-00001-of-00009.gguf
-rw-r--r--  1 root root  49429396320 Feb 19 18:02 DeepSeek-R1-Q4_K_M-00002-of-00009.gguf
-rw-r--r--  1 root root  49527312640 Feb 19 18:02 DeepSeek-R1-Q4_K_M-00003-of-00009.gguf
-rw-r--r--  1 root root  48272509536 Feb 19 17:59 DeepSeek-R1-Q4_K_M-00004-of-00009.gguf
-rw-r--r--  1 root root  49422027488 Feb 19 18:03 DeepSeek-R1-Q4_K_M-00005-of-00009.gguf
-rw-r--r--  1 root root  48272509536 Feb 19 18:00 DeepSeek-R1-Q4_K_M-00006-of-00009.gguf
-rw-r--r--  1 root root  49429396320 Feb 19 18:01 DeepSeek-R1-Q4_K_M-00007-of-00009.gguf
-rw-r--r--  1 root root  46938773696 Feb 19 17:59 DeepSeek-R1-Q4_K_M-00008-of-00009.gguf
-rw-r--r--  1 root root  14798482144 Feb 19 18:21 DeepSeek-R1-Q4_K_M-00009-of-00009.gguf

# 使用代理地址
apt-get install cmake
git clone https://gh-proxy.com/github.com/ggerganov/llama.cpp
cmake -B build
cmake --build build --config Release
echo 'export PATH=/data/llama.cpp/build/bin:$PATH' >> /etc/profile
source /etc/profile

# llama-cli --version
version: 4741 (9626d935)
built with cc (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0 for x86_64-linux-gnu

# 合并 gguf
llama-gguf-split --merge DeepSeek-R1-Q4_K_M-00001-of-00009.gguf DeepSeek-R1-Q4_K_M.gguf

# 创建描述文件
cat << EOF >DeepSeekQ1_Modelfile
FROM /data/modlescope/DeepSeek-R1-GGUF/DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M.gguf
PARAMETER num_gpu 16
PARAMETER num_ctx 8192
PARAMETER temperature 0.6
TEMPLATE "<｜User｜>{{ .System }} {{ .Prompt }}<｜Assistant｜>"
EOF

# 创建模型
ollama create DeepSeek-R1-Q4_K_M -f DeepSeekQ1_Modelfile

# ollama list
NAME                         ID              SIZE      MODIFIED     
DeepSeek-R1-Q4_K_M:latest    1d8ef98ce5e7    404 GB    14 hours ago  

# ollama run deepseek-r1:q4 --verbose
>>> 一个汉字具有左右结构，左边是木，右边是乞。这个字是什么？只需回答这个字即可。
<think>
好的，我现在遇到了一个问题：用户问的是一个左右结构的汉字，左边是“木”，右边是“乞”。需要找出这个字是什么。首先我得回忆一下常见的带有木字旁的字，然后再看右边的结构是不是“乞”。

首先，“木”作为偏旁通常出现在左边或右边，但题目说是左右结构，所以确定是在左边。接下来右边的部分是“乞”。“乞”本身是一个独立的汉字，读音为qǐ，比如乞丐的乞。

现在要组合这两个部分。可能的字有吗？我记得有个字是“杞”，不过右边的写法可能不同。“杞”字的右边其实是“己”，而不是“乞”。虽然看起来有点像，但“己”和“乞”在结构上还是不同的，所以这可能不是正
确答案。

那有没有其他可能性呢？“木”加“乞”？或者是否这个字存在？也许是比较少见的汉字或者是古体字？

有时候可能用户会记错右边的部分，比如是否是“气”而不是“乞”。“气”的话加上木就是“気”，但这是日文中的简化字，对应中文的“氣”。所以这也不对。

再仔细想想，“桔”字的右边是“吉”，“橘”比较复杂。有没有可能是“杚”？这个字的结构确实是左边木，右边乞。查一下读音和意思。“杚”读作gū或gài，根据不同的发音有不同的含义。比如在《说文解字》里可
能指平物的器具，或者量米时刮平斗斛的用具。

不过用户问的是现代常用的汉字吗？如果是的话，“杚”可能不太常见，但确实是存在的。另外可能需要确认输入法是否能打出来这个字，以及是否有其他可能的候选。比如“栔”，右边是契，不是乞。“桼”也不
是。那看来正确的答案应该是“杚”。
</think>

杚

total duration:       1m25.847168276s
load duration:        13.150159ms
prompt eval count:    28 token(s)
prompt eval duration: 2.535s
prompt eval rate:     11.05 tokens/s
eval count:           382 token(s)
eval duration:        1m23.298s
eval rate:            4.59 tokens/s

# curl http://localhost:11434/api/chat -d '{
  "model": "DeepSeek-R1-Q4_K_M:latest",
  "messages": [{ "role": "user", "content": "hi" }],
  "stream": false
}'
{"model":"deepseek-r1:32b","created_at":"2025-02-13T08:06:34.246236674Z","message":{"role":"assistant","content":"\u003cthink\u003e\n\n\u003c/think\u003e\n\nHello! How can I assist you today? 😊"},"done_reason":"stop","done":true,"total_duration":808218860,"load_duration":14494335,"prompt_eval_count":4,"prompt_eval_duration":29000000,"eval_count":16,"eval_duration":764000000}

# ollama  ps
NAME                         ID              SIZE      PROCESSOR          UNTIL   
DeepSeek-R1-Q4_K_M:latest    1d8ef98ce5e7    510 GB    84%/16% CPU/GPU    Forever 

wget https://gh-proxy.com/github.com/astral-sh/uv/releases/latest/download/uv-installer.shexport 
# 使用代理
UV_INSTALLER_GITHUB_BASE_URL=https://gh-proxy.com/github.com
bash uv-installer.sh 
source $HOME/.local/bin/env

# 安装python3.12版本
uv python install 3.12

# 安装 vllm python 环境
cd /data/
uv venv vllm --python 3.12 --seed 
source vllm/bin/activate
pip install vllm

# 安装 git-lfs
apt-get install git-lfs

# 国内镜像
git clone https://www.modelscope.cn/cognitivecomputations/DeepSeek-R1-awq.git

python -m vllm.entrypoints.openai.api_server \
 --served-model-name deepseek-r1 --model /data/modlescope/DeepSeek-R1-awq \
 --trust-remote-code \
 --host 0.0.0.0 \
 --port 8000 \
 --gpu-memory-utilization 0.95 \
 --tensor-parallel-size 8 \
 --enable-prefix-caching \
 --max-model-len 8192 \
 --enforce-eager \
 --dtype float16 

time curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-r1",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "一个汉字具有左右结构，左边是木，右边是乞。这个字是什么？只需回答这个字即可。"}
        ]
    }'
'
{"id":"chatcmpl-592d0358a18a4297a93b4d54caf60070","object":"chat.completion","created":1739936941,"model":"deepseek-r1","choices":[{"index":0,"message":{"role":"assistant","reasoning_content":null,"content":"<think>\n好的，我现在要解决的这个问题是：一个汉字左右结构，左边是“木”，右边是“乞”，这是什么字。我需要先仔细分析这个问题，然后思考可能的答案。\n\n首先，题目给出的结构是左右结构，左边是“木”字旁，右边是“乞”。那么我需要根据这个结构在记忆里搜索或者是查阅可能的汉字。首先，我应该回想学过的汉字中是否有这样的组合。想到的常见字可能有哪些呢？\n\n可能我会想到“树”这个字，不过“树”的结构是比较复杂的，左边是“木”，右边其实是“对”加其他结构。或者有没有其他的字。“木”作为左边，可能构成很多形声字，比如“材”、“树”、“林”等等，但是我需要右边是“乞”的组合。\n\n记得“乞”这个字有时候会和别的部首形成新的字，比如“吃”中的“口”加“乞”。“迄”是走字旁加“乞”，还有“仡”是单人旁加“乞”。而和木字旁组合的，例如“木”加“乞”会是什么字呢？\n\n想到这里，如果这个字存在的话，可能是比较生僻或者不常用的汉字。我需要确认一下是否有这样的汉字符存在。或者可能是另一个发音的字？\n\n可能这时候我需要拆解字形来分析，木字旁加“乞”是否可以组成一个合法的汉字，是否在汉字的规范中存在。例如，“木”加“乞”组合的话，可能念什么音？\n\n根据形声字的规则，右边的“乞”可能提供这个字的发音。比如“仡”读作yì，“吃”读chī，“迄”读qì。如果右边的“乞”在这里作为声旁，那么这个字可能发音为qì之类，比如“气”是qì，但“乞”本身是qǐ发音第三声或轻声可能？\n\n不过有时候发音可能不完全对应。例如，“仡”读yì，可能与“乞”的发音不同。那么这里右边的“乞”可能作为声旁，可能读qǐ或者是qì？\n\n如果存在这个字，可能就是一个木字旁加乞，比如“杚”：左边木，右边乞。那么应该这个字是存在的吗？我需要确认这一点。\n\n可能我需要查一下汉字词典或者相关资料。比如，现在的输入法里输入“muqi”会不会有这个字出现？或者查阅《现代汉语词典》中的索引。\n\n假设用户问的这个字确实存在，那么正确的答案应该是“杚”这个字对吗？那它的发音可能是gài或gǔ。这两个读音，可能根据不同的意思有不同的发音。\n\n例如，根据《现代汉语词典》，“杚”读gài时，同“概”，是平斗斛的木棍；读gǔ时，意为“摩”。但可能这个字相对生僻，不是常用字。\n\n所以，用户的问题的答案应该就是这个字：“杚”。需要确认的是这个字的结构符合题目的左右结构，木在左，乞在右。是的，结构是这样的。\n\n那么总结问题，正确回答就是这个字为“杚”。\n</think>\n\n杚","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":33,"total_tokens":680,"completion_tokens":647,"prompt_tokens_details":null},"prompt_logprobs":null}

real    0m55.043s
user    0m0.000s
sys     0m0.005s

uv venv sglang --python 3.12 --seed
source sglang/bin/activate
  
pip install sgl-kernel --force-reinstall --no-deps
pip install "sglang[all]>=0.4.3.post2" --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python

python -m sglang.launch_server --model-path /data2/Qwen2.5-72B-Instruct --served-model-name Qwen2.5-72B-Instruct --tp 8 --trust-remote-code  --host 0.0.0.0 --port 8000

# 启动如果以下遇到错误，需要回退 transformers 版本
ImportError: cannot import name 'is_valid_list_of_images' from 'transformers.models.mllama.image_processing_mllama' (/data/sglang/lib/python3.12/site-packages/transformers/models/mllama/image_processing_mllama.py)

# 回退 transformers 版本
pip uninstall transformers
pip install transformers==4.48.3