部署 DeepSeek R1 32B 深度思考模型

# uname -r
5.10.134-16.al8.x86_64

yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)

wget https://cn.download.nvidia.com/tesla/470.161.03/NVIDIA-Linux-x86_64-470.161.03.run
chmod +x NVIDIA-Linux-x86_64-470.161.03.run
sh NVIDIA-Linux-x86_64-470.161.03.run

# nvidia-smi
Thu Feb 12 19:17:52 2025
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA A10          Off  | 00000000:00:08.0 Off |                    0 |
|  0%   29C    P8    17W / 150W |      2MiB / 22731MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

mkdir -p /data/ollama && cd /data/ollama
wget https://ollama.com/install.sh

# 为了加速下载，可以使用代理
sed -i 's#https://ollama.com/download#https://gh-proxy.com/github.com/ollama/ollama/releases/download/v0.5.11#g' install.sh


# 增加ollama systemd的环境变量
sed -i '/\[Service\]/a\EnvironmentFile=/data/ollama/env' install.sh

cat > /data/ollama/env <<EOF
OLLAMA_HOST=0.0.0.0:11434
OLLAMA_ORIGINS=*
OLLAMA_KEEP_ALIVE=10m
OLLAMA_NUM_PARALLEL=1
OLLAMA_MODELS=/data/ollama/models
EOF

chmod +x install.sh
./install.sh

# 安装完成后，可以查看 ollama 的状态
systemctl status ollama

ollama pull deepseek-r1:32b

# ollama run deepseek-r1:32b
>>> /set verbose
Set 'verbose' mode.
>>> 你好，给我讲个可笑的笑话  
<think>
好的，用户让我讲个可笑的笑话。首先，我得考虑笑话的类型，要适合大多数人的口味，不能太冷僻或者有冒犯性。动物类的笑话通常比较受欢迎，也比较容易让人发笑。

然后，我需要想一个有趣的场景。海滩是个不错的选择，因为它给人一种轻松愉快的感觉。接下来，确定角色，海鸥和螃蟹都是常见的海洋生物，容易让人联想到它们的特点。

接下来，构思对话。海鸥问问题，螃蟹回答，形成互动。问题要有悬念，比如为什么不能把袜子留在海滩上。这样的问题能引起听众的好奇心，想知道答案是什么。

然后，设计一个出人意料的转折。袜子会自己走？这听起来有点奇怪，但其实是因为螃蟹喜欢在水里活动，所以袜子会被带入水中，显得像是自己走了。这个解释既有趣又合理，让人觉得好笑。

最后，加上一句调侃的话，比如“蟹总”这样称呼，增加亲切感和幽默感，让用户感觉更自然，更容易发笑。

整体上，笑话的结构清晰，有开头、发展和结尾，符合一般的幽默模式，应该能引起用户的笑声。
</think>

当然可以！这是一个经典的笑话：

有一天，一只海鸥问一只螃蟹：“为什么你不能把袜子留在海滩上？”

螃蟹回答说：“因为它们会自己走！”

海鸥愣了一下，说：“哦，原来是这样！不过……你的袜子呢？”

螃蟹不好意思地说：“我还没学会穿袜子。”

哈哈，是不是有点好笑？😄

total duration:       16.75064966s
load duration:        14.872699ms
prompt eval count:    12 token(s)
prompt eval duration: 42ms
prompt eval rate:     285.71 tokens/s
eval count:           330 token(s)
eval duration:        16.693s
eval rate:            19.77 tokens/s

# curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:32b",
  "messages": [{ "role": "user", "content": "hi" }],
  "stream": false
}'
{"model":"deepseek-r1:32b","created_at":"2025-02-13T08:06:34.246236674Z","message":{"role":"assistant","content":"\u003cthink\u003e\n\n\u003c/think\u003e\n\nHello! How can I assist you today? 😊"},"done_reason":"stop","done":true,"total_duration":808218860,"load_duration":14494335,"prompt_eval_count":4,"prompt_eval_duration":29000000,"eval_count":16,"eval_duration":764000000}