在数字化浪潮席卷的今天,中小企业面临着前所未有的机遇与挑战。如何快速响应市场变化、提升研发效能、保障应用稳定与安全,成为企业持续发展的关键。Docker 技术以其轻量、高效、标准化的特性,为解决这些问题提供了有力武器。然而,如何正确、高效地编写 Dockerfile,构建出符合企业需求的容器镜像,往往困扰着许多开发者和运维团队。
您是否也曾遇到这些困扰?
现在,《Dockerfile 中小企业实战指南》 横空出世,一站式解决您在 Docker 镜像构建中的所有难题!这不仅仅是一份文档,更是一套专为中小企业量身定制的最佳实践与行动指南!
以每周一个节点,记录知识点。
在 Kubernetes 集群中使用 NodePort 类型的服务时,可能会遇到这样的情况:同一时间,部分客户端可以正常访问服务,而另一部分客户端却无法访问。特别是当客户端位于 NAT 网络环境中时,这个问题更为明显。
问题原因:
这个问题主要与 Linux 内核的两个参数设置有关:
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 1
当这两个参数同时被启用时,会对 NAT 网络环境产生不良影响。
技术原理:
在 K8S 工作节点上,可以通过 sysctl 命令查看这两个参数的设置:
$ sysctl net.ipv4.tcp_tw_recycle
net.ipv4.tcp_tw_recycle = 1
$ sysctl net.ipv4.tcp_timestamps
net.ipv4.tcp_timestamps = 1
当这两个参数都启用时会发生什么:
tcp_timestamps
参数启用后,TCP 连接会记录数据包的时间戳信息tcp_tw_recycle
参数启用后,服务器会使用时间戳机制来快速回收处于 TIME_WAIT 状态的连接解决方法:
最简单的解决方法是在 Kubernetes 工作节点上禁用tcp_tw_recycle
参数:
sysctl -w net.ipv4.tcp_tw_recycle=0
并将此设置永久保存到/etc/sysctl.conf
文件中:
net.ipv4.tcp_tw_recycle = 0
注意事项:
在现代 Linux 内核中(特别是 4.12 版本之后),tcp_tw_recycle
参数已被移除,因为它会导致此类 NAT 环境下的连接问题。如果您正在使用较新的内核版本,可能不会遇到此问题。
参考:
Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
在安装开源版本 Dify 时,后台只有一个工作空间,且无法在后台创建新的工作空间。为了解决这个问题,我们可以手动创建工作空间。 本次使用的版本是 1.0.0
。
本文介绍如何在天翼云 GPU 服务器上部署 DeepSeek R1 深度思考模型。
目前部署模型的方式有很多种,比如 Docker、Kubernetes、Ollama、vLLM, SGLAng 等 。 本文主要介绍如何使用 Ollama, vLLM 和 SGLang 在单机上部署 DeepSeek R1 模型。
DeepSeek
DeepSeek 系列模型是由深度求索(DeepSeek)公司推出的大语言模型。
DeepSeek-R1 模型包含 671B 参数,激活 37B,在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力,尤其在数学、代码、自然语言推理等任务上。
DeepSeek-V3 为 MoE 模型,671B 参数,激活 37B,在 14.8T Token 上进行了预训练,在长文本、代码、数学、百科、中文能力上表现优秀。
DeepSeek-R1-Distill 系列模型是基于知识蒸馏技术,通过使用 DeepSeek-R1 生成的训练样本对 Qwen、Llama 等开源大模型进行微调训练后,所得到的增强型模型。
本文介绍如何在阿里云 GPU 服务器上部署 DeepSeek R1 深度思考模型。
目前部署模型的方式有很多种,比如 Docker、Kubernetes、Ollama、vLLM 等,这里我们使用 Ollama + DeepSeek 。
Ollama
Ollama 是一个运行大模型的工具,可以看成是大模型领域的 Docker,可以下载所需的大模型并暴露 Ollama API,极大的简化了大模型的部署。
DeepSeek
DeepSeek 系列模型是由深度求索(DeepSeek)公司推出的大语言模型。
DeepSeek-R1 模型包含 671B 参数,激活 37B,在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力,尤其在数学、代码、自然语言推理等任务上。
DeepSeek-V3 为 MoE 模型,671B 参数,激活 37B,在 14.8T Token 上进行了预训练,在长文本、代码、数学、百科、中文能力上表现优秀。
DeepSeek-R1-Distill 系列模型是基于知识蒸馏技术,通过使用 DeepSeek-R1 生成的训练样本对 Qwen、Llama 等开源大模型进行微调训练后,所得到的增强型模型。
以每周一个节点,记录知识点。
以每周一个节点,记录知识点。
以每周一个节点,记录知识点。
以每周一个节点,记录知识点。
以每周一个节点,记录知识点。