2026年3月底 ingress-nginx这个老登就会举办退役仪式[1]k8s社区强烈推荐sre迁移到其他云原生网关。2026年3月初 虾系玩物claw已经被AI市场宠的不像样。最近我们在探索用一套AI网关同时提供云原生API和 AI token推理服务于是我们开始从ingres-nginx迁移到云原生AI网关higress。1.higress 是什么?higress由阿里开源的云原生网关近几年随大流推出了AI网关的能力老登谢幕中登上场 依旧能打云原生AI网关Higress 提供两种模式 这也是传统的Ingress-nginx肉眼可见的区别。K8s ingress模式 作为controller运行兼容k8s资源和ingress注解适用与保持原生k8s工作流的场景。api控制台模式通过过API控制台界面或者API配置提供完整的api生命周期管理、精细化策略适用与集中化治理和精细化管理的场景。注意 控制台创建的API优先级会高于Ingress方式同步的路由 控制台路由列表也只会包含通过控制台创建的路由配置。通过helm安装helm repo add higress.io https://higress.cn/helm-charts helm install higress -n higress-system higress.io/higress --create-namespace --render-subchart-noteskubectl get svc -n higress-system NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE higress-console ClusterIP 10.96.106.73 none 8080/TCP 21h higress-controller ClusterIP 10.96.129.8 none 8888/TCP,8889/TCP,15051/TCP,15010/TCP,15012/TCP,443/TCP,15014/TCP 21h higress-gateway LoadBalancer 10.96.75.36 10.16.16.5 80:31255/TCP,443:30881/TCP 21h裸金属k8s集群已经安装了metalLb负载均衡器[2], 故svc typeloadbancler有external-ip 可在主机网络访问。1.1 higress控制台模式higress-consolesvc typeclusterIP是控制台界面默认不对集群外访问 但是咱们需要去界面配置 有个技巧值得收藏 收藏 学会1 从k8s节点上打隧道到集群内部服务kubectl port-forward -n higress-system svc/higress-console 8080:8080Forwarding from 127.0.0.1:8080 - 8080Forwarding from [::1]:8080 - 8080启动新终端便可以在k8s集群节点上curl命令访问集群内8080端口服务。2 从裸金属linux无图形界面隧道到有界面的本机在windows主机cmd上执行ssh -L 8080:127.0.0.1:8080 vadmin10.16.127.1, 便可以在本机浏览器访问集群节点上隧道的8080端口服务。2. 从ingress-nginx 迁移到higress[3]higress支持绝大多数ingress-nginx注解覆盖90%的用户场景。① 一般情况下修改原始的ingress.yaml文件ingressClassName从nginx改成higress② apply的时候会被ingress nginx的准入配置拦截 需要先删除准入机制不影响ingress-nginx-controller行为。kubectl get ValidatingWebhookConfiguration # default 命名空间下 kubectl delete ValidatingWebhookConfiguration ingress-nginx-admission③ 验证higress 迁移配置验证higress gateway与刚apply的服务的连通性kubectl exec -it -n higress-system higress-gateway-549dcf7877-p8d2s-- curl -v http://web-svc.zsypt-user-cloud.svc.cluster.local:8080验证higress gateway 与刚加入的服务的路由正确性:kubectl exec -it -n higress-system higress-gateway-549dcf7877-p8d2s-- curl -v http://127.0.0.1:80 -H host: studio.pgclouds.com此次因为 higress 已经通过load balancer对外暴露可以使用 curl external-ip -H host:studio.pgclouds.com 直接测试上面没问题开始将流量从ingress-nginx external-ip切换到higress gatewayexternal-ip了。这里留一个问题 ingress-nginx-controllerhigress-gateway svc占据了metalLb分配的2个ip如何在不通知运维切换的情况下固定一个ip。3. higress[4]才是AI时代的心头好3.1 vllm production-stack部署LLM服务vllm高性能推理框架vllm production-stack[5]是面向生产的高性能推理实践。vLLM实例快速伸缩请求路由和 KV Cache卸载带来的性能优势可观测性higress 能做什么 :Higress 能够用统一的协议对接国内外所有 LLM 模型厂商同时具备丰富的 AI 可观测、多模型负载均衡/fallback、AI token 流控、AI 缓存等能力集群已经部署了qwen3.5-35b模型。3.2 配置higress代理到LLM推理服务① 登录Higress Console 控制台 127.0.0.1:8080 如何访问参考本文1.1节② 配置LLLM AI Provider这个就类比nginx upstream svcvLLM原生兼容OpenAI 协议, 使用自建k8s集群内的推理服务地址vllm-qwen-router-service.vllm-product-stack.svc.cluster.local③ 配置AI路由 类似常规的路由下面的配置意味着:uri匹配/v1/chat 且modelName 前缀匹配Qwen会路由进入推理服务。④ 验证脚本 可以用higress gateway external-ip 直接测试推理服务。/v1/chat和modelkey可认为是路由条件。curl -v http://10.16.16.5/v1/chat/completions -X POST -H Content-Type: application/json -d {model: Qwen/Qwen3.5-35B-A3B-GPTQ-Int4, messages: [{role: user, content: Hello!}]}以上是一个兼容openAI的推理服务地址 不管上层是chatweb还是agent总归要消耗token咱们这次token管够。4. 好记性不如烂笔头读后你能得到1. ingress-nginx这个老登行将就木再不迁移就废了2. 两次隧道的技巧你得知道。3. Higress 这个中登在AI时代依旧能打4. 如何无感知从Ingress-nginx 迁移到Higress 这是一个疑问句参考资料[1]ingress-nginx就会举办退役仪式:https://www.kubernetes.dev/blog/2025/11/12/ingress-nginx-retirement/[2]metalLb负载均衡器:https://zhuanlan.zhihu.com/p/2017957547949184090[3]从ingress-nginx 迁移到higress:https://developer.aliyun.com/article/1691176[4]higress:https://github.com/alibaba/higress[5]vllm production-stack:https://github.com/vllm-project/production-stack
Higress这个中登才是AI时代网关的心头好
2026年3月底 ingress-nginx这个老登就会举办退役仪式[1]k8s社区强烈推荐sre迁移到其他云原生网关。2026年3月初 虾系玩物claw已经被AI市场宠的不像样。最近我们在探索用一套AI网关同时提供云原生API和 AI token推理服务于是我们开始从ingres-nginx迁移到云原生AI网关higress。1.higress 是什么?higress由阿里开源的云原生网关近几年随大流推出了AI网关的能力老登谢幕中登上场 依旧能打云原生AI网关Higress 提供两种模式 这也是传统的Ingress-nginx肉眼可见的区别。K8s ingress模式 作为controller运行兼容k8s资源和ingress注解适用与保持原生k8s工作流的场景。api控制台模式通过过API控制台界面或者API配置提供完整的api生命周期管理、精细化策略适用与集中化治理和精细化管理的场景。注意 控制台创建的API优先级会高于Ingress方式同步的路由 控制台路由列表也只会包含通过控制台创建的路由配置。通过helm安装helm repo add higress.io https://higress.cn/helm-charts helm install higress -n higress-system higress.io/higress --create-namespace --render-subchart-noteskubectl get svc -n higress-system NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE higress-console ClusterIP 10.96.106.73 none 8080/TCP 21h higress-controller ClusterIP 10.96.129.8 none 8888/TCP,8889/TCP,15051/TCP,15010/TCP,15012/TCP,443/TCP,15014/TCP 21h higress-gateway LoadBalancer 10.96.75.36 10.16.16.5 80:31255/TCP,443:30881/TCP 21h裸金属k8s集群已经安装了metalLb负载均衡器[2], 故svc typeloadbancler有external-ip 可在主机网络访问。1.1 higress控制台模式higress-consolesvc typeclusterIP是控制台界面默认不对集群外访问 但是咱们需要去界面配置 有个技巧值得收藏 收藏 学会1 从k8s节点上打隧道到集群内部服务kubectl port-forward -n higress-system svc/higress-console 8080:8080Forwarding from 127.0.0.1:8080 - 8080Forwarding from [::1]:8080 - 8080启动新终端便可以在k8s集群节点上curl命令访问集群内8080端口服务。2 从裸金属linux无图形界面隧道到有界面的本机在windows主机cmd上执行ssh -L 8080:127.0.0.1:8080 vadmin10.16.127.1, 便可以在本机浏览器访问集群节点上隧道的8080端口服务。2. 从ingress-nginx 迁移到higress[3]higress支持绝大多数ingress-nginx注解覆盖90%的用户场景。① 一般情况下修改原始的ingress.yaml文件ingressClassName从nginx改成higress② apply的时候会被ingress nginx的准入配置拦截 需要先删除准入机制不影响ingress-nginx-controller行为。kubectl get ValidatingWebhookConfiguration # default 命名空间下 kubectl delete ValidatingWebhookConfiguration ingress-nginx-admission③ 验证higress 迁移配置验证higress gateway与刚apply的服务的连通性kubectl exec -it -n higress-system higress-gateway-549dcf7877-p8d2s-- curl -v http://web-svc.zsypt-user-cloud.svc.cluster.local:8080验证higress gateway 与刚加入的服务的路由正确性:kubectl exec -it -n higress-system higress-gateway-549dcf7877-p8d2s-- curl -v http://127.0.0.1:80 -H host: studio.pgclouds.com此次因为 higress 已经通过load balancer对外暴露可以使用 curl external-ip -H host:studio.pgclouds.com 直接测试上面没问题开始将流量从ingress-nginx external-ip切换到higress gatewayexternal-ip了。这里留一个问题 ingress-nginx-controllerhigress-gateway svc占据了metalLb分配的2个ip如何在不通知运维切换的情况下固定一个ip。3. higress[4]才是AI时代的心头好3.1 vllm production-stack部署LLM服务vllm高性能推理框架vllm production-stack[5]是面向生产的高性能推理实践。vLLM实例快速伸缩请求路由和 KV Cache卸载带来的性能优势可观测性higress 能做什么 :Higress 能够用统一的协议对接国内外所有 LLM 模型厂商同时具备丰富的 AI 可观测、多模型负载均衡/fallback、AI token 流控、AI 缓存等能力集群已经部署了qwen3.5-35b模型。3.2 配置higress代理到LLM推理服务① 登录Higress Console 控制台 127.0.0.1:8080 如何访问参考本文1.1节② 配置LLLM AI Provider这个就类比nginx upstream svcvLLM原生兼容OpenAI 协议, 使用自建k8s集群内的推理服务地址vllm-qwen-router-service.vllm-product-stack.svc.cluster.local③ 配置AI路由 类似常规的路由下面的配置意味着:uri匹配/v1/chat 且modelName 前缀匹配Qwen会路由进入推理服务。④ 验证脚本 可以用higress gateway external-ip 直接测试推理服务。/v1/chat和modelkey可认为是路由条件。curl -v http://10.16.16.5/v1/chat/completions -X POST -H Content-Type: application/json -d {model: Qwen/Qwen3.5-35B-A3B-GPTQ-Int4, messages: [{role: user, content: Hello!}]}以上是一个兼容openAI的推理服务地址 不管上层是chatweb还是agent总归要消耗token咱们这次token管够。4. 好记性不如烂笔头读后你能得到1. ingress-nginx这个老登行将就木再不迁移就废了2. 两次隧道的技巧你得知道。3. Higress 这个中登在AI时代依旧能打4. 如何无感知从Ingress-nginx 迁移到Higress 这是一个疑问句参考资料[1]ingress-nginx就会举办退役仪式:https://www.kubernetes.dev/blog/2025/11/12/ingress-nginx-retirement/[2]metalLb负载均衡器:https://zhuanlan.zhihu.com/p/2017957547949184090[3]从ingress-nginx 迁移到higress:https://developer.aliyun.com/article/1691176[4]higress:https://github.com/alibaba/higress[5]vllm production-stack:https://github.com/vllm-project/production-stack
