从零开始使用Python实现一个简易的Lingbot深度估计模型推理引擎1. 引言你有没有想过一张普通的照片计算机是怎么“猜”出画面里每个物体离我们有多远的这就是单目深度估计要解决的问题。它让机器拥有了从2D图像中感知3D世界的能力是自动驾驶、机器人导航、增强现实等领域的核心技术。市面上有很多强大的深度估计模型比如我们今天要聊的Lingbot。它们效果惊艳但往往封装在庞大的深度学习框架里像是一个黑盒子。我们调用一个API输入图片得到深度图但对中间发生了什么总感觉隔着一层纱。这篇教程我想带你做点不一样的事。我们不依赖PyTorch、TensorFlow这些重型框架只用NumPy和一点点基础库亲手从零搭建一个简易版的Lingbot模型推理引擎。我们的目标不是复现一个工业级的产品而是像拆解一台精密的钟表一样把卷积、Transformer、上采样这些核心“齿轮”的运行原理一个个看清楚、摸明白。通过这个过程你不仅能理解深度估计模型是如何工作的更能深刻体会到那些看似复杂的AI模型其底层计算本质上是矩阵和向量的“游戏”。最后我们还会用自己手搓的引擎跑一下和官方模型的效果做个简单对比看看我们的理解到底对不对。如果你对计算机视觉有好奇心不满足于仅仅调用API想深入模型的“五脏六腑”那么这篇教程就是为你准备的。放心我们会一步步来用代码说话。2. 环境准备与核心思路在开始敲代码之前我们需要把“工作台”准备好并理清楚整个引擎的构建思路。2.1 极简环境搭建我们只需要最基础的Python科学计算库。建议使用Python 3.8及以上版本。# 理论上你只需要安装这两个库 pip install numpy pillowNumPy我们的核心计算引擎所有矩阵运算、卷积模拟都靠它。Pillow (PIL)用于简单的图像加载和预处理。是的就这两个。我们不引入任何自动求导或神经网络框架所有操作都将是手动、显式的计算。2.2 理解我们的目标推理引擎首先明确一点我们构建的是一个推理引擎而非训练框架。这意味着不涉及训练我们不会从零开始训练模型。我们会定义一个简易的网络结构并为其随机初始化权重或者加载一个预设的、极简的权重文件仅用于演示流程。聚焦前向传播我们的核心是实现模型的前向传播过程即输入一张图像经过一系列计算输出一张深度图。结构参照Lingbot我们会参照Lingbot这类先进深度估计模型的常见设计将其核心模块如卷积块、Transformer块、上采样层用NumPy实现出来组合成一个简易管道。整体流程可以概括为输入图片-预处理缩放、归一化-特征提取卷积层-特征增强Transformer块-深度图重建上采样层-后处理-输出深度图接下来我们就来亲手打造这个流程中的每一个部件。3. 基础构件用NumPy实现核心操作深度学习模型由基础算子构成让我们先用NumPy来实现它们。3.1 二维卷积操作卷积是视觉模型的基石。虽然NumPy没有直接的conv2d函数但我们可以通过sliding_window_viewNumPy 1.20.0或手动循环来实现。import numpy as np def conv2d_numpy(input_feature, kernel, stride1, padding0): 使用NumPy实现2D卷积。 为简化假设input_feature和kernel都是2D的单通道且padding为‘same’或‘valid’。 这里实现‘valid’ padding无填充。 # 获取输入和卷积核的尺寸 in_h, in_w input_feature.shape k_h, k_w kernel.shape # 计算输出特征图的尺寸 out_h (in_h - k_h) // stride 1 out_w (in_w - k_w) // stride 1 # 初始化输出 output np.zeros((out_h, out_w)) # 滑动窗口进行卷积计算 for i in range(0, out_h): for j in range(0, out_w): h_start i * stride h_end h_start k_h w_start j * stride w_end w_start k_w # 提取当前窗口区域 region input_feature[h_start:h_end, w_start:w_end] # 对应元素相乘后求和 output[i, j] np.sum(region * kernel) return output # 示例用一个简单的边缘检测核卷积一个小图像 input_img np.array([[1,1,1,0,0], [0,1,1,1,0], [0,0,1,1,1], [0,0,1,1,0], [0,1,1,0,0]]) sobel_kernel np.array([[1, 0, -1], [2, 0, -2], [1, 0, -1]]) edge_map conv2d_numpy(input_img, sobel_kernel, stride1, padding0) print(边缘检测结果部分:\n, edge_map)对于多通道输入输出我们需要扩展这个函数并处理偏置项。为了教程清晰后续我们会实现一个更完整的、支持批处理和多通道的卷积层类。3.2 线性层与激活函数线性层全连接层本质是矩阵乘法在NumPy中就是np.dot。class LinearLayer: def __init__(self, input_dim, output_dim): # 随机初始化权重和偏置 self.weights np.random.randn(input_dim, output_dim) * 0.01 self.bias np.zeros((1, output_dim)) def forward(self, x): # x shape: (batch_size, input_dim) return np.dot(x, self.weights) self.bias # ReLU激活函数非常简单 def relu(x): return np.maximum(0, x) # GeLU激活函数近似实现常用于Transformer def gelu_approximate(x): return 0.5 * x * (1 np.tanh(np.sqrt(2 / np.pi) * (x 0.044715 * x**3)))3.3 层归一化Transformer块中常用层归一化。它沿着特征维度进行归一化。def layer_norm(x, eps1e-5): 对x的最后一个维度进行层归一化。 x shape: (..., features) mean np.mean(x, axis-1, keepdimsTrue) variance np.var(x, axis-1, keepdimsTrue) normalized (x - mean) / np.sqrt(variance eps) # 这里省略了可学习的缩放和平移参数gamma和beta实际模型中会有。 return normalized有了这些基础零件我们就可以组装更复杂的模块了。4. 搭建核心模块卷积块与Transformer块现代深度估计模型通常是卷积神经网络和Transformer的混合体。我们来搭建这两个核心模块的简易版。4.1 简易卷积块一个基础的卷积块通常包含卷积、归一化、激活函数。class SimpleConvBlock: def __init__(self, in_channels, out_channels, kernel_size3, stride1): # 简化使用多个2D核模拟多通道卷积。实际应使用4D权重 (out_c, in_c, k_h, k_w) self.kernel np.random.randn(out_channels, in_channels, kernel_size, kernel_size) * 0.01 self.bias np.zeros((out_channels, 1, 1)) self.stride stride def forward(self, x): x shape: (in_channels, H, W) 输出 shape: (out_channels, H, W) 为简化这里省略了padding和详细的循环仅示意流程。 实际实现需要遍历输出通道和输入通道调用conv2d_numpy。 out_channels, in_channels, k_h, k_w self.kernel.shape # 这里是一个高度简化的示意逻辑 # 实际代码需要实现多通道卷积可能使用循环或利用np.tensordot output [] for oc in range(out_channels): channel_result np.zeros((x.shape[1]//self.stride, x.shape[2]//self.stride)) for ic in range(in_channels): # 对每个输入通道卷积然后累加 conv_result conv2d_numpy(x[ic], self.kernel[oc, ic], self.stride) channel_result conv_result channel_result self.bias[oc] # 加上偏置 output.append(channel_result) output np.array(output) output relu(output) # 应用激活函数 return output4.2 简易Transformer编码器块Transformer块的核心是自注意力机制。我们实现一个极度简化的版本聚焦于理解其数据流动。class SimpleTransformerBlock: def __init__(self, embed_dim, num_heads): self.embed_dim embed_dim self.num_heads num_heads assert embed_dim % num_heads 0 self.head_dim embed_dim // num_heads # 初始化Q, K, V的投影矩阵 self.wq np.random.randn(embed_dim, embed_dim) * 0.01 self.wk np.random.randn(embed_dim, embed_dim) * 0.01 self.wv np.random.randn(embed_dim, embed_dim) * 0.01 self.wo np.random.randn(embed_dim, embed_dim) * 0.01 # 输出投影 def forward(self, x): x shape: (seq_len, embed_dim) [对于视觉Transformerseq_len H*W] 返回相同shape。 batch_size, seq_len, embed_dim x.shape # 1. 线性投影得到Q, K, V Q np.dot(x, self.wq) # (seq_len, embed_dim) K np.dot(x, self.wk) V np.dot(x, self.wv) # 2. 重塑为多头 Q Q.reshape(seq_len, self.num_heads, self.head_dim).transpose(1, 0, 2) # (num_heads, seq_len, head_dim) K K.reshape(seq_len, self.num_heads, self.head_dim).transpose(1, 0, 2) V V.reshape(seq_len, self.num_heads, self.head_dim).transpose(1, 0, 2) # 3. 计算缩放点积注意力 scores np.matmul(Q, K.transpose(0, 2, 1)) / np.sqrt(self.head_dim) # (num_heads, seq_len, seq_len) attn_weights np.exp(scores) / np.sum(np.exp(scores), axis-1, keepdimsTrue) # Softmax attn_output np.matmul(attn_weights, V) # (num_heads, seq_len, head_dim) # 4. 合并多头 attn_output attn_output.transpose(1, 0, 2).reshape(seq_len, embed_dim) # (seq_len, embed_dim) # 5. 输出投影 output np.dot(attn_output, self.wo) # 6. 简化这里省略了Add Norm 和 Feed-Forward Network (FFN) # 实际完整的块会包含残差连接、层归一化和一个前馈网络。 return output这个Transformer块是概念性的实际在视觉模型中输入x需要先将图像特征图C, H, W展平为序列H*W, C。5. 组装推理引擎现在我们把各个模块像搭积木一样组装起来形成一个完整的、简易的前向传播管道。5.1 定义网络结构我们设计一个极简的编码器-解码器结构编码器几层卷积下采样提取局部特征然后接一个Transformer块进行全局上下文建模。解码器通过上采样层逐步恢复空间分辨率最终输出单通道深度图。class TinyDepthEstimator: def __init__(self): # 编码器部分 self.conv1 SimpleConvBlock(3, 16, kernel_size3, stride2) # 下采样 self.conv2 SimpleConvBlock(16, 32, kernel_size3, stride2) # 下采样 # 假设经过卷积后特征图大小为 (H/4, W/4)通道为32 # 将其重塑为序列输入Transformer self.transformer SimpleTransformerBlock(embed_dim32, num_heads4) # 解码器部分 - 上采样层这里用最近邻插值模拟 self.up_conv1 SimpleConvBlock(32, 16, kernel_size3, stride1) self.up_conv2 SimpleConvBlock(16, 1, kernel_size3, stride1) # 输出深度通道 def upsample_nearest(self, x, scale_factor2): 最近邻上采样 h, w x.shape[-2:] new_h, new_w h * scale_factor, w * scale_factor # 使用repeat操作实现最近邻插值 return np.repeat(np.repeat(x, scale_factor, axis-2), scale_factor, axis-1) def forward(self, x): x: 输入图像shape (3, H, W)值范围[0, 1] # 编码 feat1 self.conv1.forward(x) # (16, H/2, W/2) feat2 self.conv2.forward(feat1) # (32, H/4, W/4) # Transformer处理需要将空间特征转换为序列 batch, c, h, w feat2.shape feat_seq feat2.reshape(c, h*w).transpose(1, 0) # (h*w, c) # 增加一个虚拟的batch维度 feat_seq np.expand_dims(feat_seq, axis0) # (1, h*w, c) trans_feat_seq self.transformer.forward(feat_seq) trans_feat trans_feat_seq[0].transpose(1, 0).reshape(c, h, w) # 恢复形状 # 解码上采样 up_feat1 self.upsample_nearest(trans_feat, scale_factor2) # (32, H/2, W/2) up_feat1 self.up_conv1.forward(up_feat1) # (16, H/2, W/2) up_feat2 self.upsample_nearest(up_feat1, scale_factor2) # (16, H, W) depth_logits self.up_conv2.forward(up_feat2) # (1, H, W) # 将logits转换为正的深度值例如使用Sigmoid激活 depth_map 1 / (1 np.exp(-depth_logits)) # 简易Sigmoid return depth_map.squeeze(0) # 输出 (H, W)5.2 图像预处理与后处理一个完整的推理流程还需要处理输入输出。from PIL import Image def preprocess_image(image_path, target_size(224, 224)): 加载图像调整大小归一化到[0,1]并转换为CHW格式 img Image.open(image_path).convert(RGB) img img.resize(target_size) img_array np.array(img).astype(np.float32) / 255.0 # 归一化 # 从HWC转换为CHW img_array img_array.transpose(2, 0, 1) return img_array def postprocess_depth(depth_map): 对深度图进行后处理如归一化到可视范围[0, 255] depth_min, depth_max depth_map.min(), depth_map.max() if depth_max - depth_min 1e-6: depth_vis (depth_map - depth_min) / (depth_max - depth_min) * 255 else: depth_vis depth_map * 255 return depth_vis.astype(np.uint8) # 完整的推理流程 def run_inference(image_path): # 1. 预处理 input_tensor preprocess_image(image_path) # 2. 初始化模型随机权重 model TinyDepthEstimator() # 3. 前向传播 print(正在进行推理计算...) depth_pred model.forward(input_tensor) print(f深度图预测完成形状: {depth_pred.shape}) # 4. 后处理 depth_vis postprocess_depth(depth_pred) # 5. 保存结果 depth_img Image.fromarray(depth_vis) depth_img.save(depth_prediction.png) print(深度图已保存为 depth_prediction.png) return depth_vis6. 运行示例与效果对比让我们用一张图片来测试我们手搓的引擎并和我们的预期进行对比。6.1 运行我们的引擎# 假设你有一张名为 test_image.jpg 的图片 try: result run_inference(test_image.jpg) print(简易引擎推理完成) except FileNotFoundError: print(未找到test_image.jpg请准备一张测试图片。) # 生成一个随机图像作为演示 print(正在生成随机图像进行演示...) dummy_image np.random.rand(224, 224, 3) * 255 Image.fromarray(dummy_image.astype(np.uint8)).save(dummy_test.jpg) result run_inference(dummy_test.jpg)由于我们的模型权重是随机初始化的预期输出将是一张噪声图而不是有意义的深度估计。这完全符合预期因为我们的目的是理解数据流和计算过程而不是获得一个训练好的模型。6.2 与官方模型的对比思考现在让我们思考一下我们的简易引擎和真正的Lingbot官方模型之间的区别权重官方模型拥有在数百万张图像上学习到的、有意义的权重。我们的权重是随机的。结构复杂度官方模型可能有数十甚至数百层包含残差连接、更复杂的注意力机制、多层FFN等。我们的结构是极度简化的。训练技巧官方模型使用了数据增强、损失函数设计、优化器调参等大量技巧。工程优化官方实现使用CUDA、深度优化算子速度极快。我们的NumPy实现在速度上无法比拟。那么我们实现的价值在哪里当我们看到官方模型输出一张精准的深度图时我们现在可以清晰地想象出数据在其中流动的路径图像像素如何被卷积核提取为特征这些特征如何被转换成序列送入Transformer进行全局关系建模注意力权重如何聚焦于不同空间位置最后特征又如何被一步步上采样、融合重建出深度信息。这个过程不再是魔法而是一系列确定的、可理解的数学运算。7. 总结通过这个从零开始的实践我们完成了一次对深度估计模型内部运作的“探险”。我们用NumPy亲手实现了卷积、线性层、注意力机制并将它们组装成一个完整的推理管道。虽然这个引擎的输出结果目前只是噪声但整个数据流动的蓝图已经清晰地构建在我们脑海中。这个过程最重要的收获是理解。你知道了Transformer块里的Q、K、V矩阵具体在做什么知道了上采样如何将低分辨率特征图“放大”知道了没有训练过的模型权重为何会产生随机输出。这种理解是未来你调试复杂模型、设计新架构甚至仅仅是更有效地使用现有模型的基础。下次当你调用某个强大的AI模型的API时不妨在脑海中过一遍我们今天搭建的这个简易流程。你会对屏幕上那个看似神奇的结果多一份知其所以然的踏实感。如果你想继续深入可以尝试为我们这个引擎实现一个简单的均方误差损失函数并用一个极小的数据集尝试一下训练循环那将会是另一个有趣的故事了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
从零开始：使用Python实现一个简易的Lingbot深度估计模型推理引擎
从零开始使用Python实现一个简易的Lingbot深度估计模型推理引擎1. 引言你有没有想过一张普通的照片计算机是怎么“猜”出画面里每个物体离我们有多远的这就是单目深度估计要解决的问题。它让机器拥有了从2D图像中感知3D世界的能力是自动驾驶、机器人导航、增强现实等领域的核心技术。市面上有很多强大的深度估计模型比如我们今天要聊的Lingbot。它们效果惊艳但往往封装在庞大的深度学习框架里像是一个黑盒子。我们调用一个API输入图片得到深度图但对中间发生了什么总感觉隔着一层纱。这篇教程我想带你做点不一样的事。我们不依赖PyTorch、TensorFlow这些重型框架只用NumPy和一点点基础库亲手从零搭建一个简易版的Lingbot模型推理引擎。我们的目标不是复现一个工业级的产品而是像拆解一台精密的钟表一样把卷积、Transformer、上采样这些核心“齿轮”的运行原理一个个看清楚、摸明白。通过这个过程你不仅能理解深度估计模型是如何工作的更能深刻体会到那些看似复杂的AI模型其底层计算本质上是矩阵和向量的“游戏”。最后我们还会用自己手搓的引擎跑一下和官方模型的效果做个简单对比看看我们的理解到底对不对。如果你对计算机视觉有好奇心不满足于仅仅调用API想深入模型的“五脏六腑”那么这篇教程就是为你准备的。放心我们会一步步来用代码说话。2. 环境准备与核心思路在开始敲代码之前我们需要把“工作台”准备好并理清楚整个引擎的构建思路。2.1 极简环境搭建我们只需要最基础的Python科学计算库。建议使用Python 3.8及以上版本。# 理论上你只需要安装这两个库 pip install numpy pillowNumPy我们的核心计算引擎所有矩阵运算、卷积模拟都靠它。Pillow (PIL)用于简单的图像加载和预处理。是的就这两个。我们不引入任何自动求导或神经网络框架所有操作都将是手动、显式的计算。2.2 理解我们的目标推理引擎首先明确一点我们构建的是一个推理引擎而非训练框架。这意味着不涉及训练我们不会从零开始训练模型。我们会定义一个简易的网络结构并为其随机初始化权重或者加载一个预设的、极简的权重文件仅用于演示流程。聚焦前向传播我们的核心是实现模型的前向传播过程即输入一张图像经过一系列计算输出一张深度图。结构参照Lingbot我们会参照Lingbot这类先进深度估计模型的常见设计将其核心模块如卷积块、Transformer块、上采样层用NumPy实现出来组合成一个简易管道。整体流程可以概括为输入图片-预处理缩放、归一化-特征提取卷积层-特征增强Transformer块-深度图重建上采样层-后处理-输出深度图接下来我们就来亲手打造这个流程中的每一个部件。3. 基础构件用NumPy实现核心操作深度学习模型由基础算子构成让我们先用NumPy来实现它们。3.1 二维卷积操作卷积是视觉模型的基石。虽然NumPy没有直接的conv2d函数但我们可以通过sliding_window_viewNumPy 1.20.0或手动循环来实现。import numpy as np def conv2d_numpy(input_feature, kernel, stride1, padding0): 使用NumPy实现2D卷积。 为简化假设input_feature和kernel都是2D的单通道且padding为‘same’或‘valid’。 这里实现‘valid’ padding无填充。 # 获取输入和卷积核的尺寸 in_h, in_w input_feature.shape k_h, k_w kernel.shape # 计算输出特征图的尺寸 out_h (in_h - k_h) // stride 1 out_w (in_w - k_w) // stride 1 # 初始化输出 output np.zeros((out_h, out_w)) # 滑动窗口进行卷积计算 for i in range(0, out_h): for j in range(0, out_w): h_start i * stride h_end h_start k_h w_start j * stride w_end w_start k_w # 提取当前窗口区域 region input_feature[h_start:h_end, w_start:w_end] # 对应元素相乘后求和 output[i, j] np.sum(region * kernel) return output # 示例用一个简单的边缘检测核卷积一个小图像 input_img np.array([[1,1,1,0,0], [0,1,1,1,0], [0,0,1,1,1], [0,0,1,1,0], [0,1,1,0,0]]) sobel_kernel np.array([[1, 0, -1], [2, 0, -2], [1, 0, -1]]) edge_map conv2d_numpy(input_img, sobel_kernel, stride1, padding0) print(边缘检测结果部分:\n, edge_map)对于多通道输入输出我们需要扩展这个函数并处理偏置项。为了教程清晰后续我们会实现一个更完整的、支持批处理和多通道的卷积层类。3.2 线性层与激活函数线性层全连接层本质是矩阵乘法在NumPy中就是np.dot。class LinearLayer: def __init__(self, input_dim, output_dim): # 随机初始化权重和偏置 self.weights np.random.randn(input_dim, output_dim) * 0.01 self.bias np.zeros((1, output_dim)) def forward(self, x): # x shape: (batch_size, input_dim) return np.dot(x, self.weights) self.bias # ReLU激活函数非常简单 def relu(x): return np.maximum(0, x) # GeLU激活函数近似实现常用于Transformer def gelu_approximate(x): return 0.5 * x * (1 np.tanh(np.sqrt(2 / np.pi) * (x 0.044715 * x**3)))3.3 层归一化Transformer块中常用层归一化。它沿着特征维度进行归一化。def layer_norm(x, eps1e-5): 对x的最后一个维度进行层归一化。 x shape: (..., features) mean np.mean(x, axis-1, keepdimsTrue) variance np.var(x, axis-1, keepdimsTrue) normalized (x - mean) / np.sqrt(variance eps) # 这里省略了可学习的缩放和平移参数gamma和beta实际模型中会有。 return normalized有了这些基础零件我们就可以组装更复杂的模块了。4. 搭建核心模块卷积块与Transformer块现代深度估计模型通常是卷积神经网络和Transformer的混合体。我们来搭建这两个核心模块的简易版。4.1 简易卷积块一个基础的卷积块通常包含卷积、归一化、激活函数。class SimpleConvBlock: def __init__(self, in_channels, out_channels, kernel_size3, stride1): # 简化使用多个2D核模拟多通道卷积。实际应使用4D权重 (out_c, in_c, k_h, k_w) self.kernel np.random.randn(out_channels, in_channels, kernel_size, kernel_size) * 0.01 self.bias np.zeros((out_channels, 1, 1)) self.stride stride def forward(self, x): x shape: (in_channels, H, W) 输出 shape: (out_channels, H, W) 为简化这里省略了padding和详细的循环仅示意流程。 实际实现需要遍历输出通道和输入通道调用conv2d_numpy。 out_channels, in_channels, k_h, k_w self.kernel.shape # 这里是一个高度简化的示意逻辑 # 实际代码需要实现多通道卷积可能使用循环或利用np.tensordot output [] for oc in range(out_channels): channel_result np.zeros((x.shape[1]//self.stride, x.shape[2]//self.stride)) for ic in range(in_channels): # 对每个输入通道卷积然后累加 conv_result conv2d_numpy(x[ic], self.kernel[oc, ic], self.stride) channel_result conv_result channel_result self.bias[oc] # 加上偏置 output.append(channel_result) output np.array(output) output relu(output) # 应用激活函数 return output4.2 简易Transformer编码器块Transformer块的核心是自注意力机制。我们实现一个极度简化的版本聚焦于理解其数据流动。class SimpleTransformerBlock: def __init__(self, embed_dim, num_heads): self.embed_dim embed_dim self.num_heads num_heads assert embed_dim % num_heads 0 self.head_dim embed_dim // num_heads # 初始化Q, K, V的投影矩阵 self.wq np.random.randn(embed_dim, embed_dim) * 0.01 self.wk np.random.randn(embed_dim, embed_dim) * 0.01 self.wv np.random.randn(embed_dim, embed_dim) * 0.01 self.wo np.random.randn(embed_dim, embed_dim) * 0.01 # 输出投影 def forward(self, x): x shape: (seq_len, embed_dim) [对于视觉Transformerseq_len H*W] 返回相同shape。 batch_size, seq_len, embed_dim x.shape # 1. 线性投影得到Q, K, V Q np.dot(x, self.wq) # (seq_len, embed_dim) K np.dot(x, self.wk) V np.dot(x, self.wv) # 2. 重塑为多头 Q Q.reshape(seq_len, self.num_heads, self.head_dim).transpose(1, 0, 2) # (num_heads, seq_len, head_dim) K K.reshape(seq_len, self.num_heads, self.head_dim).transpose(1, 0, 2) V V.reshape(seq_len, self.num_heads, self.head_dim).transpose(1, 0, 2) # 3. 计算缩放点积注意力 scores np.matmul(Q, K.transpose(0, 2, 1)) / np.sqrt(self.head_dim) # (num_heads, seq_len, seq_len) attn_weights np.exp(scores) / np.sum(np.exp(scores), axis-1, keepdimsTrue) # Softmax attn_output np.matmul(attn_weights, V) # (num_heads, seq_len, head_dim) # 4. 合并多头 attn_output attn_output.transpose(1, 0, 2).reshape(seq_len, embed_dim) # (seq_len, embed_dim) # 5. 输出投影 output np.dot(attn_output, self.wo) # 6. 简化这里省略了Add Norm 和 Feed-Forward Network (FFN) # 实际完整的块会包含残差连接、层归一化和一个前馈网络。 return output这个Transformer块是概念性的实际在视觉模型中输入x需要先将图像特征图C, H, W展平为序列H*W, C。5. 组装推理引擎现在我们把各个模块像搭积木一样组装起来形成一个完整的、简易的前向传播管道。5.1 定义网络结构我们设计一个极简的编码器-解码器结构编码器几层卷积下采样提取局部特征然后接一个Transformer块进行全局上下文建模。解码器通过上采样层逐步恢复空间分辨率最终输出单通道深度图。class TinyDepthEstimator: def __init__(self): # 编码器部分 self.conv1 SimpleConvBlock(3, 16, kernel_size3, stride2) # 下采样 self.conv2 SimpleConvBlock(16, 32, kernel_size3, stride2) # 下采样 # 假设经过卷积后特征图大小为 (H/4, W/4)通道为32 # 将其重塑为序列输入Transformer self.transformer SimpleTransformerBlock(embed_dim32, num_heads4) # 解码器部分 - 上采样层这里用最近邻插值模拟 self.up_conv1 SimpleConvBlock(32, 16, kernel_size3, stride1) self.up_conv2 SimpleConvBlock(16, 1, kernel_size3, stride1) # 输出深度通道 def upsample_nearest(self, x, scale_factor2): 最近邻上采样 h, w x.shape[-2:] new_h, new_w h * scale_factor, w * scale_factor # 使用repeat操作实现最近邻插值 return np.repeat(np.repeat(x, scale_factor, axis-2), scale_factor, axis-1) def forward(self, x): x: 输入图像shape (3, H, W)值范围[0, 1] # 编码 feat1 self.conv1.forward(x) # (16, H/2, W/2) feat2 self.conv2.forward(feat1) # (32, H/4, W/4) # Transformer处理需要将空间特征转换为序列 batch, c, h, w feat2.shape feat_seq feat2.reshape(c, h*w).transpose(1, 0) # (h*w, c) # 增加一个虚拟的batch维度 feat_seq np.expand_dims(feat_seq, axis0) # (1, h*w, c) trans_feat_seq self.transformer.forward(feat_seq) trans_feat trans_feat_seq[0].transpose(1, 0).reshape(c, h, w) # 恢复形状 # 解码上采样 up_feat1 self.upsample_nearest(trans_feat, scale_factor2) # (32, H/2, W/2) up_feat1 self.up_conv1.forward(up_feat1) # (16, H/2, W/2) up_feat2 self.upsample_nearest(up_feat1, scale_factor2) # (16, H, W) depth_logits self.up_conv2.forward(up_feat2) # (1, H, W) # 将logits转换为正的深度值例如使用Sigmoid激活 depth_map 1 / (1 np.exp(-depth_logits)) # 简易Sigmoid return depth_map.squeeze(0) # 输出 (H, W)5.2 图像预处理与后处理一个完整的推理流程还需要处理输入输出。from PIL import Image def preprocess_image(image_path, target_size(224, 224)): 加载图像调整大小归一化到[0,1]并转换为CHW格式 img Image.open(image_path).convert(RGB) img img.resize(target_size) img_array np.array(img).astype(np.float32) / 255.0 # 归一化 # 从HWC转换为CHW img_array img_array.transpose(2, 0, 1) return img_array def postprocess_depth(depth_map): 对深度图进行后处理如归一化到可视范围[0, 255] depth_min, depth_max depth_map.min(), depth_map.max() if depth_max - depth_min 1e-6: depth_vis (depth_map - depth_min) / (depth_max - depth_min) * 255 else: depth_vis depth_map * 255 return depth_vis.astype(np.uint8) # 完整的推理流程 def run_inference(image_path): # 1. 预处理 input_tensor preprocess_image(image_path) # 2. 初始化模型随机权重 model TinyDepthEstimator() # 3. 前向传播 print(正在进行推理计算...) depth_pred model.forward(input_tensor) print(f深度图预测完成形状: {depth_pred.shape}) # 4. 后处理 depth_vis postprocess_depth(depth_pred) # 5. 保存结果 depth_img Image.fromarray(depth_vis) depth_img.save(depth_prediction.png) print(深度图已保存为 depth_prediction.png) return depth_vis6. 运行示例与效果对比让我们用一张图片来测试我们手搓的引擎并和我们的预期进行对比。6.1 运行我们的引擎# 假设你有一张名为 test_image.jpg 的图片 try: result run_inference(test_image.jpg) print(简易引擎推理完成) except FileNotFoundError: print(未找到test_image.jpg请准备一张测试图片。) # 生成一个随机图像作为演示 print(正在生成随机图像进行演示...) dummy_image np.random.rand(224, 224, 3) * 255 Image.fromarray(dummy_image.astype(np.uint8)).save(dummy_test.jpg) result run_inference(dummy_test.jpg)由于我们的模型权重是随机初始化的预期输出将是一张噪声图而不是有意义的深度估计。这完全符合预期因为我们的目的是理解数据流和计算过程而不是获得一个训练好的模型。6.2 与官方模型的对比思考现在让我们思考一下我们的简易引擎和真正的Lingbot官方模型之间的区别权重官方模型拥有在数百万张图像上学习到的、有意义的权重。我们的权重是随机的。结构复杂度官方模型可能有数十甚至数百层包含残差连接、更复杂的注意力机制、多层FFN等。我们的结构是极度简化的。训练技巧官方模型使用了数据增强、损失函数设计、优化器调参等大量技巧。工程优化官方实现使用CUDA、深度优化算子速度极快。我们的NumPy实现在速度上无法比拟。那么我们实现的价值在哪里当我们看到官方模型输出一张精准的深度图时我们现在可以清晰地想象出数据在其中流动的路径图像像素如何被卷积核提取为特征这些特征如何被转换成序列送入Transformer进行全局关系建模注意力权重如何聚焦于不同空间位置最后特征又如何被一步步上采样、融合重建出深度信息。这个过程不再是魔法而是一系列确定的、可理解的数学运算。7. 总结通过这个从零开始的实践我们完成了一次对深度估计模型内部运作的“探险”。我们用NumPy亲手实现了卷积、线性层、注意力机制并将它们组装成一个完整的推理管道。虽然这个引擎的输出结果目前只是噪声但整个数据流动的蓝图已经清晰地构建在我们脑海中。这个过程最重要的收获是理解。你知道了Transformer块里的Q、K、V矩阵具体在做什么知道了上采样如何将低分辨率特征图“放大”知道了没有训练过的模型权重为何会产生随机输出。这种理解是未来你调试复杂模型、设计新架构甚至仅仅是更有效地使用现有模型的基础。下次当你调用某个强大的AI模型的API时不妨在脑海中过一遍我们今天搭建的这个简易流程。你会对屏幕上那个看似神奇的结果多一份知其所以然的踏实感。如果你想继续深入可以尝试为我们这个引擎实现一个简单的均方误差损失函数并用一个极小的数据集尝试一下训练循环那将会是另一个有趣的故事了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
