1. 项目概述为什么我们需要深入理解CCM如果你在项目中处理过物联网设备通信、无线网络协议如Wi-Fi 6E的某些管理帧或者需要满足特定行业标准如金融支付终端的安全模块那么“认证加密”这个词对你来说一定不陌生。CCMCounter with CBC-MAC正是这类算法中的一个经典代表。它不是一个单一的算法而是一个将加密和消息认证码MAC生成捆绑在一起的工作模式。简单说它既能保证数据的机密性别人看不懂又能保证数据的完整性数据没被篡改和真实性数据确实来自声称的发送方。网上关于AES-CCM的代码片段很多但往往只给一个encrypt_and_digest的函数调用然后输出一堆十六进制字符串。这对于快速上手是好的但如果你遇到了“解密失败”、“认证标签不匹配”或者需要调试底层协议这种黑盒操作就会让你束手无策。这个项目的初衷就是撕开这个黑盒。我们将从一个最基础的、仅用于演示的“B0”块构造开始手动模拟CCM的完整流程用Python一步步实现从明文到完整密文包括认证标签的生成。这个过程会让你彻底明白Nonce随机数和关联数据AAD究竟是如何被编码并参与计算的。那个神秘的认证标签Tag是怎么从CBC-MAC链中产生的。CTR计数器模式是如何巧妙地与CBC-MAC结合实现高效的流加密。通过这个“造轮子”的过程你不仅能深刻理解CCM标准如RFC 3610未来在使用cryptography库的AESCCM类或其它语言的API时也会更加得心应手能够精准定位和解决更深层次的问题。2. CCM模式核心原理拆解在直接动手写代码之前我们必须先理清CCM的工作原理。它本质上是一个“先认证后加密”的模式但实现上有些精巧的耦合。整个过程可以分解为几个关键阶段。2.1 输入参数与格式编码CCM需要一组明确的输入参数它们的格式和长度有严格规定这是很多错误的根源。密钥K 这是核心秘密例如用于AES-128的16字节密钥。随机数N 也称为Nonce。对于一个给定的密钥同一个Nonce绝对不能重复使用来加密不同的消息否则会严重破坏安全性。Nonce的长度是一个关键参数它和消息长度、认证标签长度一起决定了后续“B0”块的格式。明文P 需要被加密和保护的数据。关联数据A 也称为Additional Authenticated Data (AAD)。这部分数据需要被认证确保其完整性和真实性但不会被加密。典型的应用场景是加密数据包的头部信息如源地址、目的地址、协议类型接收方在解密前可以先验证头部的合法性。认证标签长度Tlen 指定生成的MAC标签长度以字节为单位通常是8, 12或16字节。更长的标签提供更高的安全强度但也会增加传输开销。CCM的第一步就是将这些参数编码成一系列的数据块以便送入底层的分组密码如AES进行处理。其中最核心的就是第一个认证块B0。B0块的构造 B0是一个16字节AES块大小的数据块。它的结构如下Octet Number Contents ------------ -------- 0 Flags 1 ... 15-L Nonce N 16-L ... 15 l(m)Flags1字节 这是一个位字段包含了多个信息。Bit 7: 保留位必须为0。Bit 6: 指示是否存在关联数据AAD。1表示有0表示无。Bits 5-3: 编码认证标签的长度MM (Tlen-2)/2。例如Tlen8 - M‘3。Bits 2-0: 编码L值它决定了l(m)字段的长度L L‘ 1。L决定了我们能加密的最大消息长度最大消息长度 2^(8L) - 1字节。通常L2允许消息长度最多65535字节或L3。Nonce N15-L字节 这就是我们输入的随机数被填充在B0块的中间部分。l(m)L字节 这是明文的长度以字节为单位采用大端序big-endian编码占据B0块的最后L个字节。注意 这里非常容易出错。L决定了l(m)字段的长度而l(m)字段又编码了明文长度。如果实际明文长度超过了2^(8L)-1CCM模式将无法处理。在实现时我们必须先根据消息长度确定一个合适的L值。2.2 CBC-MAC认证链的生成这是CCM中“认证”部分的灵魂。我们使用AES算法在CBC密码分组链接模式下运行但目的不是加密而是生成一个消息认证码。初始化 第一个块就是上面构造的B0。我们将其作为CBC-MAC链的初始输入。处理关联数据AAD 如果存在AAD需要先将其编码成块。编码规则是先添加一个2字节的AAD长度字段大端序然后填充AAD数据本身最后填充0直到整个数据是16字节的整数倍。然后将这些编码后的块依次输入CBC-MAC链。计算过程X_i AES_Encrypt(K, X_{i-1} ⊕ DataBlock_i)其中X_0初始化为一个全零的16字节块DataBlock_0就是B0块。处理明文P 将明文按16字节分块最后一块可能需要填充。将这些明文块依次输入上述的CBC-MAC链。输出标签 当所有数据块B0, 编码后的AAD块明文块都处理完毕后CBC-MAC链的最终状态X_n就是原始的消息认证码。我们取这个X_n的前Tlen个字节就得到了未加密的认证标签Tag。这个过程的精妙之处在于B0、AAD和明文像一串珠子一样被CBC-MAC链穿了起来任何一颗珠子一个比特的改变都会导致最终标签的不可预测的变化。2.3 CTR模式加密与最终输出这是CCM中“加密”的部分它巧妙地复用了认证阶段的一些信息。生成密钥流 CTR模式需要一个初始计数器CTR0和一个生成密钥流的逻辑。在CCM中CTR0的构造与B0非常相似只是Flags字节的最低位3比特被设置为L而不是像B0那样用于编码l(m)并且最后的L字节是计数器值通常从0开始。CTR0的格式为Octet Number Contents ------------ -------- 0 Flags (低3位为L) 1 ... 15-L Nonce N (与B0中的相同) 16-L ... 15 Counter i (大端序通常从0开始)我们用CTR0, CTR1, CTR2, ...分别通过AES加密生成密钥流块S_i AES_Encrypt(K, CTRi)。加密明文 第一个密钥流块S_0被丢弃不用这是一个关键细节。从S_1开始与明文进行逐字节的异或XOR操作得到密文C。加密认证标签 使用S_0刚才被丢弃的那个密钥流块的前Tlen个字节与上一步生成的未加密的认证标签进行XOR操作得到加密后的认证标签T。最终输出 完整的CCM输出由两部分顺序拼接而成Ciphertext CEncrypted Tag T。解密过程则是逆过程先分离密文和标签用CTR模式生成相同的S_0和S_1...解密出明文和未加密标签然后接收方自己用相同的参数K, N, A, P重新计算CBC-MAC生成一个新的未加密标签与解密出来的标签对比。如果一致则认证通过明文可信。3. 手动实现CCM从零开始的Python示例现在我们抛开cryptography库的高级API仅使用Python标准库的os和Crypto.Cipher.AES如果你安装pycryptodome库来手动实现这个流程。我们将严格遵循RFC 3610的描述。3.1 环境准备与基础函数首先确保你有一个可用的Python环境3.6并安装了必要的库。我们将使用pycryptodome因为它提供了一个纯净的AES底层接口。pip install pycryptodome然后我们实现一些核心的辅助函数。import os from Crypto.Cipher import AES from Crypto.Util.strxor import strxor def encode_length(length, L): 将长度编码为L字节的大端序字节串。 return length.to_bytes(L, byteorderbig) def bytes_to_int(b): 将字节串转换为整数大端序。 return int.from_bytes(b, byteorderbig) def int_to_bytes(i, length): 将整数转换为指定长度的字节串大端序。 return i.to_bytes(length, byteorderbig) def pad_to_block(data, block_size16): 将数据填充到块大小的整数倍使用零填充仅用于演示CCM内部。 # 注意CCM的CBC-MAC内部对明文和AAD的填充是特定的不是PKCS#7。 # 对于明文在CBC-MAC阶段如果最后一块不足16字节需要用0填充。 # 在CTR加密阶段不需要填充因为CTR是流模式。 pad_len (block_size - len(data) % block_size) % block_size return data b\x00 * pad_len def build_b0(nonce, msg_len, tag_len, L, has_aad): 构造CCM的第一个认证块B0。 :param nonce: 随机数字节串 :param msg_len: 明文长度整数 :param tag_len: 认证标签长度字节如8, 12, 16 :param L: L值整数通常2或3决定了长度字段的字节数 :param has_aad: 布尔值是否存在关联数据 :return: B0块16字节 # 1. 构造Flags字节 flags 0 # Bit 7: 保留位为0 # Bit 6: Adata 1 if has_aad else 0 if has_aad: flags | (1 6) # Bits 5-3: M‘编码tag长度。 M‘ (tag_len - 2) / 2 M_prime (tag_len - 2) // 2 flags | (M_prime 3) # Bits 2-0: L‘ 因为L L‘ 1所以 L‘ L - 1 L_prime L - 1 flags | L_prime # 2. 将nonce填充到15-L字节nonce本身长度应等于15-L # 这里我们假设输入nonce长度正确不做填充/截断实际应用需校验。 nonce_field nonce # 长度应为 15-L # 3. 编码消息长度 l(m) 到 L 字节 len_field encode_length(msg_len, L) # 4. 组合成B0块 b0 bytes([flags]) nonce_field len_field # B0必须是16字节检查长度 assert len(b0) 16, fB0 block length error: {len(b0)} return b0 def build_ctr0(nonce, L, counter0): 构造CTR模式的初始计数器块CTR0。 :param nonce: 随机数字节串必须与B0中的相同 :param L: L值整数 :param counter: 起始计数器值整数通常为0 :return: CTR0块16字节 # Flags字节低3位为L‘其余位为0 L_prime L - 1 flags L_prime # 仅低3位有效高位为0 # Nonce字段 nonce_field nonce # 长度应为 15-L # 计数器字段 counter_field encode_length(counter, L) ctr0 bytes([flags]) nonce_field counter_field assert len(ctr0) 16, fCTR0 block length error: {len(ctr0)} return ctr03.2 核心流程分步实现接下来我们实现CCM加密的核心函数。为了清晰我们将CBC-MAC计算和CTR加密分开。def ccm_manual_encrypt(key, nonce, plaintext, aadb, tag_len16): 手动实现CCM加密。 :param key: AES密钥16, 24 或 32 字节 :param nonce: 随机数长度必须为 15-LL需要根据明文长度计算 :param plaintext: 明文字节串 :param aad: 关联数据字节串 :param tag_len: 认证标签长度字节 :return: (密文, 加密后的标签) 的元组 # 步骤1确定参数L # L必须足够大以容纳明文长度。简单策略选择最小的L使得 2^(8L) len(plaintext) # 通常L2最大长度65535或L3最大长度16777215对于大多数应用足够。 msg_len len(plaintext) if msg_len 65536: L 2 # 可以处理最多65535字节 elif msg_len 16777216: L 3 # 可以处理最多16777215字节 else: raise ValueError(Message too long for CCM with L3) # 检查nonce长度是否符合要求nonce长度应为 15 - L expected_nonce_len 15 - L if len(nonce) ! expected_nonce_len: raise ValueError(fNonce length must be {expected_nonce_len} for L{L}, got {len(nonce)}) has_aad len(aad) 0 # 步骤2构造B0块 b0 build_b0(nonce, msg_len, tag_len, L, has_aad) # 步骤3计算CBC-MAC认证部分 cipher AES.new(key, AES.MODE_ECB) # 使用ECB模式进行底层的AES加密 # CBC-MAC初始化X_0 0 x b\x00 * 16 # 处理第一个块B0 x cipher.encrypt(strxor(x, b0)) # 处理关联数据AAD if has_aad: # 编码AAD2字节长度大端序 AAD数据 零填充到16字节倍数 aad_len len(aad) # 长度编码如果aad_len 2^16 - 2^8用2字节否则用6字节RFC 3610定义 # 这里简化处理假设aad_len 65535使用2字节格式 if aad_len 0xFF00: len_encoding encode_length(aad_len, 2) # 2字节长度 else: # 对于更长的AAD需要6字节编码此处省略简化实现 raise NotImplementedError(Very long AAD not implemented in this example) aad_encoded len_encoding aad aad_encoded_padded pad_to_block(aad_encoded, 16) # 将编码后的AAD块输入CBC-MAC链 for i in range(0, len(aad_encoded_padded), 16): block aad_encoded_padded[i:i16] x cipher.encrypt(strxor(x, block)) # 处理明文在认证阶段明文需要填充 plaintext_padded pad_to_block(plaintext, 16) for i in range(0, len(plaintext_padded), 16): block plaintext_padded[i:i16] x cipher.encrypt(strxor(x, block)) # 此时x就是完整的CBC-MAC输出。取前tag_len字节作为未加密的认证标签U。 U x[:tag_len] # 步骤4CTR模式加密加密部分 # 生成CTR0, CTR1, CTR2, ... ctr_blocks [] # 我们需要生成足够的CTR块第一个(S0)用于加密标签后续的(S1, S2...)用于加密明文。 # 加密明文需要的密钥流字节数等于明文长度msg_len。 # 每个CTR块生成16字节密钥流。需要的CTR块数量 ceil(msg_len / 16) 1 (多一个S0) num_ctr_for_data (msg_len 15) // 16 total_ctr_count num_ctr_for_data 1 # 包括S0 key_stream b for i in range(total_ctr_count): ctr_i build_ctr0(nonce, L, counteri) s_i cipher.encrypt(ctr_i) key_stream s_i # S0是key_stream的前16字节用于加密标签 S0 key_stream[:16] # 从S1开始是用于加密明文的密钥流 S_data key_stream[16:16msg_len] # 只取和明文等长的部分 # 加密明文 ciphertext strxor(plaintext, S_data) # 加密认证标签 T U XOR (first tag_len bytes of S0) encrypted_tag strxor(U, S0[:tag_len]) return ciphertext, encrypted_tag def ccm_manual_decrypt(key, nonce, ciphertext, encrypted_tag, aadb, tag_len16): 手动实现CCM解密与验证。 :return: 如果验证成功返回明文否则抛出异常。 # 步骤1CTR模式解密恢复明文和未加密标签U # 这个过程和加密几乎对称。 msg_len len(ciphertext) # 需要根据密文长度推断L这里简化处理假设我们知道L实际中需要和nonce长度一起确定 # 从nonce长度反推L: L 15 - len(nonce) L 15 - len(nonce) cipher AES.new(key, AES.MODE_ECB) # 生成密钥流S0和S_data num_ctr_for_data (msg_len 15) // 16 total_ctr_count num_ctr_for_data 1 key_stream b for i in range(total_ctr_count): ctr_i build_ctr0(nonce, L, counteri) s_i cipher.encrypt(ctr_i) key_stream s_i S0 key_stream[:16] S_data key_stream[16:16msg_len] # 解密明文 plaintext_recovered strxor(ciphertext, S_data) # 解密出未加密的认证标签 U T XOR S0[:tag_len] U_recovered strxor(encrypted_tag, S0[:tag_len]) # 步骤2重新计算CBC-MAC进行验证 # 使用解密出的明文、相同的参数重新计算CBC-MAC has_aad len(aad) 0 b0 build_b0(nonce, msg_len, tag_len, L, has_aad) x b\x00 * 16 x cipher.encrypt(strxor(x, b0)) if has_aad: aad_len len(aad) if aad_len 0xFF00: len_encoding encode_length(aad_len, 2) else: raise NotImplementedError aad_encoded len_encoding aad aad_encoded_padded pad_to_block(aad_encoded, 16) for i in range(0, len(aad_encoded_padded), 16): block aad_encoded_padded[i:i16] x cipher.encrypt(strxor(x, block)) plaintext_padded pad_to_block(plaintext_recovered, 16) for i in range(0, len(plaintext_padded), 16): block plaintext_padded[i:i16] x cipher.encrypt(strxor(x, block)) U_calculated x[:tag_len] # 步骤3比较 if U_recovered ! U_calculated: raise ValueError(CCM: Authentication failed! The ciphertext or AAD may have been tampered with, or the key/nonce is incorrect.) return plaintext_recovered3.3 完整示例与验证让我们用一个完整的例子来测试我们的手动实现并与标准库pycryptodome的AES.CCM模式进行对比以确保正确性。def test_ccm_manual(): # 测试数据 key os.urandom(16) # AES-128 nonce os.urandom(13) # 对于L2nonce长度应为 15-213 plaintext bThis is a secret message that needs both confidentiality and authenticity. aad bAdditional authenticated data like packet header tag_len 16 print( 手动CCM实现测试 ) print(fKey: {key.hex()}) print(fNonce: {nonce.hex()}) print(fPlaintext: {plaintext}) print(fAAD: {aad}) print(fTag length: {tag_len}) print() # 使用我们的手动实现加密 ciphertext_manual, tag_manual ccm_manual_encrypt(key, nonce, plaintext, aad, tag_len) print(f[手动] Ciphertext: {ciphertext_manual.hex()}) print(f[手动] Tag: {tag_manual.hex()}) print() # 使用我们的手动实现解密 try: decrypted_manual ccm_manual_decrypt(key, nonce, ciphertext_manual, tag_manual, aad, tag_len) print(f[手动] Decryption successful. Plaintext matches: {decrypted_manual plaintext}) print(f[手动] Decrypted: {decrypted_manual}) except ValueError as e: print(f[手动] Decryption failed: {e}) print() # 使用PyCryptodome的标准CCM模式进行对比 print( 与标准库PyCryptodome CCM对比 ) from Crypto.Cipher import AES cipher_std AES.new(key, AES.MODE_CCM, noncenonce, mac_lentag_len) cipher_std.update(aad) # 添加AAD ciphertext_std, tag_std cipher_std.encrypt_and_digest(plaintext) print(f[标准] Ciphertext: {ciphertext_std.hex()}) print(f[标准] Tag: {tag_std.hex()}) print(fCiphertext match: {ciphertext_manual ciphertext_std}) print(fTag match: {tag_manual tag_std}) # 用标准库解密我们手动生成的密文和标签 try: cipher_dec_std AES.new(key, AES.MODE_CCM, noncenonce, mac_lentag_len) cipher_dec_std.update(aad) decrypted_std cipher_dec_std.decrypt_and_verify(ciphertext_manual, tag_manual) print(f[标准库验证手动结果] Decryption successful. Plaintext matches: {decrypted_std plaintext}) except ValueError as e: print(f[标准库验证手动结果] Decryption failed: {e}) if __name__ __main__: test_ccm_manual()运行这段测试代码你应该能看到“手动”实现和“标准库”实现输出的密文和标签是完全一致的并且加解密过程都能成功完成。这强有力地证明了我们手动实现的流程是正确的完全遵循了CCM规范。4. 关键细节、常见陷阱与实战心得通过手动实现一遍你可能会遇到或者意识到一些在简单调用API时不会注意到的坑。下面是我总结的一些关键点和实战心得。4.1 Nonce管理与长度选择这是CCM安全性的生命线。绝对禁止重复使用 对于同一个密钥每次加密都必须使用一个唯一的Nonce。重复使用Nonce会导致密钥流复用攻击者可以轻易破解密文。通常使用一个递增的计数器或密码学安全的随机数生成器CSPRNG来生成Nonce。长度与L值的匹配 Nonce长度由L值决定len(nonce) 15 - L。L又由你希望支持的最大消息长度决定。如果你决定使用L2支持~64KB消息那么Nonce就必须是13字节。如果你错误地传入了一个12字节的Nonce整个加密流程从B0构造开始就错了。最佳实践是在项目初期就确定好L和Nonce长度并将其作为协议或配置的一部分固定下来。4.2 关联数据AAD的编码细节AAD的编码比看起来要复杂一点主要体现在长度字段上。两阶段长度编码 RFC 3610规定如果AAD长度在0到65279字节之间0xFF00则使用2字节编码。如果长度在65280到2^32-1之间则先写入一个0xFF、0xFF的标记然后用4字节编码实际长度共6字节。我们的示例代码只实现了2字节的情况。如果你的AAD可能很长必须实现完整的编码逻辑否则接收方在解码时会产生歧义导致认证失败。4.3 认证与加密的耦合点这是CCM设计最精妙也最容易混淆的地方。CBC-MAC的输入是明文 认证阶段CBC-MAC处理的是原始的、未加密的明文。这确保了认证标签是基于原始消息计算的与加密方式无关。CTR加密的起点 CTR模式加密时CTR0的计数器部分从0开始但生成的第一个密钥流块S0不用于加密明文而是专门用来加密认证标签。从CTR1计数器1开始生成的S1才用于加密明文。这个设计使得加密和认证共享了相同的Nonce和底层AES变换但密钥流的使用是错开的非常高效。解密时的顺序 解密时必须先使用CTR模式解密出明文和未加密标签U然后才能用明文重新计算CBC-MAC进行验证。这个顺序不能颠倒。4.4 性能考量与生产环境建议手动实现有助于理解但生产环境请务必使用久经考验的库。不要在生产中重复造轮子 我们手动实现是为了学习。生产环境中请使用cryptography推荐或pycryptodome这些成熟库的AESCCM实现。它们经过了严格的测试和优化能够抵御时序攻击等侧信道攻击并且API更安全易用。# 生产环境推荐用法 from cryptography.hazmat.primitives.ciphers import Cipher, algorithms, modes from cryptography.hazmat.backends import default_backend import os key os.urandom(32) # AES-256 nonce os.urandom(13) # 根据L选择 aad bprotocol-v1 plaintext bcritical data cipher Cipher(algorithms.AES(key), modes.CCM(nonce), backenddefault_backend()) encryptor cipher.encryptor() encryptor.authenticate_additional_data(aad) ciphertext encryptor.update(plaintext) encryptor.finalize() tag encryptor.tag # 注意在finalize之后才能获取tag # 解密 cipher Cipher(algorithms.AES(key), modes.CCM(nonce, tagtag), backenddefault_backend()) decryptor cipher.decryptor() decryptor.authenticate_additional_data(aad) decrypted decryptor.update(ciphertext) decryptor.finalize() # 验证在此处自动进行注意API差异pycryptodome的encrypt_and_digest一次性返回密文和标签而cryptography需要先finalize()加密操作再获取.tag属性。解密时cryptography需要在初始化时传入tag并在finalize()时自动验证失败会抛出异常。熟悉你所用库的API至关重要。4.5 调试与问题排查清单当你的CCM加密解密出现问题时可以按照以下清单逐步排查参数一致性 加解密双方使用的密钥K、随机数N、关联数据A、认证标签长度Tlen是否完全一致一个字节的差异都会导致失败。Nonce长度 检查L值是否一致。Nonce长度是否满足len(N) 15 - L这是最隐蔽的错误之一。AAD处理 双方处理AAD的逻辑是否一致特别是AAD长度编码规则2字节 vs 6字节。是否有一方传了AAD而另一方没传数据拼接 传输或存储时密文C和加密标签T是否被正确地拼接在一起接收方是否按照相同的规则进行分割通常是C || T。字节序 所有长度编码l(m)、AAD长度、计数器是否都使用大端序Big-Endian这在不同的系统间容易出错。填充 在CBC-MAC计算中对明文和AAD的填充是用零填充到16字节边界而不是PKCS#7。确保你的实现没有用错填充方案。库版本与默认值 如果你使用的是高级库检查库的默认行为。例如某些库的CCM模式默认tag_len可能是8或16L值可能有默认选择。显式指定这些参数可以避免意外。手动实现一次CCM就像给加密算法做了一次深度解剖。当你再看到encrypt_and_digest这样的函数时你脑海中浮现的不再是一个黑盒而是B0块的构造、CBC-MAC链的流转、CTR计数器的递增以及它们之间精妙的配合。这种理解能让你在集成加密功能、调试协议交互、甚至进行安全审计时拥有更强的底气和更清晰的思路。下次当你的同事对“认证失败”不知所措时你可以淡定地问他“检查一下你的Nonce长度和L值匹配吗”
深入理解CCM模式：从原理到Python手动实现认证加密
1. 项目概述为什么我们需要深入理解CCM如果你在项目中处理过物联网设备通信、无线网络协议如Wi-Fi 6E的某些管理帧或者需要满足特定行业标准如金融支付终端的安全模块那么“认证加密”这个词对你来说一定不陌生。CCMCounter with CBC-MAC正是这类算法中的一个经典代表。它不是一个单一的算法而是一个将加密和消息认证码MAC生成捆绑在一起的工作模式。简单说它既能保证数据的机密性别人看不懂又能保证数据的完整性数据没被篡改和真实性数据确实来自声称的发送方。网上关于AES-CCM的代码片段很多但往往只给一个encrypt_and_digest的函数调用然后输出一堆十六进制字符串。这对于快速上手是好的但如果你遇到了“解密失败”、“认证标签不匹配”或者需要调试底层协议这种黑盒操作就会让你束手无策。这个项目的初衷就是撕开这个黑盒。我们将从一个最基础的、仅用于演示的“B0”块构造开始手动模拟CCM的完整流程用Python一步步实现从明文到完整密文包括认证标签的生成。这个过程会让你彻底明白Nonce随机数和关联数据AAD究竟是如何被编码并参与计算的。那个神秘的认证标签Tag是怎么从CBC-MAC链中产生的。CTR计数器模式是如何巧妙地与CBC-MAC结合实现高效的流加密。通过这个“造轮子”的过程你不仅能深刻理解CCM标准如RFC 3610未来在使用cryptography库的AESCCM类或其它语言的API时也会更加得心应手能够精准定位和解决更深层次的问题。2. CCM模式核心原理拆解在直接动手写代码之前我们必须先理清CCM的工作原理。它本质上是一个“先认证后加密”的模式但实现上有些精巧的耦合。整个过程可以分解为几个关键阶段。2.1 输入参数与格式编码CCM需要一组明确的输入参数它们的格式和长度有严格规定这是很多错误的根源。密钥K 这是核心秘密例如用于AES-128的16字节密钥。随机数N 也称为Nonce。对于一个给定的密钥同一个Nonce绝对不能重复使用来加密不同的消息否则会严重破坏安全性。Nonce的长度是一个关键参数它和消息长度、认证标签长度一起决定了后续“B0”块的格式。明文P 需要被加密和保护的数据。关联数据A 也称为Additional Authenticated Data (AAD)。这部分数据需要被认证确保其完整性和真实性但不会被加密。典型的应用场景是加密数据包的头部信息如源地址、目的地址、协议类型接收方在解密前可以先验证头部的合法性。认证标签长度Tlen 指定生成的MAC标签长度以字节为单位通常是8, 12或16字节。更长的标签提供更高的安全强度但也会增加传输开销。CCM的第一步就是将这些参数编码成一系列的数据块以便送入底层的分组密码如AES进行处理。其中最核心的就是第一个认证块B0。B0块的构造 B0是一个16字节AES块大小的数据块。它的结构如下Octet Number Contents ------------ -------- 0 Flags 1 ... 15-L Nonce N 16-L ... 15 l(m)Flags1字节 这是一个位字段包含了多个信息。Bit 7: 保留位必须为0。Bit 6: 指示是否存在关联数据AAD。1表示有0表示无。Bits 5-3: 编码认证标签的长度MM (Tlen-2)/2。例如Tlen8 - M‘3。Bits 2-0: 编码L值它决定了l(m)字段的长度L L‘ 1。L决定了我们能加密的最大消息长度最大消息长度 2^(8L) - 1字节。通常L2允许消息长度最多65535字节或L3。Nonce N15-L字节 这就是我们输入的随机数被填充在B0块的中间部分。l(m)L字节 这是明文的长度以字节为单位采用大端序big-endian编码占据B0块的最后L个字节。注意 这里非常容易出错。L决定了l(m)字段的长度而l(m)字段又编码了明文长度。如果实际明文长度超过了2^(8L)-1CCM模式将无法处理。在实现时我们必须先根据消息长度确定一个合适的L值。2.2 CBC-MAC认证链的生成这是CCM中“认证”部分的灵魂。我们使用AES算法在CBC密码分组链接模式下运行但目的不是加密而是生成一个消息认证码。初始化 第一个块就是上面构造的B0。我们将其作为CBC-MAC链的初始输入。处理关联数据AAD 如果存在AAD需要先将其编码成块。编码规则是先添加一个2字节的AAD长度字段大端序然后填充AAD数据本身最后填充0直到整个数据是16字节的整数倍。然后将这些编码后的块依次输入CBC-MAC链。计算过程X_i AES_Encrypt(K, X_{i-1} ⊕ DataBlock_i)其中X_0初始化为一个全零的16字节块DataBlock_0就是B0块。处理明文P 将明文按16字节分块最后一块可能需要填充。将这些明文块依次输入上述的CBC-MAC链。输出标签 当所有数据块B0, 编码后的AAD块明文块都处理完毕后CBC-MAC链的最终状态X_n就是原始的消息认证码。我们取这个X_n的前Tlen个字节就得到了未加密的认证标签Tag。这个过程的精妙之处在于B0、AAD和明文像一串珠子一样被CBC-MAC链穿了起来任何一颗珠子一个比特的改变都会导致最终标签的不可预测的变化。2.3 CTR模式加密与最终输出这是CCM中“加密”的部分它巧妙地复用了认证阶段的一些信息。生成密钥流 CTR模式需要一个初始计数器CTR0和一个生成密钥流的逻辑。在CCM中CTR0的构造与B0非常相似只是Flags字节的最低位3比特被设置为L而不是像B0那样用于编码l(m)并且最后的L字节是计数器值通常从0开始。CTR0的格式为Octet Number Contents ------------ -------- 0 Flags (低3位为L) 1 ... 15-L Nonce N (与B0中的相同) 16-L ... 15 Counter i (大端序通常从0开始)我们用CTR0, CTR1, CTR2, ...分别通过AES加密生成密钥流块S_i AES_Encrypt(K, CTRi)。加密明文 第一个密钥流块S_0被丢弃不用这是一个关键细节。从S_1开始与明文进行逐字节的异或XOR操作得到密文C。加密认证标签 使用S_0刚才被丢弃的那个密钥流块的前Tlen个字节与上一步生成的未加密的认证标签进行XOR操作得到加密后的认证标签T。最终输出 完整的CCM输出由两部分顺序拼接而成Ciphertext CEncrypted Tag T。解密过程则是逆过程先分离密文和标签用CTR模式生成相同的S_0和S_1...解密出明文和未加密标签然后接收方自己用相同的参数K, N, A, P重新计算CBC-MAC生成一个新的未加密标签与解密出来的标签对比。如果一致则认证通过明文可信。3. 手动实现CCM从零开始的Python示例现在我们抛开cryptography库的高级API仅使用Python标准库的os和Crypto.Cipher.AES如果你安装pycryptodome库来手动实现这个流程。我们将严格遵循RFC 3610的描述。3.1 环境准备与基础函数首先确保你有一个可用的Python环境3.6并安装了必要的库。我们将使用pycryptodome因为它提供了一个纯净的AES底层接口。pip install pycryptodome然后我们实现一些核心的辅助函数。import os from Crypto.Cipher import AES from Crypto.Util.strxor import strxor def encode_length(length, L): 将长度编码为L字节的大端序字节串。 return length.to_bytes(L, byteorderbig) def bytes_to_int(b): 将字节串转换为整数大端序。 return int.from_bytes(b, byteorderbig) def int_to_bytes(i, length): 将整数转换为指定长度的字节串大端序。 return i.to_bytes(length, byteorderbig) def pad_to_block(data, block_size16): 将数据填充到块大小的整数倍使用零填充仅用于演示CCM内部。 # 注意CCM的CBC-MAC内部对明文和AAD的填充是特定的不是PKCS#7。 # 对于明文在CBC-MAC阶段如果最后一块不足16字节需要用0填充。 # 在CTR加密阶段不需要填充因为CTR是流模式。 pad_len (block_size - len(data) % block_size) % block_size return data b\x00 * pad_len def build_b0(nonce, msg_len, tag_len, L, has_aad): 构造CCM的第一个认证块B0。 :param nonce: 随机数字节串 :param msg_len: 明文长度整数 :param tag_len: 认证标签长度字节如8, 12, 16 :param L: L值整数通常2或3决定了长度字段的字节数 :param has_aad: 布尔值是否存在关联数据 :return: B0块16字节 # 1. 构造Flags字节 flags 0 # Bit 7: 保留位为0 # Bit 6: Adata 1 if has_aad else 0 if has_aad: flags | (1 6) # Bits 5-3: M‘编码tag长度。 M‘ (tag_len - 2) / 2 M_prime (tag_len - 2) // 2 flags | (M_prime 3) # Bits 2-0: L‘ 因为L L‘ 1所以 L‘ L - 1 L_prime L - 1 flags | L_prime # 2. 将nonce填充到15-L字节nonce本身长度应等于15-L # 这里我们假设输入nonce长度正确不做填充/截断实际应用需校验。 nonce_field nonce # 长度应为 15-L # 3. 编码消息长度 l(m) 到 L 字节 len_field encode_length(msg_len, L) # 4. 组合成B0块 b0 bytes([flags]) nonce_field len_field # B0必须是16字节检查长度 assert len(b0) 16, fB0 block length error: {len(b0)} return b0 def build_ctr0(nonce, L, counter0): 构造CTR模式的初始计数器块CTR0。 :param nonce: 随机数字节串必须与B0中的相同 :param L: L值整数 :param counter: 起始计数器值整数通常为0 :return: CTR0块16字节 # Flags字节低3位为L‘其余位为0 L_prime L - 1 flags L_prime # 仅低3位有效高位为0 # Nonce字段 nonce_field nonce # 长度应为 15-L # 计数器字段 counter_field encode_length(counter, L) ctr0 bytes([flags]) nonce_field counter_field assert len(ctr0) 16, fCTR0 block length error: {len(ctr0)} return ctr03.2 核心流程分步实现接下来我们实现CCM加密的核心函数。为了清晰我们将CBC-MAC计算和CTR加密分开。def ccm_manual_encrypt(key, nonce, plaintext, aadb, tag_len16): 手动实现CCM加密。 :param key: AES密钥16, 24 或 32 字节 :param nonce: 随机数长度必须为 15-LL需要根据明文长度计算 :param plaintext: 明文字节串 :param aad: 关联数据字节串 :param tag_len: 认证标签长度字节 :return: (密文, 加密后的标签) 的元组 # 步骤1确定参数L # L必须足够大以容纳明文长度。简单策略选择最小的L使得 2^(8L) len(plaintext) # 通常L2最大长度65535或L3最大长度16777215对于大多数应用足够。 msg_len len(plaintext) if msg_len 65536: L 2 # 可以处理最多65535字节 elif msg_len 16777216: L 3 # 可以处理最多16777215字节 else: raise ValueError(Message too long for CCM with L3) # 检查nonce长度是否符合要求nonce长度应为 15 - L expected_nonce_len 15 - L if len(nonce) ! expected_nonce_len: raise ValueError(fNonce length must be {expected_nonce_len} for L{L}, got {len(nonce)}) has_aad len(aad) 0 # 步骤2构造B0块 b0 build_b0(nonce, msg_len, tag_len, L, has_aad) # 步骤3计算CBC-MAC认证部分 cipher AES.new(key, AES.MODE_ECB) # 使用ECB模式进行底层的AES加密 # CBC-MAC初始化X_0 0 x b\x00 * 16 # 处理第一个块B0 x cipher.encrypt(strxor(x, b0)) # 处理关联数据AAD if has_aad: # 编码AAD2字节长度大端序 AAD数据 零填充到16字节倍数 aad_len len(aad) # 长度编码如果aad_len 2^16 - 2^8用2字节否则用6字节RFC 3610定义 # 这里简化处理假设aad_len 65535使用2字节格式 if aad_len 0xFF00: len_encoding encode_length(aad_len, 2) # 2字节长度 else: # 对于更长的AAD需要6字节编码此处省略简化实现 raise NotImplementedError(Very long AAD not implemented in this example) aad_encoded len_encoding aad aad_encoded_padded pad_to_block(aad_encoded, 16) # 将编码后的AAD块输入CBC-MAC链 for i in range(0, len(aad_encoded_padded), 16): block aad_encoded_padded[i:i16] x cipher.encrypt(strxor(x, block)) # 处理明文在认证阶段明文需要填充 plaintext_padded pad_to_block(plaintext, 16) for i in range(0, len(plaintext_padded), 16): block plaintext_padded[i:i16] x cipher.encrypt(strxor(x, block)) # 此时x就是完整的CBC-MAC输出。取前tag_len字节作为未加密的认证标签U。 U x[:tag_len] # 步骤4CTR模式加密加密部分 # 生成CTR0, CTR1, CTR2, ... ctr_blocks [] # 我们需要生成足够的CTR块第一个(S0)用于加密标签后续的(S1, S2...)用于加密明文。 # 加密明文需要的密钥流字节数等于明文长度msg_len。 # 每个CTR块生成16字节密钥流。需要的CTR块数量 ceil(msg_len / 16) 1 (多一个S0) num_ctr_for_data (msg_len 15) // 16 total_ctr_count num_ctr_for_data 1 # 包括S0 key_stream b for i in range(total_ctr_count): ctr_i build_ctr0(nonce, L, counteri) s_i cipher.encrypt(ctr_i) key_stream s_i # S0是key_stream的前16字节用于加密标签 S0 key_stream[:16] # 从S1开始是用于加密明文的密钥流 S_data key_stream[16:16msg_len] # 只取和明文等长的部分 # 加密明文 ciphertext strxor(plaintext, S_data) # 加密认证标签 T U XOR (first tag_len bytes of S0) encrypted_tag strxor(U, S0[:tag_len]) return ciphertext, encrypted_tag def ccm_manual_decrypt(key, nonce, ciphertext, encrypted_tag, aadb, tag_len16): 手动实现CCM解密与验证。 :return: 如果验证成功返回明文否则抛出异常。 # 步骤1CTR模式解密恢复明文和未加密标签U # 这个过程和加密几乎对称。 msg_len len(ciphertext) # 需要根据密文长度推断L这里简化处理假设我们知道L实际中需要和nonce长度一起确定 # 从nonce长度反推L: L 15 - len(nonce) L 15 - len(nonce) cipher AES.new(key, AES.MODE_ECB) # 生成密钥流S0和S_data num_ctr_for_data (msg_len 15) // 16 total_ctr_count num_ctr_for_data 1 key_stream b for i in range(total_ctr_count): ctr_i build_ctr0(nonce, L, counteri) s_i cipher.encrypt(ctr_i) key_stream s_i S0 key_stream[:16] S_data key_stream[16:16msg_len] # 解密明文 plaintext_recovered strxor(ciphertext, S_data) # 解密出未加密的认证标签 U T XOR S0[:tag_len] U_recovered strxor(encrypted_tag, S0[:tag_len]) # 步骤2重新计算CBC-MAC进行验证 # 使用解密出的明文、相同的参数重新计算CBC-MAC has_aad len(aad) 0 b0 build_b0(nonce, msg_len, tag_len, L, has_aad) x b\x00 * 16 x cipher.encrypt(strxor(x, b0)) if has_aad: aad_len len(aad) if aad_len 0xFF00: len_encoding encode_length(aad_len, 2) else: raise NotImplementedError aad_encoded len_encoding aad aad_encoded_padded pad_to_block(aad_encoded, 16) for i in range(0, len(aad_encoded_padded), 16): block aad_encoded_padded[i:i16] x cipher.encrypt(strxor(x, block)) plaintext_padded pad_to_block(plaintext_recovered, 16) for i in range(0, len(plaintext_padded), 16): block plaintext_padded[i:i16] x cipher.encrypt(strxor(x, block)) U_calculated x[:tag_len] # 步骤3比较 if U_recovered ! U_calculated: raise ValueError(CCM: Authentication failed! The ciphertext or AAD may have been tampered with, or the key/nonce is incorrect.) return plaintext_recovered3.3 完整示例与验证让我们用一个完整的例子来测试我们的手动实现并与标准库pycryptodome的AES.CCM模式进行对比以确保正确性。def test_ccm_manual(): # 测试数据 key os.urandom(16) # AES-128 nonce os.urandom(13) # 对于L2nonce长度应为 15-213 plaintext bThis is a secret message that needs both confidentiality and authenticity. aad bAdditional authenticated data like packet header tag_len 16 print( 手动CCM实现测试 ) print(fKey: {key.hex()}) print(fNonce: {nonce.hex()}) print(fPlaintext: {plaintext}) print(fAAD: {aad}) print(fTag length: {tag_len}) print() # 使用我们的手动实现加密 ciphertext_manual, tag_manual ccm_manual_encrypt(key, nonce, plaintext, aad, tag_len) print(f[手动] Ciphertext: {ciphertext_manual.hex()}) print(f[手动] Tag: {tag_manual.hex()}) print() # 使用我们的手动实现解密 try: decrypted_manual ccm_manual_decrypt(key, nonce, ciphertext_manual, tag_manual, aad, tag_len) print(f[手动] Decryption successful. Plaintext matches: {decrypted_manual plaintext}) print(f[手动] Decrypted: {decrypted_manual}) except ValueError as e: print(f[手动] Decryption failed: {e}) print() # 使用PyCryptodome的标准CCM模式进行对比 print( 与标准库PyCryptodome CCM对比 ) from Crypto.Cipher import AES cipher_std AES.new(key, AES.MODE_CCM, noncenonce, mac_lentag_len) cipher_std.update(aad) # 添加AAD ciphertext_std, tag_std cipher_std.encrypt_and_digest(plaintext) print(f[标准] Ciphertext: {ciphertext_std.hex()}) print(f[标准] Tag: {tag_std.hex()}) print(fCiphertext match: {ciphertext_manual ciphertext_std}) print(fTag match: {tag_manual tag_std}) # 用标准库解密我们手动生成的密文和标签 try: cipher_dec_std AES.new(key, AES.MODE_CCM, noncenonce, mac_lentag_len) cipher_dec_std.update(aad) decrypted_std cipher_dec_std.decrypt_and_verify(ciphertext_manual, tag_manual) print(f[标准库验证手动结果] Decryption successful. Plaintext matches: {decrypted_std plaintext}) except ValueError as e: print(f[标准库验证手动结果] Decryption failed: {e}) if __name__ __main__: test_ccm_manual()运行这段测试代码你应该能看到“手动”实现和“标准库”实现输出的密文和标签是完全一致的并且加解密过程都能成功完成。这强有力地证明了我们手动实现的流程是正确的完全遵循了CCM规范。4. 关键细节、常见陷阱与实战心得通过手动实现一遍你可能会遇到或者意识到一些在简单调用API时不会注意到的坑。下面是我总结的一些关键点和实战心得。4.1 Nonce管理与长度选择这是CCM安全性的生命线。绝对禁止重复使用 对于同一个密钥每次加密都必须使用一个唯一的Nonce。重复使用Nonce会导致密钥流复用攻击者可以轻易破解密文。通常使用一个递增的计数器或密码学安全的随机数生成器CSPRNG来生成Nonce。长度与L值的匹配 Nonce长度由L值决定len(nonce) 15 - L。L又由你希望支持的最大消息长度决定。如果你决定使用L2支持~64KB消息那么Nonce就必须是13字节。如果你错误地传入了一个12字节的Nonce整个加密流程从B0构造开始就错了。最佳实践是在项目初期就确定好L和Nonce长度并将其作为协议或配置的一部分固定下来。4.2 关联数据AAD的编码细节AAD的编码比看起来要复杂一点主要体现在长度字段上。两阶段长度编码 RFC 3610规定如果AAD长度在0到65279字节之间0xFF00则使用2字节编码。如果长度在65280到2^32-1之间则先写入一个0xFF、0xFF的标记然后用4字节编码实际长度共6字节。我们的示例代码只实现了2字节的情况。如果你的AAD可能很长必须实现完整的编码逻辑否则接收方在解码时会产生歧义导致认证失败。4.3 认证与加密的耦合点这是CCM设计最精妙也最容易混淆的地方。CBC-MAC的输入是明文 认证阶段CBC-MAC处理的是原始的、未加密的明文。这确保了认证标签是基于原始消息计算的与加密方式无关。CTR加密的起点 CTR模式加密时CTR0的计数器部分从0开始但生成的第一个密钥流块S0不用于加密明文而是专门用来加密认证标签。从CTR1计数器1开始生成的S1才用于加密明文。这个设计使得加密和认证共享了相同的Nonce和底层AES变换但密钥流的使用是错开的非常高效。解密时的顺序 解密时必须先使用CTR模式解密出明文和未加密标签U然后才能用明文重新计算CBC-MAC进行验证。这个顺序不能颠倒。4.4 性能考量与生产环境建议手动实现有助于理解但生产环境请务必使用久经考验的库。不要在生产中重复造轮子 我们手动实现是为了学习。生产环境中请使用cryptography推荐或pycryptodome这些成熟库的AESCCM实现。它们经过了严格的测试和优化能够抵御时序攻击等侧信道攻击并且API更安全易用。# 生产环境推荐用法 from cryptography.hazmat.primitives.ciphers import Cipher, algorithms, modes from cryptography.hazmat.backends import default_backend import os key os.urandom(32) # AES-256 nonce os.urandom(13) # 根据L选择 aad bprotocol-v1 plaintext bcritical data cipher Cipher(algorithms.AES(key), modes.CCM(nonce), backenddefault_backend()) encryptor cipher.encryptor() encryptor.authenticate_additional_data(aad) ciphertext encryptor.update(plaintext) encryptor.finalize() tag encryptor.tag # 注意在finalize之后才能获取tag # 解密 cipher Cipher(algorithms.AES(key), modes.CCM(nonce, tagtag), backenddefault_backend()) decryptor cipher.decryptor() decryptor.authenticate_additional_data(aad) decrypted decryptor.update(ciphertext) decryptor.finalize() # 验证在此处自动进行注意API差异pycryptodome的encrypt_and_digest一次性返回密文和标签而cryptography需要先finalize()加密操作再获取.tag属性。解密时cryptography需要在初始化时传入tag并在finalize()时自动验证失败会抛出异常。熟悉你所用库的API至关重要。4.5 调试与问题排查清单当你的CCM加密解密出现问题时可以按照以下清单逐步排查参数一致性 加解密双方使用的密钥K、随机数N、关联数据A、认证标签长度Tlen是否完全一致一个字节的差异都会导致失败。Nonce长度 检查L值是否一致。Nonce长度是否满足len(N) 15 - L这是最隐蔽的错误之一。AAD处理 双方处理AAD的逻辑是否一致特别是AAD长度编码规则2字节 vs 6字节。是否有一方传了AAD而另一方没传数据拼接 传输或存储时密文C和加密标签T是否被正确地拼接在一起接收方是否按照相同的规则进行分割通常是C || T。字节序 所有长度编码l(m)、AAD长度、计数器是否都使用大端序Big-Endian这在不同的系统间容易出错。填充 在CBC-MAC计算中对明文和AAD的填充是用零填充到16字节边界而不是PKCS#7。确保你的实现没有用错填充方案。库版本与默认值 如果你使用的是高级库检查库的默认行为。例如某些库的CCM模式默认tag_len可能是8或16L值可能有默认选择。显式指定这些参数可以避免意外。手动实现一次CCM就像给加密算法做了一次深度解剖。当你再看到encrypt_and_digest这样的函数时你脑海中浮现的不再是一个黑盒而是B0块的构造、CBC-MAC链的流转、CTR计数器的递增以及它们之间精妙的配合。这种理解能让你在集成加密功能、调试协议交互、甚至进行安全审计时拥有更强的底气和更清晰的思路。下次当你的同事对“认证失败”不知所措时你可以淡定地问他“检查一下你的Nonce长度和L值匹配吗”
