5-2 - HTTPS 协议原理

5-2 - HTTPS 协议原理 目录HTTPS 是什么1. 什么是加密2. 为什么要加密3. 常见的加密方式对称加密非对称加密 4. 数据摘要 数据指纹5. 数字签名6. 理解链 - 承上启下问题1对 HTTP 进行对称加密是否能解决数据通信安全的问题问题是什么问题2为何要用非对称加密问题3为何不全用非对称加密HTTPS 的工作过程探究方案 1 - 只使用对称加密方案 2 - 只使用非对称加密方案 3 - 双方都使用非对称加密方案 4 - 非对称加密 对称加密中间人攻击 - 针对上面的场景引入证书CA 认证理解数据签名方案 5 - 非对称加密 对称加密 证书认证中间人有没有可能篡改该证书中间人整个掉包证书常见问题为什么摘要内容在网络传输的时候一定要加密形成签名?为什么签名不直接加密而是要先 hash 形成摘要?如何成为中间人完整流程总结HTTPS 是什么HTTPS 也是一个应用层协议. 是在 HTTP 协议的基础上引入了一个加密层. HTTP 协议内容都是按照文本的方式明文传输的. 这就导致在传输过程中出现一些被篡 改的情况1. 什么是加密加密就是把 明文 (要传输的信息)进行一系列变换, 生成 密文 .解密就是把 密文 再进行一系列变换, 还原成 明文 .在这个加密和解密的过程中, 往往需要一个或者多个中间的数据, 辅助进行这个过程, 这 样的数据称为 密钥2. 为什么要加密臭名昭著的 运营商劫持下载一个 天天动听未被劫持的效果, 点击下载按钮, 就会弹出天天动听的下载链接.已被劫持的效果, 点击下载按钮, 就会弹出 QQ 浏览器的下载连接由于我们通过网络传输的任何的数据包都会经过运营商的网络设备(路由器, 交换机等), 那么运营商的网络设备就可以解析出你传输的数据内容, 并进行篡改.点击 下载按钮, 其实就是在给服务器发送了一个 HTTP 请求, 获取到的 HTTP 响应其 实就包含了该 APP 的下载链接.运营商劫持之后, 就发现这个请求是要下载天天动听, 那么就自动的把交给用户的响应给篡改成 QQ 浏览器 的下载地址所以因为http 的内容是明文传输的明文数据会经过路由器、wifi 热点、通信服务 运营商、代理服务器等多个物理节点如果信息在传输过程中被劫持传输的内容就 完全暴露了。劫持者还可以篡改传输的信息且不被双方察觉这就是中间人攻击所 以我们才需要对信息进行加密可能会好奇为什么要劫持当然是为了钱不止运营商可以劫持, 其他的 黑客 也可以用类似的手段进行劫持, 来窃取用户隐私信息, 或者篡改内容.在互联网上, 明文传输是比较危险的事情!!! HTTPS 就是在 HTTP 的基础上进行了加密, 进一步的来保证用户的信息安全3. 常见的加密方式对称加密• 采用单钥密码系统的加密方法同一个密钥可以同时用作信息的加密和解密这种加密方法称为对称加密也称为单密钥加密特征加密和解密所用的密钥是相同的• 常见对称加密算法(了解)DES、3DES、AES、TDEA、Blowfish、RC2 等• 特点算法公开、计算量⼩、加密速度快、加密效率⾼对称加密其实就是通过同一个 密钥 , 把明文加密成密文, 并且也能把密文解密成明文.一个简单的对称加密, 按位异或假设 明文 a 1234, 密钥 key 8888则加密 a ^ key 得到的密文 b 为 9834.然后针对密文 9834 再次进行运算 b ^ key, 得到的就是原来的明文 1234.(对于字符串的对称加密也是同理, 每一个字符都可以表⽰成一个数字)当然, 按位异或只是最简单的对称加密. HTTPS 中并不是使用的这种加密非对称加密 • 需要两个密钥来进行加密和解密这两个密钥是公开密钥public key简称公 钥和私有密钥private key简称私钥。• 常见非对称加密算法(了解)RSADSAECDSA• 特点算法强度复杂、安全性依赖于算法与密钥但是由于其算法复杂而使得加 密解密速度没有对称加密解密的速度快。非对称加密要用到两个密钥, 一个叫做 公钥, 一个叫做 私钥. 公钥和私钥是配对的. 最大的缺点就是运算速度非常慢比对称加密要慢很多.• 通过公钥对明文加密, 变成密文• 通过私钥对密文解密, 变成明文也可以反着用• 通过私钥对明文加密, 变成密文• 通过公钥对密文解密, 变成明文4. 数据摘要 数据指纹• 数字指纹(数据摘要),其基本原理是利用单向散列函数(Hash 函数)对信息进行运算, 生成一串固定⻓度的数字摘要。数字指纹并不是一种加密机制,但可以用来判断数据有 没有被篡改。• 摘要常见算法有 MD5、SHA1、SHA256、SHA512 等算法把无限的映射成 有限因此可能会有碰撞两个不同的信息算出的摘要相同但是概率非常低• 摘要特征和加密算法的区别是摘要严格意义不是加密因为没有解密只不 过从摘要很难反推原信息通常用来进行数据对比5. 数字签名• 摘要经过加密就得到数字签名后面细说6. 理解链 - 承上启下• 对 http 进行对称加密是否能解决数据通信安全的问题问题是什么• 为何要用非对称加密为何不全用非对称加密问题1对 HTTP 进行对称加密是否能解决数据通信安全的问题问题是什么直接回答能解决一部分问题但引入了一个致命的新问题——密钥如何安全地传输。解释能解决的问题机密性如果通信双方比如你的浏览器和某网站服务器事先商定好了一个相同的密钥那么后续所有HTTP报文请求URL、头部、正文都用这个密钥进行对称加密传输。这样网络上的窃听者如抓包工具、黑客截获到的就是密文。没有密钥就无法解密也就无法看到通信内容。这确实解决了数据机密性的问题防止了内容泄露。核心问题密钥分发困境关键在于通信双方如何安全地获得这个相同的密钥场景分析你第一次访问一个网站比如https://www.example.com你和服务器之间之前没有任何联系。服务器必须把这个密钥通过网络发送给你。但此时通信信道是不安全的本身就是HTTP明文或者你正处在危险的Wi-Fi网络中。矛盾点如果为了安全地传输密钥而对密钥本身再进行加密那又需要一个新的密钥这就变成了“先有鸡还是先有蛋”的死循环。具体风险中间人攻击服务器生成一个密钥K想发送给浏览器。黑客在网络上截获了这个数据包直接把K替换成自己生成的K_evil然后转发给浏览器。浏览器收到K_evil以为这就是和服务器通信的密钥。之后浏览器用K_evil加密数据发送黑客用自己的K_evil解密就能看到全部内容然后用真正的密钥K重新加密转发给服务器。在整个过程中浏览器和服务器都以为通信是安全的但实际上所有信息都经过黑客之手被完全窃听和篡改。结论仅用对称加密虽然加密算法本身高效安全但无法在不安全的网络如互联网上安全地传输密钥本身。这个“密钥分发问题”使得纯粹的对称加密方案在实际的互联网通信中不可行。问题2为何要用非对称加密直接回答为了解决对称加密的“密钥分发问题”。非对称加密允许在不安全的信道上安全地交换一个“共享秘密”比如对称加密的密钥。详细解释非对称加密的特性回顾有两个密钥公钥Public Key公开谁都可以知道私钥Private Key保密只有自己知道。用公钥加密的数据只能用对应的私钥解密。用私钥加密的数据只能用对应的公钥解密这通常用于数字签名而非保密通信。如何解决密钥分发问题步骤服务器预先准备好一对公钥和私钥。私钥自己严密保管。浏览器客户端首次连接服务器时服务器直接明文把公钥发送给浏览器。注意公钥本身就是公开的即使被黑客截获也没关系。浏览器收到公钥后自己生成一个临时的、用于这次会话的对称加密密钥称为“会话密钥”。浏览器使用服务器的公钥对这个“会话密钥”进行加密然后发送给服务器。黑客截获了这个加密后的会话密钥但由于他没有服务器的私钥无法解密所以得不到会话密钥。服务器收到后用自己的私钥解密成功获得会话密钥。结果现在浏览器和服务器都拥有了同一个会话密钥而且这个密钥是在不安全的网络上通过非对称加密安全地传递完成的。此后他们就用这个会话密钥进行高效的对称加密通信。结论非对称加密的引入本质上是扮演了一个安全的“信使”角色专门用来护送对称加密的密钥这个“贵重物品”通过不安全的信道。问题3为何不全用非对称加密直接回答因为非对称加密的运算速度非常慢资源消耗巨大如果全用它对所有HTTP通信数据进行加密会导致性能和体验灾难。详细解释性能对比数量级差异对称加密如AES基于简单的数学变换替换、移位、异或等硬件和软件实现都非常高效。现代CPU甚至有专门的指令集来加速AES。非对称加密如RSA基于复杂的数论难题如大整数因数分解、椭圆曲线离散对数。涉及数百甚至数千位的大数进行乘幂、取模等运算计算量巨大。数据通常认为非对称加密的速度比对称加密慢100到1000倍甚至更多。加密同样大小的数据RSA消耗的CPU时间是AES的几百倍。实际场景推演灾难性后果假设你访问一个普通的网页需要传输2MB的数据包括HTML、CSS、JS、图片等。如果全用非对称加密你的浏览器CPU占用会瞬间飙升风扇狂转页面加载可能需要几十秒甚至几分钟。服务器端更惨它要同时应对成千上万个用户的请求。每个请求都要进行大量昂贵的非对称加解密运算。服务器CPU会100%满载响应时间急剧增加大量请求超时、失败甚至导致服务器崩溃拒绝服务攻击的一种可能形式。相比之下混合加密方案仅在握手阶段几毫秒内用一次非对称加密传输一个几百字节的会话密钥。在数据传输阶段占通信量99.99%以上用对称加密速度极快对性能和体验几乎没有影响。其他限制加密长度限制像RSA这样的非对称加密算法能加密的明文长度受制于密钥长度例如2048位的RSA密钥最多只能加密约245字节的明文。要加密一个几KB的HTTP请求头需要分段加密复杂度和开销会进一步爆炸。而对称加密没有这个限制。结论全用非对称加密理论上可行但实践中完全不可取。它会耗尽计算资源让互联网通信陷入瘫痪。正确的做法是扬长避短用非对称加密解决密钥协商这个“关键但数据量小”的问题用对称加密解决数据传输这个“数据量大但已有密钥”的问题。这就是HTTPS以及几乎所有现代安全通信协议如SSH IPsec采用的混合加密核心思想。HTTPS 的工作过程探究既然要保证数据安全, 就需要进行 加密.网络传输中不再直接传输明文了, 而是加密之后的 密文. 加密的方式有很多, 但是整体可以分成两大类:对称加密 和 非对称加密方案 1 - 只使用对称加密如果通信双方都各自持有同一个密钥 X且没有别人知道这两方的通信安全当然是 可以被保证的除非密钥被破解引入对称加密之后, 即使数据被截获, 由于黑客不知道密钥是啥, 因此就无法进行解密, 也就不知道请求的真实内容是啥了.但事情没这么简单. 服务器同一时刻其实是给很多客户端提供服务的. 这么多客户端, 每 个人用的秘钥都必须是不同的(如果是相同那密钥就太容易扩散了, 黑客就也能拿到了). 因此服务器就需要维护每个客户端和每个密钥之间的关联关系, 这也是个很⿇烦的事情比较理想的做法, 就是能在客户端和服务器建⽴连接的时候, 双方协商确定这次的密钥 是啥但是如果直接把密钥明文传输, 那么黑客也就能获得密钥了~~ 此时后续的加密操作就 形同虚设了. 因此密钥的传输也必须加密传输!但是要想对密钥进行对称加密, 就仍然需要先协商确定一个 密钥的密钥. 这就成了 先 有鸡还是先有蛋 的问题了.此时密钥的传输再用对称加密就行不通了方案 2 - 只使用非对称加密鉴于非对称加密的机制如果服务器先把公钥以明文方式传输给浏览器之后浏览器 向服务器传数据前都先用这个公钥加密好再传从客户端到服务器信道似乎是安全的 (有安全问题)因为只有服务器有相应的私钥能解开公钥加密的数据。但是服务器到浏览器的这条路怎么保障安全如果服务器用它的私钥加密数据传给浏览器那么浏览器用公钥可以解密它而这个 公钥是一开始通过明文传输给浏览器的若这个公钥被中间人劫持到了那他也能用 该公钥解密服务器传来的信息了方案 3 - 双方都使用非对称加密1. 服务端拥有公钥 S 与对应的私钥 S客户端拥有公钥 C 与对应的私钥 C2. 客户和服务端交换公钥3. 客户端给服务端发信息先用 S 对数据加密再发送只能由服务器解密因为 只有服务器有私钥 S4. 服务端给客户端发信息先用 C 对数据加密在发送只能由客户端解密因为 只有客户端有私钥 C 这样貌似也行啊但是• 效率太低• 依旧有安全问题1. 中间人攻击最致命双方交换公钥时没有任何身份认证攻击者可以拦截并替换成自己的公钥。之后所有“加密”通信都会被攻击者解密、窃听甚至篡改而双方毫无察觉。2. 无前向安全性如果攻击者记录了所有密文日后偷到服务端或客户端的长期私钥就能一次性解密全部历史通信。私钥泄露等于所有会话裸奔。3. 缺乏完整性及认证仅有加密没有消息验证码或签名。攻击者可以修改密文利用非对称加密的可延展性、重放旧消息也无法确认消息是否确实来自声称的对端。因此这个方案在实际网络环境中完全不可用必须引入证书体系防中间人、临时密钥交换实现前向安全和消息认证码保完整性。方案 4 - 非对称加密 对称加密先解决效率问题• 服务端具有非对称公钥 S 和私钥 S• 客户端发起 https 请求获取服务端公钥 S• 客户端在本地生成对称密钥 C, 通过公钥 S 加密, 发送给服务器.• 由于中间的网络设备没有私钥, 即使截获了数据, 也无法还原出内部的原文, 也就 无法获取到对称密钥(真的吗)• 服务器通过私钥 S解密, 还原出客户端发送的对称密钥 C. 并且使用这个对称密钥 加密给客户端返回的响应数据.• 后续客户端和服务器的通信都只用对称加密即可. 由于该密钥只有客户端和服务 器两个主机知道, 其他主机/设备不知道密钥即使截获数据也没有意义由于对称加密的效率比非对称加密⾼很多, 因此只是在开始阶段协商密钥的时候使 用非对称加密, 后 续的传输仍然使用对称加密虽然上面已经比较接近答案了但是依旧有安全问题 方案 2方案 3方案 4 都存在一个问题如果最开始中间人就已经开始攻击了呢中间人攻击 - 针对上面的场景• Man-in-the-MiddleAttack简称“MITM 攻击”确实在方案 2/3/4 中客户端获取到公钥 S 之后对客户端形成的对称秘钥 X 用服 务端给客户端的公钥 S 进行加密中间人即使窃取到了数据此时中间人确实无法解 出客户端形成的密钥 X因为只有服务器有私钥 S但是中间人的攻击如果在最开始握手协商的时候就进行了那就不一定了假设 hacker 已经成功成为中间人1. 服务器具有非对称加密算法的公钥 S私钥 S2. 中间人具有非对称加密算法的公钥 M私钥 M3. 客户端向服务器发起请求服务器明文传送公钥 S 给客户端4. 中间人劫持数据报文提取公钥 S 并保存好然后将被劫持报文中的公钥 S 替换 成为自己的公钥 M并将伪造报文发给客户端5. 客户端收到报文提取公钥 M(自己当然不知道公钥被更换过了)自己形成对称 秘钥 X用公钥 M 加密 X形成报文发送给服务器6. 中间人劫持后直接用自己的私钥 M进行解密得到通信秘钥 X再用曾经保存 的服务端公钥 S 加密后将报文推送给服务器7. 服务器拿到报文用自己的私钥 S解密得到通信秘钥 X8. 双方开始采用 X 进行对称加密进行通信。但是一切都在中间人的掌握中劫持 数据进行窃听甚至修改都是可以的 上面的攻击方案同样适用于方案 2方案 3 问题本质出在哪里了呢客户端无法确定收到的含有公钥的数据报文就是⽬标服务 器发送过来的引入证书CA 认证服务端在使用 HTTPS 前需要向 CA 机构申领一份数字证书数字证书里含有证书申 请者信息、公钥信息等。服务器把证书传输给浏览器浏览器从证书里获取公钥就行 了证书就如身份证证明服务端公钥的权威性这个 证书 可以理解成是一个结构化的字符串, 里面包含了以下信息:• 证书发布机构• 证书有效期• 公钥• 证书所有者• 签名• ......需要注意的是申请证书的时候需要在特定平台生成会同时生成一对⼉密钥对 ⼉即公钥和私钥。这对密钥对⼉就是用来在网络通信中进行明文加密以及数字签名 的。 其中公钥会随着 CSR 文件一起发给 CA 进行权威认证私钥服务端自己保留用来 后续进行通信其实主要就是用来交换对称秘钥可以使用在线生成 CSR 和私钥CSR在线生成工具 形成 CSR 之后后续就是向 CA 进行申请认证不过一般认证过程很繁琐网络各种 提供证书申请的服务商一般真的需要直接找平台解决就行理解数据签名签名的形成是基于非对称加密算法的注意⽬前暂时和 https 没有关系不要和 https当服务端申请 CA 证书的时候CA 机构会对该服务端进行审核并专⻔为该网站形成 数字签名过程如下1. CA 机构拥有非对称加密的私钥 A 和公钥 A2. CA 机构对服务端申请的证书明文数据进行 hash形成数据摘要3. 然后对数据摘要用 CA 私钥 A加密得到数字签名 S服务端申请的证书明文和数字签名 S 共同组成了数字证书这样一份数字证书就可以 颁发给服务端了方案 5 - 非对称加密 对称加密 证书认证在客户端和服务器刚一建⽴连接的时候, 服务器给客户端返回一个 证书证书包含了 之前服务端的公钥, 也包含了网站的身份信息.客户端进行认证当客户端获取到这个证书之后, 会对证书进行校验(防止证书是伪造的).• 判定证书的有效期是否过期• 判定证书的发布机构是否受信任(操作系统中已内置的受信任的证书发布机构).• 验证证书是否被篡改: 从系统中拿到该证书发布机构的公钥, 对签名解密, 得到一 个 hash 值(称为数据摘要), 设为 hash1. 然后计算整个证书的 hash 值, 设为 hash2. 对 比 hash1 和 hash2 是否相等. 如果相等, 则说明证书是没有被篡改过的.查看浏览器的受信任证书发布机构 Chrome 浏览器, 点击右上角的选择 设置, 搜索 证书管理 , 即可看到以下界面. (如果没有在隐私设置和安全性- 安全里面找找中间人有没有可能篡改该证书• 中间人篡改了证书的明文• 由于他没有 CA 机构的私钥所以无法 hash 之后用私钥加密形成签名那么也就 没法办法对篡改后的证书形成匹配的签名• 如果强行篡改客户端收到该证书后会发现明文和签名解密后的值不一致则说 明证书已被篡改证书不可信从而终止向服务器传输信息防止信息泄露给中间人中间人整个掉包证书• 因为中间人没有 CA 私钥所以无法制作假的证书(为什么)因为数字证书的本质是CA 用自己的私钥对证书内容包含域名、公钥等进行数字签名。中间人如果没有 CA 的私钥就无法生成一个签名有效的证书——哪怕他随意伪造一个证书客户端用 CA 的公钥验证签名时也会失败。• 所以中间人只能向 CA 申请真证书然后用自己申请的证书进行掉包客户端收到证书后会做两件事验证证书的签名通过因为是真的CA签发。检查证书中的域名是否与自己要访问的域名一致不一致直接报警。• 这个确实能做到证书的整体掉包但是别忘记证书明文中包含了域名等服务端 认证信息如果整体掉包客户端依旧能够识别出来。•那中间人能不能修改已有证书里的域名不能。因为任何对证书内容的修改比如把evil.com改成bank.com都会破坏原始签名而中间人没有 CA 的私钥去重新签名。修改后的证书签名验证失败客户端同样拒绝。• 永远记住中间人没有 CA 私钥所以对任何证书都无法进行合法修改包括自 己的常见问题为什么摘要内容在网络传输的时候一定要加密形成签名?常见的摘要算法有: MD5 和 SHA 系列 以 MD5 为例, 我们不需要研究具体的计算签名的过程, 只需要了解 MD5 的特点:• 定⻓: 无论多⻓的字符串, 计算出来的 MD5 值都是固定⻓度 (16 字节版本或者 32 字节版本)• 分散: 源字符串只要改变一点点, 最终得到的 MD5 值都会差别很大.• 不可逆: 通过源字符串生成 MD5 很容易, 但是通过 MD5 还原成原串理论上是 不可能的.正因为 MD5 有这样的特性, 我们可以认为如果两个字符串的 MD5 值相同, 则认为这 两个字符串相同.理解判定证书篡改的过程: (这个过程就好比判定这个身份证是不是伪造的身份证) 假设我们的证书只是一个简单的字符串 hello, 对这个字符串计算 hash 值(比如 md5), 结果为 BC4B2A76B9719D91 如果 hello 中有任意的字符被篡改了, 比如变成了 hella, 那么计算的 md5 值就会变化很 大. BDBD6F9CF51F2FD8然后我们可以把这个字符串 hello 和 哈希值 BC4B2A76B9719D91 从服务器返回给客户端, 此时客户端如何验证 hello 是否是被篡改过?那么就只要计算 hello 的哈希值, 看看是不是 BC4B2A76B9719D91 即可但是还有个问题, 如果黑客把 hello 篡改了, 同时也把哈希值重新计算下, 客户端就分辨 不出来了呀所以被传输的哈希值不能传输明文, 需要传输密文.所以对证书明文(这里就是“hello”)hash 形成散列摘要然后 CA 使用自己的私钥加密 形成签名将 hello 和加密的签名合起来形成 CA 证书颁发给服务端当客户端请求 的时候就发送给客户端中间人截获了因为没有 CA 私钥就无法更改或者整体 掉包就能安全的证明证书的合法性。最后客户端通过操作系统里已经存的了的证书发布机构的公钥进行解密, 还原出原始 的哈希值, 再进行校验.为什么签名不直接加密而是要先 hash 形成摘要?• 缩⼩签名密文的⻓度,加快数字签名的验证签名的运算速度如何成为中间人• ARP 欺骗在局域网中hacker 经过收到 ARP Request⼴播包能够偷听到其 它节点的 (IP, MAC)地址。例如黑客收到两个主机 A, B 的地址告诉 B (受害者) 自 己是 A使得 B 在发送给 A 的数据包都被黑客截取• ICMP 攻击由于 ICMP 协议中有重定向的报文类型那么我们就可以伪造一个 ICMP 信息然后发送给局域网中的客户端并伪装自己是一个更好的路由通路。从而导 致⽬标所有的上网流量都会发送到我们指定的接⼝上达到和 ARP 欺骗同样的效果• 假 wifi 假网站完整流程左侧都是客户端做的事情, 右侧都是服务器做的事情总结HTTPS 工作过程中涉及到的密钥有三组.第一组(非对称加密): 用于校验证书是否被篡改. 服务器持有私钥(私钥在形成 CSR 文件 与申请证书时获得), 客户端持有公钥(操作系统包含了可信任的 CA 认证机构有哪些, 同 时持有对应的公钥). 服务器在客户端请求时返回携带签名的证书. 客户端通过这个公 钥进行证书验证, 保证证书的合法性进一步保证证书中携带的服务端公钥权威性第⼆组(非对称加密): 用于协商生成对称加密的密钥. 客户端用收到的 CA 证书中的公钥 (是可被信任的)给随机生成的对称加密的密钥加密, 传输给服务器, 服务器通过私钥解 密获取到对称加密密钥.第三组(对称加密): 客户端和服务器后续传输的数据都通过这个对称密钥加密解密其实一切的关键都是围绕这个对称加密的密钥. 其他的机制都是辅助这个密钥工作的.第⼆组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器.第一组非对称加密的密钥是为了让客户端拿到第⼆组非对称加密的公钥