计算机网络协议

操作系统概念

  操作系统:(Operating System，简称OS)是管理和控制计算机硬件与软件资源的计算机程序，是直接运行在“裸机”上的最基本的系统软件，任何其他软件都必须在操作系统的支持下才能运行。

注：计算机(硬件)---->OS----->应用软件

互联网的相关概念

• 计算机网络: 由若干节点和连接这些节点的链路组成，网络中的节点可以是计算机、集线器、交换机、或路由器等；
• 网络之间可以通过路由器相互连接，这就构成了一个更大范围的计算机网路，这样的网路称为互连网，因此互连网是网路的网路；
• 因特网(互联网): 全球最大的特定互连网；
  
  
• 路由器（Router），是连接因特网中各局域网、广域网的设备，它会根据信道的情况自动选择和设定路由，以最佳路径，按前后顺序发送信号。
• 路由器是互联网络的枢纽，“交通警察”。路由和交换机之间的主要区别就是交换机发生在OSI参考模型第二层（数据链路层），而路由发生在第三层，即网络层。这一区别决定了路由和交换机在移动信息的过程中需使用不同的控制信息，所以说两者实现各自功能的方式是不同的。
• 路由器（Router）又称网关设备（Gateway）是用于连接多个逻辑上分开的网络，所谓逻辑网络是代表一个单独的网络或者一个子网。当数据从一个子网传输到另一个子网时，可通过路由器的路由功能来完成。因此，路由器具有判断网络地址和选择IP路径的功能。
• 交换机是将不同IP地址的电脑连在一起，共享一根网线；路由器是将同一个IP给不同的电脑使用，就像一条大路分成很多条小路。一句话，路由器用于连接内网和外网，将内网的数据包通过路由功能转发到外网，实现内网和外网的互通；交换机用于连接内网的终端，使用了同一个网段，比如192.168.1.0，不同主机之间交换数据通过MAC地址识别。两个主机通信，首先发送ARP数据包，就IP地址转换为MAC地址才能进行相互通信。(交换机没有开关，路由器有开关)
  

互联网组成

基本组成:

• ①边缘部分: 由所有连接在互联网上的主机组成，这部分是用户直接使用的，用来进行通信（传送数据，音频或视频）和资源共享；
• ②核心部分: 由大量网络和连接这些网络的路由器 组成，这部分是为边缘部分提供服务的(提供连通性和交换)；
  
  
  

计算机网络的性能指标

速率

• 网络技术中的速率是指每秒钟传输的比特数量，称为数据率或比特率，速率的单位是bit/s，或b/s(比特每秒)；
• 速率较高时，就可以使用kb/s，Mb/s，Gb/s，Tb/s，人们现在所说的10M网速，其实是10Mb/s；
• 360等可以显示网速的软件，测试你电脑的那个网速，这里单位是B/秒，大写的B是字节(byte)，8bit = 1byte，也就是说如果测速为3.82MB/s，则下载速率为3.82 * 8Mb/s。

带宽

• 带宽用来表示网络通信线路传输数据的能力(数字信道所能传送的最高数据率)，即最高速率；
• 比如说家里使用ADSL拨号，有4M带宽、8M带宽，这里说的带宽就是你访问Internet的最高带宽，你家里的带宽由电信运营商控制；

吞吐量

• 吞吐量表示在单位时间内通过某个网络或接口的数据量，包括全部上传和下载的流量；
• 吞吐量受网络带宽或网络额定速率的限制，计算机的网卡如果连接交换机，网卡就可以工作在全双工模式，即能够同时接收和发送数据；如果计算机的网卡连接的是集线器，网卡就只能工作在半双工模式，即不能同时发送和接收数据；

时延

• 时延(delay)是指数据(一个数据包或bit)从网络的一段传送到另一端所需要的时间，是一个很重要的性能指标；
• 时延包括: 发送时延、传播时延、处理时延、排队时延；（数据在网络中经历的的总时延就是这四种时延的累加和）；

发送时延

传播时延

• 传播时延是是电磁波在信道中传播一定的距离要花费的时间；
  

排队时延和处理时延

时延带宽积

往返时间

  表示从发送端发送数据开始，到发送端接收到来自接收端的确认(发送端收到确认立即发送确认)，总共经历的时间；

利用率

网络通信原理

互联网的本质就是一系列的网络协议

协议： 是网络中计算机或设备之间进行通信的一系列规则的集合。网络协议的作用主要有两个：一是建立对等层之间的虚拟通信，二是实现层次之间的无关性。

协议栈： 在网络中，为了完成通信，必须使用多层上的多种协议。这些协议按照层次顺序组合在一起，构成了协议栈(Protocol Stack)，也称为协议族(Protocol Suite)。

层次间的无关性： 所谓层次间无关性，就是指较高层次和相邻的相低层次进行通信时，只是利用较低层次提供的接口和服务，而不需了解底层实现该功能所采用的算法和协议的细节；较低层次也仅是使用从高层系统传送来的参数和控制信息，这就是层次间的无关性。

互联网两大要素

（1）底层的物理连接介质，是为通信铺好道路的

（2）一套统一的通信标准---->互联网通信协议(计算机界的英语)

OSI参考模型以及TCP/IP四层模型、五层协议

互联网协议按照功能不同分为osi七层或tcp/ip五层或tcp/ip四层




用户感知到的只是最上面一层应用层，自上而下每层都依赖于下一层，所以我们从最下一层开始切入，比较好理解

  用户在用户层输入命令（数据），到传输层包上tcp协议头，再到网络层包裹上ip头，再到数据链路层包上以太网头，通过client物理层经过线路被server物理层接收，然后一层层反解到server的应用层，server应用层拿到命令后请求操作系统去调用硬盘里面的数据，最后再返回到数据层。

数据（可以加http协议等）----》传输层（包上tcp/udp协议）----》网络层（包上ip协议）----》数据链接层（包上以太网协议）----》物理层

1、物理层

  底层物理连接介质。负责发送电信号高电压对应数字1，低电压对应数字0。两个物理层通过光缆电缆双绞缆等介质连接

2、数据连接层

  数据链路层的功能：定义了电信号的分组方式

ethernet规定
  一组电信号构成一个数据包，叫做‘帧’
  每一数据帧分成：报头head(固定18个字节)和数据data两部分

数据包的具体内容
  head长度＋data长度＝最短64字节，最长1518字节，超过最大限制就分片发送

mac地址(网卡的地址，接入internet的设备都必须有网卡，即可找到某个具体的设备)：
  head中包含的源和目标地址由来：ethernet规定接入internet的设备都必须具备网卡，发送端和接收端的地址便是指网卡的地址，即mac地址

广播：

  有了mac地址，同一网络内的两台主机就可以通信了（一台主机通过arp协议获取另外一台主机的mac地址，该主机再回应时就不用吼了，交换机的‘学习’特性）

pc1通过广播方式发送以太网包给pc2,pc3,pc4,pc5，大家收到pc1发来的包，拆开后如果发现不是自己的就丢弃，是自己的就响应，并返回给pc1自己的mac地址。

3、网络层

网络层功能： 引入一套新的地址用来区分不同的广播域／子网，这套地址即网络地址
IP协议：

  规定网络地址的协议叫ip协议，它定义的地址称之为ip地址，广泛采用的v4版本即ipv4，它规定网络地址由32位2进制表示
范围0.0.0.0-255.255.255.255

  一个ip地址通常写成四段十进制数，例：172.16.10.1

标识地址的方式：

  ip+mac就能标识全世界范围内独一无二的一台计算机
  ip+mac+port就能标识全世界范围内独一无二的一个基于网络通信的应用软件

  url地址：标识全世界范围内独一无二的一个资源

ARP协议：

  arp协议功能：广播的方式发送数据包，获取目标主机的mac地址
  协议工作方式：每台主机ip都是已知的

  例如：主机172.16.10.10/24访问172.16.10.11/24

  一：首先通过ip地址和子网掩码区分出自己所处的子网，子网掩码固定为255.255.255.0（1111 1111.1111 1111.1111 1111.0000 0000），即取ip的前三段，以此判断是不是在同一个子网

  场景 数据包地址
  同一子网 目标主机mac，目标主机ip
  不同子网 网关mac，目标主机ip

  二：分析172.16.10.10/24与172.16.10.11/24处于同一网络(如果不是同一网络，那么下表中目标ip为172.16.10.1,通过arp获取的是网关的mac)
  源mac     目标mac     源ip            目标ip             数据部分
  发送端主机   发送端mac   FF:FF:FF:FF:FF:FF   172.16.10.10/24 172.16.10.11/24     数据

  三：这个包会以广播的方式在发送端所处的自网内传输，所有主机接收后拆开包，发现目标ip为自己的，就响应，返回自己的mac

传输层

传输层的由来： 网络层的ip帮我们区分子网，以太网层的mac帮我们找到主机，然后大家使用的都是应用程序，你的电脑上可能同时开启qq，暴风影音，等多个应用程序，那么我们通过ip和mac找到了一台特定的主机，如何标识这台主机上的应用程序，答案就是端口，端口即应用程序与网卡关联的编号。

传输层功能： 建立端口到端口的通信

补充： 端口范围0-65535，0-1023为系统占用端口，1024-65535给软件用

tcp协议（可靠传输）：

以太网头-------ip 头---------tcp头---------数据

udp协议（不可靠传输）：

以太网头-------ip 头---------udp头---------数据

通信过程、数据传输

通信过程:

注意: MAC地址由48位二进制数组成，在Windows操作系统命令提示符下， 输入"ipconfig / all"能够看到计算机网卡的MAC地址，物理地址… : C8-60-00-2E-6E-EB，这里显示的是十六进制表示的MAC地址，使用MA和MB代替MAC地址是为了简化说明。

• 目标MAC地址决定了数据帧下一跳由哪个设备接收；

• 目标IP地址决定了数据包最终到达那个计算机；

• 不同的网络数据链路层使用不同的协议，帧格式也不相同，路由器在不同网络转发数据包，需要将数据包重新封装；

数据封装和解封(数据传输)

小结

网络通信协议的作用是负责在网络上建立通信通道和控制通过通道的信息流的规则。为了进行网络通信，通信双方必须遵守通信协议

Telnet协议

  Telnet是TCP/IP中的一种应用协议，可以为终端仿真提供支持。可使用户连接到主机上，使主机响应起来就像它直接连接在终端上一样。Telnet在发送端和接收端使用TCP的23号端口以进行专用的通信。

FTP协议

  FTP协议使用TCP20号和21号端口，20号端口用于数据交换，21号端口用于建立连接，允许目录和文件访问，上传下载，不能远程执行文件。

  TFTP是简单文件传输协议（Trivial File Transfer Protocol，TFTP），TFTP是无连接的，使用UDP的69号端口，用于当数据传输错误无关紧要而且无须安全性时的小型文件的传输。

SMTP协议

  SMTP是简单邮件传输协议（Simple Mail Transfer Protocol，SMTP）是为网络系统间的电子邮件交换而设计的。使用 25 端口。SMTP只需要在接收端的一个电子邮件地址即可发送邮件。POP3 协议用来接收邮件.使用110端口

DNS服务

  DNS是域名解析服务（Domain Name Service, DNS），作用是将域名转换为IP地址，或将IP地址转换为域名，用于解析完全合格域名（FQDN）。使用53号端口。

三次握手和四次挥手

TCP报头

序列号seq： 占4个字节，用来标记数据段的顺序，TCP把连接中发送的所有数据字节都编上一个序号，第一个字节的编号由本地随机产生；给字节编上序号后，就给每一个报文段指派一个序号；序列号seq就是这个报文段中的第一个字节的数据编号。

确认号ack： 占4个字节，期待收到对方下一个报文段的第一个数据字节的序号；序列号表示报文段携带数据的第一个字节的编号；而确认号指的是期望接收到下一个字节的编号；因此当前报文段最后一个字节的编号+1即为确认号。

确认ACK： 占1位，仅当ACK=1时，确认号字段才有效。ACK=0时，确认号无效

同步SYN： 连接建立时用于同步序号。当SYN=1，ACK=0时表示：这是一个连接请求报文段。若同意连接，则在响应报文段中使得SYN=1，ACK=1。因此，SYN=1表示这是一个连接请求，或连接接受报文。SYN这个标志位只有在TCP建产连接时才会被置1，握手完成后SYN标志位被置0。

终止FIN： 用来释放一个连接。FIN=1表示：此报文段的发送方的数据已经发送完毕，并要求释放运输连接

源端口号： 表示发送端端口号，字段长为16位。

目标端口号： 表示接收端口号，字段长为16位。

首部长度： 该字段长度为4位，单位为4字节（32位）。TCP首部长度不包括选项的话，是20个字节，20/4=5，5的二进制序列：0101，报头长度也叫数据偏移，所以该字段可以设置为5，选项字段最大的是40字节，所以，TCP首部长度为最大为20+40=60字节，该字段可以设置的最大长度为60/4=15。

保留： 该字段主要是为了以后扩展时使用，其长度为4位。一般设置为0，即使收到的包在该字段不为0，此包也不会丢弃。

控制位： 字段长为6，每一位从左到右分别为：URG、ACK、PSH、RST、SYN、FIN。当对应的值为1，表示有具体含义。

窗口大小： 接收缓冲区的大小，TCP不允许发送超过此处所示大小的数据。

校验和： 发送端填充，CRC校验，接收校验不通过，则认为数据有问题。和UDP的区别是，UDP校验的是数据本身，TCP校验的不仅包含TCP首部，而且包含TCP数据部分。

紧急指针： 只有在URG为1时有效，该字段为1表示本报文的段中的紧急数据的指针。

选项： 用于提高TCP的传输性能。需要根据首部长度进行控制，其最大长度为40字节。

三次握手

第一次握手： 建立连接时，客户端发送syn包（syn=j）到服务器，并进入SYN_SENT状态，等待服务器确认；SYN：同步序列编号（Synchronize Sequence Numbers）。

第二次握手： 服务器收到syn包，必须确认客户的SYN（ack=j+1），同时自己也发送一个SYN包（syn=k），即SYN+ACK包，此时服务器进入SYN_RECV状态；

第三次握手： 客户端收到服务器的SYN+ACK包，向服务器发送确认包ACK(ack=k+1），此包发送完毕，客户端和服务器进入ESTABLISHED（TCP连接成功）状态，完成三次握手。

四次挥手

1）客户端进程发出连接释放报文，并且停止发送数据。释放数据报文首部，FIN=1，其序列号为seq=u（等于前面已经传送过来的数据的最后一个字节的序号加1），此时，客户端进入FIN-WAIT-1（终止等待1）状态。 TCP规定，FIN报文段即使不携带数据，也要消耗一个序号。

2）服务器收到连接释放报文，发出确认报文，ACK=1，ack=u+1，并且带上自己的序列号seq=v，此时，服务端就进入了CLOSE-WAIT（关闭等待）状态。TCP服务器通知高层的应用进程，客户端向服务器的方向就释放了，这时候处于半关闭状态，即客户端已经没有数据要发送了，但是服务器若发送数据，客户端依然要接受。这个状态还要持续一段时间，也就是整个CLOSE-WAIT状态持续的时间。

3）客户端收到服务器的确认请求后，此时，客户端就进入FIN-WAIT-2（终止等待2）状态，等待服务器发送连接释放报文（在这之前还需要接受服务器发送的最后的数据）。

4）服务器将最后的数据发送完毕后，就向客户端发送连接释放报文，FIN=1，ack=u+1，由于在半关闭状态，服务器很可能又发送了一些数据，假定此时的序列号为seq=w，此时，服务器就进入了LAST-ACK（最后确认）状态，等待客户端的确认。

5）客户端收到服务器的连接释放报文后，必须发出确认，ACK=1，ack=w+1，而自己的序列号是seq=u+1，此时，客户端就进入了TIME-WAIT（时间等待）状态。注意此时TCP连接还没有释放，必须经过2∗∗MSL（最长报文段寿命）的时间后，当客户端撤销相应的TCB后，才进入CLOSED状态。

6）服务器只要收到了客户端发出的确认，立即进入CLOSED状态。同样，撤销TCB后，就结束了这次的TCP连接。可以看到，服务器结束TCP连接的时间要比客户端早一些。

常见问题

【问题1】为什么连接的时候是三次握手，关闭的时候却是四次握手？

  因为当Server端收到Client端的SYN连接请求报文后，可以直接发送SYN+ACK报文。其中ACK报文是用来应答的，SYN报文是用来同步的。但是关闭连接时，当Server端收到FIN报文时，很可能并不会立即关闭SOCKET，所以只能先回复一个ACK报文，告诉Client端，“你发的FIN报文我收到了”。只有等到我Server端所有的报文都发送完了，我才能发送FIN报文，因此不能一起发送。故需要四步握手。

【问题2】为什么TIME_WAIT状态需要经过2MSL(最大报文段生存时间)才能返回到CLOSE状态？

  MSL即Maximum Segment Lifetime，就是最大报文生存时间，是任何报文在网络上的存在的最长时间，超过这个时间报文将被丢弃。《TCP/IP详解》中是这样描述的：MSL是任何报文段被丢弃前在网络内的最长时间。RFC 793中规定MSL为2分钟，实际应用中常用的是30秒、1分钟、2分钟等。

  TCP的TIME_WAIT需要等待2MSL，当TCP的一端发起主动关闭，三次挥手完成后发送第四次挥手的ACK包后就进入这个状态，等待2MSL时间主要目的是：防止最后一个ACK包对方没有收到，那么对方在超时后将重发第三次握手的FIN包，主动关闭端接到重发的FIN包后可以再发一个ACK应答包。在TIME_WAIT状态时两端的端口不能使用，要等到2MSL时间结束才可以继续使用。当连接处于2MSL等待阶段时任何迟到的报文段都将被丢弃。

【问题3】为什么需要三次握手，两次不可以吗？或者四次、五次可以吗？

  我们来分析一种特殊情况，假设客户端请求建立连接，发给服务器SYN包等待服务器确认，服务器收到确认后，如果是两次握手，假设服务器给客户端在第二次握手时发送数据，数据从服务器发出，服务器认为连接已经建立，但在发送数据的过程中数据丢失，客户端认为连接没有建立，会进行重传。假设每次发送的数据一直在丢失，客户端一直SYN，服务器就会产生多个无效连接，占用资源，这个时候服务器可能会挂掉。这个现象就是我们听过的“SYN的洪水攻击”。

  总结：第三次握手是为了防止：如果客户端迟迟没有收到服务器返回确认报文，这时会放弃连接，重新启动一条连接请求，但问题是：服务器不知道客户端没有收到，所以他会收到两个连接，浪费连接开销。如果每次都是这样，就会浪费多个连接开销。

【问题4】如果已经建立了连接，但是客户端突然出现故障了怎么办？

  TCP还设有一个保活计时器，显然，客户端如果出现故障，服务器不能一直等下去，白白浪费资源。服务器每收到一次客户端的请求后都会重新复位这个计时器，时间通常是设置为2小时，若两小时还没有收到客户端的任何数据，服务器就会发送一个探测报文段，以后每隔75秒钟发送一次。若一连发送10个探测报文仍然没反应，服务器就认为客户端出了故障，接着就关闭连接。

【问题5】为什么是四次挥手，而不是三次或是五次、六次？

  双方关闭连接要经过双方都同意。所以，首先是客服端给服务器发送FIN，要求关闭连接，服务器收到后会发送一个ACK进行确认。服务器然后再发送一个FIN，客户端发送ACK确认，并进入TIME_WAIT状态。等待2MSL后自动关闭。

总结：
  （1）为了保证客户端发送的最后一个ACK报文段能够到达服务器。即最后一个确认报文可能丢失，服务器会超时重传，然后服务器发送FIN请求关闭连接，客户端发送ACK确认。一个来回是两个报文生命周期。

如果没有等待时间，发送完确认报文段就立即释放连接的话，服务器就无法重传，因此也就收不到确认，就无法按步骤进入CLOSED状态，即必须收到确认才能close。
  （2）防止已经失效的连接请求报文出现在连接中。经过2MSL，在这个连续持续的时间内，产生的所有报文段就可以都从网络消失。