IPFIX技术白皮书V1.0

1 IPFIX技术概述

 

1.1 IPFIX技术概况

 

    基于流的技术被越来越广泛地用于刻画网络传输流，它在设置QoS策略、部署应用和进行容量规划上都有着巨大的价值。但是，网络管理员却缺少一种输出传输流的标准格式。
IPFIX全称为IP Flow Information Export，即IP数据流信息输出，它是由IETF公布的用于网络中的流信息测量的标准协议。该协议主要在于：

 

    统一IP数据流的统计、输出标准，这使得网络管理员很容易地提取和查看存储在这些网络设备中的重要流量统计信息。

 

    输出格式具有较强的可扩展性，因此如果流量监控的要求发生改变，网络管理员也可通过修改相应配置来实现，不必升级网络设备软件或管理工具。

 

    IPFIX定义的格式以Cisco Netflow Version 9数据输出格式作为基础，可使IP流量信息从一个输出器（Exporter）传送到收集器（Collector）。因为IPFIX是一种针对数据流特征分析、基于模板的格式输出的协议，因此具有很强的可扩展性，对于不同的需求都可以定义不同的数据格式。

 

    为了较完整的输出数据，IPFIX缺省使用网络设备的七个关键域来表示每股网络流量：

 

    源 IP 地址

    目的 IP 地址

    TCP/UDP 源端口

    TCP/UDP 目的端口

    三层协议类型

    服务类型（Type-of-service）字节

    输入逻辑接口

 

    如果不同的 IP 报文中所有的七个关键域都匹配，那么这些 IP 报文都将被视为属于同一股流量。通过记录网络中这些流量的特征，如流量持续时间、流量中报文平均长度等， 我们可以了解到当前网络的应用情况，并根据这些信息对网络进行优化，安全检测，流量计费。

 

1.2 IPFIX技术组网

 

    IPFIX是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP 地址，协议类型，相同的源和目的协议端口号，以及相同ToS的报文，通常为5 元组。IPFIX会记录这个流的统计信息，包括：时间戳，报文数，总的字节数。

 

    IPFIX主要包括三个设备Export、Collector、 Analyzer，三个设备之间的关系如下图所示。

 

 

                                  图1-1

 

    Export对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出给Collector

 

    Collector负责解析Export的数据报文，把统计数据收集到数据库中，可供Analyser进行解析。

 

    Analyser从Collector中提取统计数据，进行后续处理，为各种业务提供依据,以图形界面的形式显示出来

 

1.3 IPFIX技术价值

 

    1. IPFIX统一了流量监控标准，通过使用单一的、一致的模型，简化了流输出架构。

 

    随着IPFIX标准更广泛地为网络设备厂商采用，网络管理员不用再为支持多个流报告应用而操心，每个应用都有自己的流输出格式。IPFIX让他们可以使用一个符合这项标准的流报告应用程序。此外，IPFIX的可扩展性使得网络管理员不必在传输流监测或报告需求发生变化时修改或升级设备配置。

 

    2. IPFIX标准关注网络升级时的流输出可扩展性。

 

    随着MPLS、IPv6和多播路由等网络技术的日益普及，管理员也需要更好地了解它们对网络环境的影响，这种可扩展性就变得越来越重要。为了确保这种可扩展性的轻松实现，IPFIX兼容设备将输出模板，这些模板详细说明那些为输出而配置的流“特征”。流的采集和报告应用程序可以被用来读取这些模板，以了解哪些“特征”被输出，因此网络管理员不需要调整应用程序配置。

 

    3. IPFIX RFC定义了不同的流输出应用，包括基于使用的统计、传输流分布、传输流工程、攻击/入侵检测和QoS监测。

 

    例如，支持IPFIX的流报告应用程序通过读取服务类型字节流“特征”，可以显示每一个等级的QoS服务会消费多少网络传输流。此外，流量报告应用还可以显示应用和用户如何根据服务类型策略分类。支持IPFIX攻击/入侵检测的应用将能够提供基准协议（Baseline）和地址数据来确定网络异常现象。

 

    4. IPFIX描述对于流量输出至关重要的众多规则，包括时间戳、时间同步、流终止、数据包分段和多播流行为。

 

    例如，传送多播应用流的IPFIX兼容设备应当输出反映每一个进入设备接口的流记录。此外，这类设备应当输出通过多播传送给同一台设备上所有输出接口每个数据包的流记录。同使用多播输出行为一样，RFC中列出的其他规则使网络设备厂商可以更好地了解IPFIX标准的支持要求,以及它如何在已有的技术中实现集成。

 

2 锐捷网络IPFIX技术实现

 

2.1 IPFIX技术基本概念

 

Observation Point、Observation Domain（观测点、观察域）

 

    捕获IP报文的地方。具体到设备上，观测点可以指定到交换机或路由器的每个端口上，观测域 则表示观测点的组合，即线卡、硬件模块等。

 

Metering Process（测定过程）

 

    IP数据流的解析处理过程。
 

    输入：IP数据流。
 

    输出：Flow Records。

 

Exporting Process（输出过程）

 

    对流记录进行处理，整理成IPFIX报文输出。
 

    输入：Flow Records。
 

    输出：封装成IPFIX报文发送。

 

Sampling Functions（采样功能）

 

    Metering Process中的采样功能，可以对数据流进行N:1的采样，以便对IP数据流进行缩减，在精确度要求不高的场合，减少处理负担。

 

Filter Functions（过滤功能）

 

    Metering Process中的过滤功能，可以对数据流进行报文过滤，过滤掉管理员不必关心的报文。理论上可以反复进行采样、过滤的几个处理，直到筛选出合适的IP数据流。

 

Collecting Process

 

    IPFIX报文的接收处理。Collector负责处理的过程，网络设备可不关心。

 

2.2 IPFIX技术实现

 

    锐捷网络是在RG-S8600、RG-S9600高端交换机上实现IPFIX功能，使用多业务卡来进行IP报文的分析处理。

 

    主引擎：主要负责与其他模块复杂的交互。具体负责配置管理、传输层协议封装、发包。

 

    多业务卡：高性能的NP板，高效率IP报文解析、统计，组装成IPFIX报文的DATA部分发给主引擎进行传输层封装。

 

 

                                    图2-1

 

2.3 设备处理原理

 

    对于网络设备来说，主要处理Metering Process 、Exporting process。结合基本概念中的名词，协议的流程概图如下：

 

 

                                图2-2

 

2.3.1 Metering Process

 

Observation Point收到报文后，直接进入Metering的处理，依序进行以下处理：

 

    1. packet header capturing：

 

    IPFIX并不需要处理全部的报文字段，根据协议描述，只要获取报文头（IP层头、传输层头）处理，IP报文可以继续给其他各协议处理。

 

    2. timestamping：

 

    给报文加上时间戳。

 

    3. sampling：

 

    采样：即每n个报文处理一个。比如配置1：100表示每100个报文选 取一个给后续模块处理。如果是1：1，则表示处理所有报文。

 

    4. filtering：

 

    过滤：根据管理员的要求，IPFIX可能只针对某一类报文进行后续处理，其他报文不再进行IPFIX处理。可以通过ACL列表来实现这个需求。

 

    5. loopback：

 

    处理完一次的sampling、filtering，还可以根据管理员配置需求，进行多次的sampling、filtering操作（算法可以不同）。可以反复筛选出管理员所需要的报文。

 

    6. 生成flows

 

    经过上述处理，已经获得到管理员想要的IP报文，就可以生成流记录给Exporting Process处理。

 

流记录举例如下：
 

 

 

2.3.2 Exporting Process

 

    采集到流记录后，就可以组装报文发送了。这其中没有太多的技术点，但出于配置管理需求，协议约定还可根据管理员的特定配置进行更灵活的输出。

 

    以下是Exporting Process的几个步骤流程：

 

    1. 选择模板、流记录（可选）

 

    2. 组装报文中的控制信息和数据信息。

 

    控制信息包括：观察点的域ID（用来标识观测设备上的观点域）、采样算法、采样间隔等等，这些信息能协助服务器还原数据流图，统一单位显示。

 

    数据信息就是打包好的流记录、模板等信息。

 

    3. 输出IPFIX Message

   

    4. 传输层协议封装输出

 

2.4 锐捷网络IPFIX技术特点

 

 

                                 图2-3

 

    1. 预处理阶段，IPFIX可以首先根据网络管理的需要对特定级别的数据流进行过滤或对高速网络端口进行数据包抽样，这样可以在确保需要的管理信息被采集和统计的同时，减少网络设备的处理负荷，增加全系统的可扩展性。

 

    2. 采用高性能的NP多业务卡进行高效率IP报文解析、统计，保证IPFIX报文高效传输。

 

    3. 原始统计信息进行多种形式的数据汇聚，只把汇总后的统计结果发送给上层管理服务器。由网络设备进行原始统计信息的汇聚可以大大减少网络设备输出的数据量，降低对上层管理服务器的配置要求，提高上层管理系统的扩展性和工作效率。

 

3 IPFIX技术应用

 

Usage-based Accounting（基于使用流量的计费）

 

    以往在网络运营商中的流量计费一般只是简单的基于每用户的上传、下载流量。由于IPFIX可以精确到目的IP、协议端口等字段，今后的流量计费就可以基于应用服务的特点来分段收费。

 

 

 

    当然，协议中也说明了，IPFIX是报文统计是“采样”的，在许多应用场合（如骨干层），数据流统计并不是越精细越好，出于网络设备的性能考虑，采样率不能过小，因此并不需要提供完全精确可靠的流量计费。但在网络运营商级别，计费单位一般都是百兆以上，IPFIX的采样精度能满足相关需求。

 

Traffic Profiling、Traffic Engineering：流量概图、流量工程

 

    通过IPFIX Exporter的记录输出，IPFIX Collector可以以各种图表形式输出非常丰富的流量记录信息，这就是Traffic Profiling的概念。

 

    然而，只是信息的记录，还无法利用IPFIX的强大功能，IETF同时推出了Traffic Engineering的概念：在实际运营网络中，经常规划了负载均衡和冗余备份，但各种协议一般都是按网络规划时预定的路线、或协议原理进行调整。

 

    而如果采用IPFIX监控网络中的流量，发现某段时间某些数据流较大，可以汇报给网络管理员进行流量调整，以分配、调整更多的网络带宽供给相关应用服务使用，减少负载不均的情况发生。 甚至于，可以更智能把路由调整、带宽分配、安全策略等设置规则 直接绑定到IPFIX Collector上的操作上，自动完成网络流量调整。

 

Attack/Intrusion Detection：攻击/入侵检测

 

    从上述第二点的描述，我们也已经能推理出IPFIX可以根据流量特点，进行网络攻击的检测（比如典型的IP扫描、端口扫描、DDOS攻击）。而采样标准的IPFIX协议，还可以像一般主机端病毒防护一样，采用“特征库”升级来阻止最新的网络攻击。

 

QoS Monitoring：网络服务质量的监控

 

典型的QOS参数有：

 

    丢包情况：loss [RFC2680],

 

    单向延时：one-way delay[RFC2679]

    往返延时：round-trip delay [RFC2681]

    延时变化：delay variation [RFC3393]

 

    以往的技术很难实时地监控上述信息，而通过IPFIX的各种自定义字段、监控时间间隔就可以很容易的监控各种报文的上述数值。

 

    这一点是IPFIX比较深入的应用，目前看属于未来技术。IETF还成立了IPPM（IP Performance Metrics）工作组配合相关方向的标准推进。

 

4 总结

 

    IPFIX作为目前标准化的一种网络流量监控标准，统一了流量监控标准，通过使用单一的、一致的模型，简化了流输出架构，它为高速网络用户带来价值，目前此标准逐渐被多个厂家的网络设备所支持。目前锐捷网络在部分以太网设备上已经提供了IPFIX功能，后续也会在网络管理和监控方面提供更加丰富的功能，以满足网络用户在网络管理、网络规划、网络监控方面的需求。