5.1.2数据预处理技术
在真实的网络环境中，网络数据集不可避免的存在缺失值和不规则的数据，如果数据中有很多这样的“脏数据”，则在进行模型训练时，最终所得到的分类器分类效果可能不理想，为了避免出现这样的情况，对数据集进行预处理很有必要。
在 CIC-IDS-2018 数据集中，攻击类型共有 14 种，其中 6 种攻击类型样本数量太少，不予考虑。正常流量样本数量太大，因此随机交叉提取 20%的数据，最后选取的网络流量类型和数量如表 5-1 所示。在表中 Benign 表示正常网络流量；DoSattacks-Hulk、DoSattacks-SlowHTTPTest 属于拒绝服务攻击类型，目的是使攻击目标无法提供正常服务；DDOSattack-HOIC 、DDoSattacks-LOIC-HTTP 属于分布式拒绝服务攻击类型，是一种破坏力更强大的是拒绝服务攻击类型，特点是分布、协同的大规模攻击；Bot 属于僵尸网络攻击，使主机感染僵尸病毒，从而控制主机，FTP-BruteForce、SSH-Bruteforce 属于暴力攻击，通过不断穷举破解密码；Infilteration 属于渗透攻击，通过发现利用或直接利用已知漏洞来获得目标网络权限。
...............................
第6章 总结与展望
6.1 工作总结
在互联网发展的今天，网络安全问题越来越重要，针对网络的各种攻击层出不穷，因此网络异常流量检测很有必要。在网络异常流量检测中，传统的网络异常流量检测算法没办法满足现在的要求，于是机器学习成为了异常流量检测中常用的方法。
使用机器学习方法检测网络异常流量的过程中，特征选取成为一个关键的问题，因为网络异常流量数据量大，特征繁多，可能降低模型的准确率，且耗费计算资源，常用的特征选择算法包括过滤法和嵌入法，过滤法没有考虑特征和特征之间的联系，嵌入法的缺点是过于依赖所选模型的最终表现。在异常流量分类的过程中，单个分类器可能存在某些方面的偏差，联合多个分类器是一种很好的解决方式，使用何种策略联合分类器是流量分类的关键，在联合策略中，Stacking方法由于效果好，成为常用的联合策略。
针对特征选择和流量分类问题，本文提出了一个基于集成学习的网络异常流量检测框架，在特征选择方面，联合过滤法和嵌入法，提出一种基于投票机制的集成特征选择算法，利用集成学习算法的优势，弥补了单个特征选择算法的不足，在该算法中，首先根据五种特征选择算法结果，投票选出三个的特征子集，根据特征子集在分类算法的表现，最后选择最优特征子集，实验结果表明最优特征子集包含了 11 个特征。在流量分类中，提出一种基于 Stacking 的异常流量分类算法，Stacking 是一个两层结构，在第一层中使用决策树、梯度提升决策树、多层感知机这三种分类算法作为基分类器，第二层使用逻辑回归分类算法作为元分类器，元分类器根据第一层的输出，训练模型，预测最终的结果。
参考文献（略）
