摘要: 高效通信性能是影响并行文件系统性能与效率的重要因素.该文基于TH-2系统的高性能互连网络——天河2高速互连网络(TH-Express 2),设计并实现了混合层次文件系统H2FS中的高速通信模块FSE.FSE采用了TH-Express 2的短报文通信MP和远程内存访问RDMA相结合的方式,实现客户端与ION的通信.FSE采用基于动态链表的内存注册池减少通信延迟,提高通信效率.基于可变信用的流量控制,FSE有效降低系统出现拥塞的可能性,提高系统的可扩展性和稳定性.为了充分利用多核处理器的并发处理能力以及多RDMA引擎的传输能力,FSE对报文传输和数据处理功能采用了多维多线程方式,提高数据访问带宽.FSE的自适应端点管理针对通信端点容错能力设计,提高了系统弹性,有助于增强系统稳定性.FSE实现优化了数据传输效率,实现了低延迟、高带宽、高可扩展数据访问.在两个不同实际系统上的测试结果表明,FSE可以充分发掘TH-Express 2的特性,点点数据访问带宽可达8.6 Gbps,使得H2 FS具有较高的数据访问带宽和元数据性能,并具有良好的可扩展性.同基于TCP的通信模块实现相比,FSE的读写延迟可低至55％和20％,最大单ION写性能是其3.3倍;同Lustre文件系统相比,FSE更好地利用了高速网的特性来获取较高性能,写延迟可低至其28.6％.
摘要：高效通信性能是影响并行文件系统性能与效率的重要因素.该文基于TH-2系统的高性能互连网络——天河2高速互连网络(TH-Express 2),设计并实现了混合层次文件系统H2FS中的高速通信模块FSE.FSE采用了TH-Express 2的短报文通信MP和远程内存访问RDMA相结合的方式,实现客户端与ION的通信.FSE采用基于动态链表的内存注册池减少通信延迟,提高通信效率.基于可变信用的流量控制,FSE有效降低系统出现拥塞的可能性,提高系统的可扩展性和稳定性.为了充分利用多核处理器的并发处理能力以及多RDMA引擎的传输能力,FSE对报文传输和数据处理功能采用了多维多线程方式,提高数据访问带宽.FSE的自适应端点管理针对通信端点容错能力设计,提高了系统弹性,有助于增强系统稳定性.FSE实现优化了数据传输效率,实现了低延迟、高带宽、高可扩展数据访问.在两个不同实际系统上的测试结果表明,FSE可以充分发掘TH-Express 2的特性,点点数据访问带宽可达8.6 Gbps,使得H2 FS具有较高的数据访问带宽和元数据性能,并具有良好的可扩展性.同基于TCP的通信模块实现相比,FSE的读写延迟可低至55％和20％,最大单ION写性能是其3.3倍;同Lustre文件系统相比,FSE更好地利用了高速网的特性来获取较高性能,写延迟可低至其28.6％.
说明：如本页面涉及到版权问题或作者不愿意公开，请联系本站管理员删除！
| [1] | 李婕 白志宏 于瑞云 崔亚盟 王兴伟 . 基于PSO优化的移动位置隐私保护算法 [J]. 计算机学报 ,2018,5 |
| [2] | 古春生 景征骏 史培中 于志敏 . 基于新"0"测试参数的理想格上多线性映射 [J]. 计算机学报 ,2018,5 |
| [3] | 雷程 马多贺 张红旗 杨英杰 王利明 . 基于网络攻击面自适应转换的移动目标防御技术 [J]. 计算机学报 ,2018,5 |
| [4] | 眭晗 吴文玲 张立廷 . 基于双管道结构的在线加密方案 [J]. 计算机学报 ,2018,5 |
| [5] | 钟成 李兴华 宋园园 马建峰 . 无线网络中基于共享密钥的轻量级匿名认证协议 [J]. 计算机学报 ,2018,5 |
| [6] | 朱鹏程 程学云 卫丽华 管致锦 . 基于错误位分布的可逆逻辑综合算法 [J]. 计算机学报 ,2018,4 |
| [7] | 杨洋 刘磊 李广力 张桐搏 吕帅 . 一种新的基于局部搜索的扩展规则推理方法 [J]. 计算机学报 ,2018,4 |
| [8] | 朱光辉 黄圣彬 袁春风 黄宜华 . SCoS:基于Spark的并行谱聚类算法设计与实现 [J]. 计算机学报 ,2018,4 |
