计算机专业论文栏目提供最新计算机专业论文格式、计算机专业硕士论文范文。详情咨询QQ:1847080343(论文辅导)

多维数据融合的API服务可信推荐方法研究

日期:2021年01月10日 编辑:ad201107111759308692 作者:无忧论文网 点击次数:816
论文价格:150元/篇 论文编号:lw202101061341082886 论文字数:32152 所属栏目:计算机专业论文
论文地区:中国 论文语种:中文 论文用途:硕士毕业论文 Master Thesis

本文是一篇计算机专业论文,推荐系统已应用于各行各业,并能让我们在这个节奏比较快的生活里迅速发现想要的东西,极大地方便了我们的生活。推荐算法作为推荐系统的核心,所以受到研究人员的青睐。但是由于当前 Web 服务所处网络环境一直都在动态变化的原因,传统的推荐方法缺乏服务多维信息以及服务可信度方面的考虑。


1 绪论


1.1 研究背景及意义

近年来,随着当前面向互联网服务架构的快速形成和发展,互联网上开始逐渐涌现了大量的 Web 服务[1]。Web 服务是基于 XML 和 HTTPS 的一种服务,其通信协议主要基于 SOAP(Simple Object Access Protocol),服务提供者通过 WSDL(Web ServicesDescription Language)描述服务,并通过 UDDI(Universal Description Discovery andIntegration)发现和获得服务的元数据[2-3]。随着大量 Web 服务的出现,人们为了能够满足更复杂的服务使用场景和更多个性化的需求,将多种功能不同的 Web 服务及其需要的资源组合成 Mashup 服务[4]。目前以 Programmableweb 网站为例的服务平台逐渐发展成为 Web 网站服务发布的主要平台以及其他用户查找、使用的媒介。根据Programmableweb 网站上的真实数据统计可知,截止到 2019 年 12 月,该平台上发布的API(Application Programming Interface)已达到 20000 余个,其中涉及地图、金融、电子商务等不同领域。面对海量的 API 服务,由于缺乏对 Web 服务所处网络环境动态变化的考虑,导致用户选择并调用的 Web 服务常常不可获取(unavailable),即发生服务失效[5],而大部分用户缺乏足够的能力去判断,这在一定程度上影响用户对服务的选择,进而影响 Mashup 服务的应用。推荐系统的出现弥补了该方面的不足,它作为解决信息过载的一种积极有效的主动式手段,越来越受到人们的重视。

推荐系统可以根据用户的历史行为将产品推荐给用户。例如:腾讯视频会根据你的观影记录从而推荐你偏好的电影;网易云通过你的听歌风格推荐给你不同风格的乐曲;抖音短视频通过你的日常点赞情况和浏览情况分析出你的兴趣,并推荐给你感兴趣的视频。推荐系统存在于我们生活中的每个角落,但伴随着推荐结果越来越多,有可能会遇到以下情况,比如:腾讯视频推荐给你的电影你并不感兴趣;网易云推荐给你的音乐你并不喜欢;抖音推荐给你的视频你并不想看到。因此,面对这种推荐情况,如何使推荐结果让用户可信成为目前的难题。

.......................


1.2 国内外研究现状及分析

目前,推荐系统越来越受到人们的重视,并且已广泛应用于多个领域[6]。本节首先对服务聚类研究现状进行分析,并进一步对推荐系统中面向 API 的服务推荐和可信推荐进行分析。

1.2.1 服务聚类研究分析

服务聚类是促进服务发现的有效技术,在机器学习中属于无监督学习[7]。当前大多数服务数据并没有现有的标签,我们只能通过挖掘服务功能和其内在联系,将服务特征相似的服务聚成一个服务类簇,将服务特征不同的服务尽可能多的排除。通过服务聚类可以提高用户发现需求服务的效率,服务聚类可以将用户与服务直接匹配的问题,转化成先与服务类簇进行匹配,然后再与类簇中服务匹配,大大提高了用户检索服务的效率。服务聚类是进行服务推荐的一种必要方法,因此受到了国内外学者的广泛关注。

目前国内外学者对于服务聚类方法已进行了大量研究。文献[8-9]使用 Agglomerative层次聚类算法对相似的服务进行聚类;文献[10]首先通过建立训练模型进行特征选取,然后基于这些特征计算服务之间的相似度完成服务的功能聚类;文献[11]基于服务内容和网络的集成,设计了两级主题模型,以挖掘潜在主题表示 Mashup 服务的功能特性。但是由于上述聚类方法仅运用了相似度度量,手段过于单一,难以满足服务推荐中的用户需求。在我们的方法中,首先运用 LDA 主题模型对 API 服务描述信息聚类,然后通过 Word2vec 进行 API 文本描述信息和主题特征词向量化处理,最后根据 API Specs 信息进行筛选,进一步提高了聚类的准确性。

1.2.2 服务推荐分析

服务推荐就是从众多服务中为用户快速有效地推荐满足其需求的服务。在服务推荐领域中,国内外研究人员已经对服务失效问题进行了分析。文献[5]中,Huang 认为两个主要的原因会导致服务失效的情况发生:服务器或硬件出现故障,停止服务时可能会导致服务节点消失进而导致停服;服务本身处理能力有限无法承载大规模的用户请求,以致服务饱和后出现宕机。文献[12]提出了一种针对服务失效的高质量Web服务推荐方法,Zheng 等人从 Web 服务描述文档质量的角度出发构建 Web 服务质量评估模型,从服务质量和功能两个方面选择服务来替代失效的 Web 服务,向用户推荐质量更高、可用性更强的服务。

.............................


2 相关理论与技术


2.1 典型聚类方法概述

聚类算法的思想是将具有相同特征的对象聚到一起,典型的聚类方法按照类别可以分为 5 类,分别是基于划分、密度、层次、网格以及模型这 5 个角度的方法[15],如图2-1 所示。下面我们将对典型聚类方法进行简要介绍。

图 2-1 典型聚类方法

(1)基于划分方法的聚类:这种聚类方法通常是基于对象之间距离的聚类,设置 K个初始点,通过计算从初始点到对象的距离进行聚类,并不断迭代地优化初始点以获得最佳中心点,将最佳中心点周围的对象作为聚类结果。

(2)基于密度的聚类:顾名思义这种聚类方法是基于密度的聚类,而其它的聚类方法都是通过各种各样的距离而形成聚类。该聚类方法的思想就是,在同一区域中,只要密度大于某个阈值,就把它划分到相近的类簇中。

(3)基于层次聚类:这种聚类方法是对已经给定的数据集执行分层分解,直到满足某些条件为止。既然是层次聚类,那么对于数据集就可以从“自下而上”以及“自上而下”两种途径来分解。比如在“自下向上”的方案中,初始状态时单独的数据组首先是由每一条数据集中的纪录单独地组成,然后将相互邻近的数据组不断迭代重新组合,直到将每一条数据记录集中所有的数据记录组成一个独立的分组或者达到某个特定条件,最后完成停止迭代的过程。

............................


2.2 文本向量化方法

文本数据的语义理解及表示是自然语言处理中的基础工作,文本语义理解的精度和准确度会直接影响到结果的精度和准确度。文本数据的向量化表示就是将文本信息转化成为一系列能够表达文本语义的向量,是文本语义表达的一种重要方式。文本数据的词向量化转换是当前阶段对文本向量化的一种主流方式。

Word2vec 是 Google 在 2013 年发布的一个开源词向量建模工具,Word2vec 使用的算法是 Bengio 等人在 2001 年提出的 Neural Network Language Model(NNLM)算法[16]。初期由于该算法两次变换的复杂性、模型参数多、收敛速度慢等局限性,度过了一段“沉寂期”,后来随着人工智能的不断发展,深度学习再次成为自然语言处理(NLP)领域的主流处理方法,Milolvo 团队对这一方法进行了优化,并将其实用化。优化后的方法具有简单、快速、高效、适合超大规模数据等优异特性,所以一经发布,就引起了业内的广泛关注,并且在多项应用中取得了非常好的成绩。

Word2vec 作为一款将词表征为实数值向量的高效工具,它的高效性主要依赖于它的模型,其采用的模型有 CBOW(Continuous Bag-Of-Words,连续的词袋模型)和Skip-Gram 两种,图 2-2 是 Word2vec 的神经网络结构,其结构包含了输入层、投影层、隐藏层和输出层[17-19]。Word2vec 文本向量化的基本方法是:首先抽取文本的特征词,接着将特征词向量化,然后将得到的各个特征词向量相加,最后得到的一个总和代表文本的向量化表示。

图 2-2 Word2vec 神经网络结构

............................


3 基于描述信息和 Specs 信息的相似 API 服务推荐方法.....................17

3.1 引言....................17

3.2 基于描述信息的 API 服务聚类.....................19

4 基于可信度和关注度的 API 服务可信推荐方法...........................31

4.1 引言.................................31

4.2 数据收集及预处理.........................33

5 总结与展望.................................45

5.1 本文主要贡献..........................45

5.2 下一步工作展望.......................45


4 基于可信度和关注度的 API 服务可信推荐方法


4.1 引言

随着移动互联网信息技术的飞速发展,API 服务发挥着日益重要的作用,并为各个领域的结合提供了简单高效的运用。伴随着 API 服务数量和种类的日益增多,具有相同功能但行为有差异的 API 服务数量也越来越多,这为用户在选择所需的 API 服务过程中带来了众多不便,因此如何为用户提供满足需求的可信 API 服务变的尤为重要。

目前,国内外学者针对可信 Web 服务展开了相关研究。文献[45]提出了