1存在问题与质量评价度量模型
由于种种原因,论文质量的分析和实际评审工作存在着质量要素空泛、无法真实、直接、客观地度量,最终无法做到实事求是地评价等问题[1][2][3]。例如:有关评估方案中规定的选题要求是:论文选题来自于企业实践,工程背景明确,应用性强。而论文质量标准要求是:技术先进,有一定难度;内容充实,工作量饱满;综合运用基础理论、专业知识与科学方法;格式规范,条理清楚,表达准确;社会评价好等。但现实的论文评审操作则明显存在以下问题:
(1)质量要素的选择过于简单、抽象层次太高。因而难于细致、客观、真实和准确地反映被检查对象的实际情况;
(2)对相关质量要素的度量和评价,缺乏直接、真实、仅根据客观的、标志性的交付物成果、里程碑事件为度量和评价依据的质量要素度量与评价方法,使本已高度抽象化的评价,更带有人为评判的色彩;
(3)所有的度量和评价是定性的,当从定性评价,转化为定量成绩的时候,从定性到定量的转换标准设置,缺少科学性和原理依据。
作者认为,产生上述问题的根本原因有两个。一是标准的制定者受传统学术观点的局限,担心制定详细、确定的评审标准,将限制论文作者的研究和表达,导致“论文八股”的出现。另一个原因,则是标准制定者对工程硕士论文(包括论文阶段的学习、研究过程)应该做什么?应该怎么做?最终的目标应该是什么?怎样才能检验硕士研究生是否达到了的既定目标等很难确切把握。导致本质上对论文质量目标的不明确、不清晰,因而无法制定具体的检查标准。
为了克服上述问题,针对软件工程硕士毕业论文这一特定对象,本研究首先建立如下的论文质量标准与评价度量体系模型:(1)论文质量的一级属性:论文的分类和性质界定;(2)论文质量的二级属性:论文必须包括的四个基本构成部分;(3)论文质量的三级属性:论文基本构成部分的质量度量要素;(4)论文质量的四级属性:论文质量度量要素的度量方法,包括定性度量转换为定量评价的加权因素设计,即量化成绩。
图1为论文质量标准与评价度量体系的模型。
2对论文性质的界定
为了准确地把握软件工程硕士毕业论文的质量,明确论文质量标准,我们根据软件工程硕士研究生培养目标和专业要求,结合软件学院实际情况,不失一般性地将软件工程硕士研究生毕业论文的类型,界定为软件技术研究与软件工程项目二类。
界定的原则依据是2003年科技部、教育部等五部委《关于改进科学技术评价工作的决定》中,将科学技术评价工作明确分类,区别不同评价对象,明确各类评价目标,采用不同的评价标准,以求能够客观、真实、准确地反映不同评价对象实际情况的原则精神。
界定的基本出发点是区分论文性质,并分别制定相应的评审标准。本研究的重点是软件工程项目类论文。本研究对软件工程项目类论文的定义是:目标:在企业实习过程中,参与企业软件工程项目,研究并解决特定问题域的问题;技术与方法:学习、研究、选择、运用,并有所拓展下列(同时)技术与工程知识与方法:技术知识:计算机软件(或软硬结合、以软件为主,但必须包含软件工程)的最新技术、方法、手段、工具;工程管理:在软件工程的生命周期模型(不要求特定模型)及软件过程关键环节中,采用软件过程管理、项目管理、配置管理、质量管理(不要求全部)的技术方法;按软件工程规范,独立完成了一个软件制品研发的完整过程,其结果对相关业务领域内的问题解决,具有一定的意义和价值;以技术和项目成果、项目实现过程报告的形式,形成的硕士论文。
3对论文内容的要求
根据论文性质的界定定义,工程项目类毕业论文,本质上是一个项目(或项目阶段)的技术与项目报告。因此,论文内容应完整呈现以下四方面的能力:
(1)专业知识:通过项目研究的背景、问题与目标描述,考察学生对所在行业领域业务知识和领域关键问题了解的广度与深度,即考察论文课题的专业水平。
(2)技术水准:通过项目技术方案分析,考察学生在特定问题下,对解决问题所涉及的技术方法、工具和手段,解决领域关键问题的状态与发展水平的评价与了解。
(3)实现能力:通过项目关键技术的实现过程,考察学生解决关键技术问题的具体能力和达到的水平。
(4)过程能力:通过项目过程报告,考察学生以关键技术解决方案的实现为基础、组织实施软件工程项目的过程管理和控制能力。
4质量要素及其度量方法
根据论文内容的四个方面要求,我们设定了四个方面、20个质量度量要素(表1),每个要素各分为6个等级(0~5分),供论文评审时,进行判断评价。表中各要素的分级评价标准见附录。
5量化成绩的加权因素
根据附录的方法,将论文按内容规范要求及质量度量要素,采用定性分析的方法,获得对每个度量要素的评价(加权前得分)。并依据加权方法,将其转化为定量的论文成绩。加权比例指向为:要求论文更侧重于关键技术实现和软件工程过程,兼顾领域与技术背景。
因此,根据专业性质、学生基础学习和实习项目的具体情况,论文四个构成部分的成绩加权因子分别为:10%、20%、30%和40%。加权计算公式是:加权后得分=加权前得分*加权因子*4。
6质量度量实施的若干问题探讨
标准只是一个杠杆,由于论文质量是研究生教育产品的出口质量,因此,最终产品质量的口一收紧,产品生产过程的问题就必然地暴露出来了。
(1) 生源的质量问题
根据对本院(其他院校情况应基本类似)往届新生(含单/双证生)入学前基本状况的考察和分析发现,入学研究生基本上可以划分为三类:计算机及软件相关专业(元教育本专业)应届保研或考入的本科生;元教育非本专业或虽是本专业,但不在相关专业行业企业、基本没有软件开发项目经历(经历非专业)的学生;本专业毕业并一直从事软件开发、具有软件工程项目经验的在职生。根据若干届学生情况的初步统计,在各届学生中,第一类约占40%,第二类占30%~40%,而第三类只占20%左右。随着招生规模的扩大,第二类学生(元教育或经历非专业)的比例有扩大的趋势。
软件工程是计算机技术与工程实践、过程管理相结合的学科。学科特点决定了它与传统计算机科学与技术系在培养方向上的不同。因此,现有的软件工程硕士研究生教育,本质上不适合第一、第二类学生。因为这二类学生没有实际软件项目开发的经验,而学校几乎不可能在研究生学习的一年期间,提供这样的经验和机会。
面对生源的实际情况,不论学生在校课程教育的效果如何,要使前二类学生达到本标准设定的质量目标,是非常困难的。标准和目标的明确化,现实地凸显出软件工程硕士研究生培养,从源头开始的困惑。
本研究成果在招生阶段希望达到的贡献是:在研究生入学考试时,除统一笔试以外的综合能力测试及面试中,对考生基础能力的特别考察和筛选,提供了内容和要求的来源与依据。
由于培养目标和质量要求的明确化,虽然不能从根本上改变目前学生入学考试、面试方面已经形成的局面,包括因各种因素导致的扩大招生规模等问题,但至少通过对入学学生的深入了解和甄别筛选,为入校后的培养,提供了一定的参考。
筛选的目的,是可以根据入学学生的实际情况,区别对待,因材施教。把优质教育资源放在最具培养基础和培养潜质的学生(第三类)身上。而对第一类学生,本质上是本科教育的延续和深化,对第二类学生,则根据其自身的条件和需要、目标(例如:应用管理等),开辟合适的课程。这样的多元化、个性化的教育设计,既能集中优势资源,又可以改变大一统的、千篇一律的教学模式,真正从源头上,改进教学效果。
(2) 课程教学和企业实习的质量问题
如果以研究生培养作为一个产品生产过程来考察的话,入学状态、课程教育、企业实习是研究生培养的三个加工工序过程。搞清楚每个生产环节对上道工序生产成果的质量要求、度量要素和考查指标,清楚本工序结束、产品下线、交给下一工序前应达到的质量要求、度量要素和考查指标,针对质量要求和指标,设计、组织、控制和管理生产过程,从过去粗放式的生产方式,改变为有目标、有计划、有组织、可检查、可控制和可预测管理的生产过程,是本研究在教学组织阶段希望达到的贡献。
在上述质量目标下,软件工程研究生的培养,按课程教育、企业实习两个阶段,统一规划,分段实施。每个阶段的目标是明确和具体的。
以课程组织为例,由于作为最后产品成果的论文内容和要求已经明确:必须以解决行业业务背景下的实际问题为目标,以先进的技术手段和方法为工具,以软件工程阶段的控制与管理为过程,进行论文撰写。因此,从业务知识、技术方法、软件工程三个方面,形成一个整体。课程设计和企业实习,必须围绕这三个方面展开。如果在研究生阶段的课程,不能使学生对本科阶段及在工作实践中获得的知识,能有所进一步的综合、提升、拓展和再补充、再挖掘。而是什么热门开什么,有什么老师开什么的话;企业实习仅仅是充当廉价的劳动力,不能真正参与项目开发的话,学生将不能按论文质量要求,学到相应的知识,完成规定的论文。这是课程学习和企业实习阶段向论文阶段移交的工作成果要求。
(3) 师资的质量问题
在论文质量要求下,课程改革、直到论文评审的最突出问题是师资问题。符合这样要求的教师,在教育体制改革滞后的情况下,将是一个近乎无法解决的难题。就目前阶段而言,只能靠增加培训、外聘、请社会的培训机构和国际合作的方式解决。好在需求已经提出来了,满足需求的路就会好走一点。
(4) 综合管理的质量问题
软件工程硕士的培养过程,是一个系统工程,更是一个综合管理的问题。招生、课程设置、企业实习、论文指导等,都需要整体的设计,包括“课程打通、实践连接”等,各环节环环相扣,形成综合的“合力”。谈到教育管理,高校在这方面,还有很多的学费要交,还有很长的路要走。本研究只提出问题,在这方面就不多谈了。
7总结