本文是一篇音乐论文，本文的研究是在视听转化方向上的一个初步的探索，系统的不少参数还需要不断的磨合和优化，才能达到更好的效果。
第二章 计算机作曲与视听联觉
一、 基于频谱的计算机作曲 vs 基于乐理的计算机作曲
根据作曲方法逻辑的不同，我个人认为计算机作曲可以大致可以分为两种类型：基于频谱的作曲以及基于乐理的作曲方式。基于乐理的作曲方式相对比较容易理解，也可以认为是基于传统记谱方法的作曲方式，整体的逻辑是建立在音高、时值、节奏等传统的音乐理论分析之上。
“无论作曲四要素（音高、节奏、和声、音色）还是乐音三要素（频率、振幅和频谱），均存在着辐射能量。通过对这些要素所发出的能量进行分析并作等量化处理后获得频谱(Frequency of Spectrum)；将频谱对应并转化为作曲进本元素后构成算法，再以这些算法作为主要技术性依据来进行音乐创作，便被称作‘频谱作曲’。”1基于频谱的作曲方式则采用了不同的切入点，通常以一段声音片段出发，在傅里叶分析的数理基础上，借助滤波器等一系列工具，对声音的波形文件进行相应的转换，以生成新的音响效果，从而达到作曲的目的。由于直接对声音的波形文件进行变化，结果可能产生一些传统记谱方式不太适合记谱的微分音和演奏效果，因此频谱作曲往往采用一些非传统的方式来进行记谱。也正是由于这样的原因，频谱作曲往往能够产生一些新颖的音响效果以及一些传统乐器无法实现的音色，在一定意义上开拓了作曲的边界。
二、 计算机作曲算法
不论是基于频谱的作曲还是基于乐理的作曲方式，目前常见的计算机作曲算法有以下几类：
（一） 马尔科夫链（Markov Chain）
本质上来说，马尔科夫链作曲是一种随机生成音乐的方式。首先，需要收集一定的乐曲样本进行分析，统计每个音高材料（单个音或和弦）出现后，下一个音高材料是什么以及出现的概率是多少，再根据这些概率随机产生一段音或和弦的序列。
以和弦作为音高材料为例：假设在样本乐曲中，出现了100次I级和弦，在这100次I级和弦出现之后，有37次出现了V级和弦，32次出现了IV级和弦，21次出现了I级和弦，10次出现了vi级和弦。在生成音乐时，如果当前和弦是I级，让计算机随机生成一个1-100之间的整数，如果这个数属于1~37的范围，则下一个和弦是V级和弦；若这个数属于38~69的范围，则下个和弦为IV级和弦；若属于70~90的范围，则下个和弦为I级和弦；若属于91~100之中，则下个和弦为vi级和弦。
在具体作曲的过程中，乐曲的第一个和弦随机生成，之后按照上述的方法，生成和弦序列，直至达到需要的长度。
马尔科夫链的逻辑虽然比较简单，但是它的提出为之后的许多算法提供了坚实的理论基础。马尔科夫链的方法具有一定的合理性，但是也有较大的局限性：它的基本思路是，系统下一个状态仅受到当前状态的影响，而与之前的状态无关。也就是说，如果运用在作曲中，下一个音乐材料是由当前的音乐材料来决定，并未考虑到之前的音乐序列的影响，忽略了非相邻的音之间的关系。而音乐作为时间的艺术，音高或和弦序列的组织方式是多种多样的，简单的运用马尔科夫链的方法使音乐缺少了很多应有的特性。
第三章 MIDI、MUSICXML与MUSIC21
一、 MIDI文件
MIDI(Musical Instrument Digital Interface)乐器数字接口，是当前最广泛使用的音乐标准格式。MIDI文件是一种描述性的“音乐语言”，它将所要演奏的乐曲信息用字节进行描述。在某一时刻，使用什么乐器/音色，以什么样的演奏力度开始演奏某个音符，在什么时刻这个音符结束等等。MIDI文件非常适合作为计算机作曲的媒介，可以非常直观而且简便的将算法转化为音高、时值、力度等因素。因此，本文的研究也是基于MIDI文件之上，通过算法生成MIDI文件，可以直接聆听音乐生成的效果，并转化为乐谱。针对于本文的研究项目，我自行开发简单的用于生成MIDI文件的包，因此对MIDI文件的格式进行了较为深入的了解，在此也对MIDI文件格式做一定的介绍。
MIDI文件采用二进制文件格式，分为文件头和内容两块。
（一） 文件头部分
文件的开头前14个字节是固定内容，为4d 54 68 64 00 00 00 06 ff ff nn nn dd dd(其中前4个字节其实是ASCII字符“MThd”)，随后的3个字节(ff ff nn nn dd dd)如何赋值如下表所示：
二、 MusicXML
随着计算机在音乐领域的运用越来越广泛，出现了不同的音乐格式文件，因此，需要能有一种音乐文件格式能够把不同的需求统一起来，适用于不同的应用场景，并实现不同文件格式之间的转换。例如，我们希望把某一个打谱软件生成的乐谱转化为适合另一个音乐播放软件播放的声音文件。MusicXML就提供了满足这样的需求的解决方案。
MusicXML是一种开放的、基于XML的文件格式，构建了一种针对音乐记谱的通用格式，该格式中所定义的音乐信息可以被绝大多数音乐软件(超过140种)识别和应用，包括记谱软件、音序软件、演奏软件、音乐教育软件，以及音乐数据库等。基于MusicXML文件格式，用户可以方便的进行电子乐谱信息交换与发布、进行分析、信息检索、排版布局，以及实现不同文件格式的转换。
第三章 MIDI、MUSICXML与MUSIC21........................12
一、 MIDI文件.............................12
二、 MusicXML......................................13
第四章 图像要素的提取方式................................20
一、 图像在计算机中的表现形式............................20
二、 颜色识别...................................21
第五章 视听转化作曲辅助系统的设计.......................26
一、 色彩与和声的对应....................26
二、 图像与音乐节奏的对应........................28
第六章 视听转化创作
一、 图像变换与音乐变换
1、 利用图像生成一个小节的音乐1
运行程序后，生成的乐谱如下：
谱例7-1：利用图像生成乐谱实例
第七章 结论
虽然视觉与听觉之间的联觉是一种不太常见的现象，但是研究表明，即使是不具有视听联觉能力的人，在聆听音乐时产生的一定的视觉上联想，与具有联觉能力的人在视觉上的感受具有一定的相似性。
在对图像要素与音乐要素的分析中，我们发现，图像要素与音乐要素之间能够形成一些具有理论支持的对应关系，例如：在HSV色彩360度空间6等分对应的6种常见颜色（红、黄、绿、蓝、青、紫），再加上白色，正好可以对应自然调式音阶中的七个音；三原色（红绿蓝）正好可以对应和声功能的主功能、属功能和下属功能三个组；而由三原色调制出的其他颜色又可以对应不同和声功能组之间具有功能重叠的部分；图像线条的纷扰程度对应着音乐节奏快慢的感觉；线条的强度对应着音乐演奏的力度……
因此，在通过对计算机图像处理的分析基础之上，我们建立了色彩、线条等视觉空间的要素与音乐空间的和声、音高、节奏、演奏力度等要素的映射关系，形成了一套视听转化的计算机辅助作曲系统，经过测试，该系统可以通过图像拉伸、翻转等变化来实现音乐上的一些作曲技巧；通过色彩的变化亦可以实现音乐和声的进行，达到了预期的效果。为音乐创作的多样性提供了更多的选择。
当前，无论是学术上还是实际应用中，音乐可视化领域已有不少研究和实践，但在将图像转化为音乐领域的研究相对较少。本文的研究在一定程度上填补了这个研究领域的空白。
本文的研究是在视听转化方向上的一个初步的探索，系统的不少参数还需要不断的磨合和优化，才能达到更好的效果。此外，目前仅考虑到和声、音高、节奏、演奏力度这些音乐因素，下一步的研究计划将探讨如何在视听转化的计算机辅助系统中实现作曲中的其他要素，例如音色、曲式等等。
参考文献（略）
