声音是人类最早研究的物理现象之一。世界上最早的声学研究工作主要在音乐方面。《吕氏春秋》记载，黄帝令伶伦取竹作律，增损长短成十二律；伏羲作琴，三分损益成十三音。三分损益法就是把管(笛、箫)加长三分之一或减短三分之一，这样听起来都很和谐，这是最早的声学定律。传说在古希腊时代，毕达哥拉斯也提出了相似的自然律，只不过是用弦作基础。
古代对声本质的认识与今天的声学理论很接近。在东西方，都认为声音是由物体运动产生的，在空气中以某种方式传到人耳，引起人的听觉。对声学的系统研究是从17世纪初伽利略研究单摆周期和物体振动开始的。从那时起直到19世纪，几乎同时代所有杰出的物理学家和数学家都对研究物体的振动和声的产生原理作过贡献。
声的传播问题很早就受到了注意，早在2000年前，中国和西方就都有人把声的传播与水面波纹相类比。1635年就有人用远地枪声测声速，以后方法又不断改进。1738年，巴黎科学院的科学家利用炮声进行测量，得到0℃时空气声速为332m/s。1827年瑞士物理学家丹尼尔和法国数学家斯特姆在日内瓦湖进行实验，得到声在水中的传播速度是1435m/s,这在当时“声学仪器”只有停表和人耳的情况下，是非常了不起的成绩。
人耳能听到的最低声强约为10-12W/m2,在1000Hz时相应的空气质点振动位移约是10-11m，可见人耳对声的接收本领确实惊人。19世纪中就有不少人耳解剖的工作和对人耳功能的探讨，1843年发现著名的电路定律的欧姆提出，人耳可把复杂的声音分解成谐波分量，并按分音大小判断音色的理论。在欧姆声学理论的启发下，人们开展了听觉的声学研究(以后称为生理声学和心理声学)，并取得了重要的成果，其中最有名的是亥姆霍兹的《音的感知》。至今完整的听觉理论还未能形成，目前人们对声刺激通过听觉器官、神经系统到达大脑皮层的过程有所了解，但这过程以后大脑皮层如何进行分析、处理、判断还有待进一步研究。在语言和听觉范围内,理论的研究已导致了很多医疗设备的产生，如装在耳道内的助听器、人工喉、语言合成器、人工耳蜗等。
在封闭空间(如房间、教室、礼堂、剧院等)里面听语言、音乐，效果有的很好，有的很不好，这引起今天所谓建筑声学或室内音质的研究。但直到1900年赛宾得到他的混响公式，才使建筑声学成为真正的科学。
1877年，瑞利出版了两卷《声学原理》，书中集19世纪及以前两三百年的大量声学研究成果之大成，开创了现代声学的先河。至今，特别是在理论分析工作中，还常引用这两卷巨著。他开始讨论的电话理论，目前已发展为电声学。
20世纪，由于电子学的发展，使用电声换能器和电子仪器设备，可以产生接收和利用任何频率、任何波形、几乎任何强度的声波，已使声学研究的范围远非昔日可比。现代声学中最初发展的分支就是建筑声学和电声学以及相应的电声测量。以后，随着频率范围的扩展，又发展了超声学和次声学；由于手段的改善，进一步研究听觉，发展了生理声学和心理声学；由于对语言和通信广播的研究，发展了语言声学。
在第二次世界大战中，开始把超声广泛地用到水下探测，促使水声学得到很大的发展。20世纪初以来，特别是20世纪50年代以来，全世界由于工业、交通等事业的巨大发展，出现了噪声环境污染问题，而促进了噪声、噪声控制、机械振动和冲击研究的发展。高速大功率机械应用日益广泛，非线性声学受到普遍重视。此外还有音乐声学、生物声学。多个分支学科的发展逐渐形成了完整的现代声学体系。
