《乐记》的核心内容是系统地论述了儒家的礼乐思想，全书有五篇将礼、乐并列加以论述。如“王者功成做作乐，治定制礼。”“乐者为同，礼者为异。”“乐统同，礼辨异。”“乐也者，情之不可变者也；礼也者，礼之不可易者也。”等等，对“礼”和“乐”的社会功能与作用及其相互关系第一次进行了全面而系统的理论总结，这是论述周代社会礼乐文化体系最具价值的灿烂篇章。
《乐记》对于音乐本质的解释，具有相当的深度。认为“凡音者，生人心者也。情动于中，故形于声；声成文，谓之音。”它肯定音乐是表达情感的艺术，又是声音的艺术，有着一种朴素的唯物主义观点的认识。
《乐记》强调音乐反映了国家的政治状况与社会风气，所谓“审乐以知政”：“是故治世之音安以乐，其政和；乱世之音怨以怒，其政乖；亡国之音哀以思，其民困。声音之道，与政通矣！”强调了音乐与政治、音乐与社会的密切关系，符合于当时巩固新兴封建统治阶级政权的时代要求。
《乐记》认为音乐是治理国家不可缺少的手段，所谓“先王立乐之方”，即“乐在宗庙之中，君臣上下同听之，则莫不和敬；在族长乡里之中，长幼同听之，则莫不和顺；在闺门之内，父子兄弟同听之，则莫不和亲。”提出“乐者，天地之和也。”的哲学主张，把音乐的谐和看作是宇宙万物谐和规律的体现。并将音乐与道德、法律、政治同等看待，“礼乐刑政，四达而不桲”，对音乐在国家上层建筑中所起的作用，给予了高度重视。
《乐记》还非常强调音乐的伦理教育作用，认为“是故先王之制礼乐也，非以极口腹耳目之欲也，将以教民平好恶，而返人道之正。”指出音乐必须接受政治、伦理道德的制约。
《乐记》对音乐美感的认识也有一定的深度。它反复强调“夫乐者，乐也，人情之所不能免也。”认为音乐应该使人产生愉悦的感受，是人类生活所不可缺少的。而且要运用音乐的美感来达到感染人、教育人的目的，所谓“足以感动人之善心而已矣。”对音乐以情感人的特点书中有不少阐述。但是，《乐记》对音乐审美观念的认识是以雅乐为最高标准的，有着明显的时代局限性。
关于在《乐记》的作者和成书年代，历来存在分歧。郭沫若认为是战国初期相传是孔子的再传弟子公孙尼子所作。更多学者以为此书出于汉儒之手。其中又有汉武帝时代的河间献王刘德（“河间献王好儒，与毛生等共采《周官》及诸子言乐事者以作《乐记》。”）一说和汉代刘向、刘歆父子校先秦古籍所得（“刘向校书，得《乐记》二十三篇。”）一说。二说均源于班固得《汉书•艺文志》。目前学术界多数赞同这样的观点：《乐记》成书于西汉，但其思想资料来源于先秦诸子言乐事者。
《乐记》这部理论著作两千多年来对于我国古代音乐的发展有着深刻影响，是我国音乐文化宝库中的一份珍贵遗产。