耒阳市图书馆座落在耒阳市蔡子湖畔，1958年10月建馆，是湖南省较早组建的县级公共图书馆之一。

耒阳市图书馆设有成人借书、少儿借阅、综合阅览、科技阅览、资料、采编、办公等处室，为了方便读者，热忱为读者服务，馆内采取工作人员轮休的办法，坚持各处、室大天对读者开放。

耒阳市图书馆现有藏书85000册，实用的普及性综合书占藏书的 64％，少儿读物占10％，有关专业性藏书占8％，古籍文献、地方史志资料占2％，综合性工具书占5％，毛泽东及老一辈革命家著作占1％。

耒阳市图书馆现有工作人员16人（其中退休4人），在岗人员中，大专以上文化6人，中专及高中文化6人；获得中级技术职称2人，初级技术职称9人。

为了发展耒阳市图书事业，中共耒阳市委、市人民政府近几年来根据市财政情况每年都解决了市图书馆购书经费2—3万元，此外，还把建设“万册书库工程”列入耒阳市精神文明建设的重要内容，1993年以来，通过开展“捐图书，献爱心”活动，帮助乡镇建万册图书馆7个，2000册以上村级图书室48个，在省、衡阳市乡镇图书馆（室）评比竞赛中，耒阳市小水镇万册图书馆1998年评为省优秀乡镇图书馆，夏塘镇、水东江办事处、南京乡万册图书馆于1997—1998年被衡阳市授予“十优”万册图书馆。

耒阳市图书馆1982年在全国、省、地区举办的“红领巾读书活动”中，被评为全国先进单位，1996年获省文化厅为两个文明建设服务成果三等奖，1994年被评为国家二级图书馆。