清宣统三年(1911年)津浦铁路浦口至徐州段通车后，津浦铁路南段总局于民国4年（1915年）在蚌埠设蚌埠药房。民国10年（1921年）在蚌埠药房的基础上，组建蚌埠医院。民国26年（1937年）10月，日本侵略军占领蚌埠后，蚌埠医院解散，成立华东铁路株式会社蚌埠诊疗所，民国34年（1945年）9月，日本投降后，改名为津浦区铁路管理局浦兖管理处徐州铁路医院蚌埠诊疗所，时有7人，民国36年（1947年）增至18人，房屋24间，使用面积290平方米。

　　1949年1月，蚌埠解放，同年4月，重新组建蚌埠铁路诊疗所。1949年12月21日，蚌埠铁路诊疗所与中国人民解放军华东警备司令部铁警四团卫生队合并成立蚌埠铁路医院，有职工35人，床位10张，房屋使用面积610平方米。1951年在蚌埠凤阳东路建成新住院部，同时在和平新村成立了分局卫生所，负责医院门诊工作。1952年卫生所迁至火车站东侧，1953年改名门诊部，同年6月迁至胜利路1579号（门诊部现址）。1963年住院部前后两排平房加盖成两层楼房；1975年建成四层病房大楼。1991年底在宏业村南首新建住院部，占地42966平方米，建筑面积15833平方米，并利用原住院部旧址部分房屋成立一所对外开放的蚌埠友谊医院，该院隶属于蚌埠铁路中心医院。1995年蚌埠铁路中心医院有职工687人，床位410张。2000年5月8日，医院挂牌非直属性“蚌埠医学院第二附属医院”。2003年开放床位510张。2004年经安徽省政府批准，蚌埠铁路分局中心医院整建制移交蚌埠医学院，更名为蚌埠医学院第二附属医院。2006年5月正式列入安徽省卫生事业单位管理序列。2008年编制床位550张，实际开放床位663张。2009年1月1日起纳入省级财政差额预算事业单位。