ตึกเจ้าพระยาอภัยภูเบศร สร้างขึ้นในปี พ.ศ.2452 โดยท่านเจ้าพระยาอภัยภูเบศร (ชุ่ม อภัยวงศ์) ก่อสร้างตามแบบสถาปัตยกรรมยุคบาโรก (Baroque) ของยุโรป เพื่อใช้เป็นที่ประทับแรมของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว หากเสด็จมณฑลปราจีนบุรีแต่รัชกาลที่ 5 แต่ทรงสวรคตเสียก่อน จากนั้นตึกหลังนี้จึงใช้เป็นที่ประทับแรมของพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว รวมทั้งพระบรมวงศานุวงศ์อีกหลายพระองค์ เมื่อครั้งเสด็จมณฑลปราจีนบุรี โดยที่ท่านเจ้าของตึกไม่เคยใช้ตึกหลังนี้เป็นที่พำนักส่วนตัวเลยตราบจนสิ้นอายุขัย หลังจากเจ้าพระยาอภัยภูเบศรอสัญกรรม ตึกหลังนี้ตกเป็นของตระกูลอภัยวงศ์ และได้ถวายกรรมสิทธิ์ในตึกตลอดจนที่ดินรอบบริเวณให้กับพระนางเจ้าสุวัทนาฯ ซึ่งเมื่อพระองค์เสด็จตามเจ้าฟ้าเพชรรัตนราชสุดาพระราชธิดาไปประทับที่ประเทศอังกฤษ จึงประทานที่ดินและสิ่งปลูกสร้างทั้งหมดแก่มณฑลทหารบกที่ 2 จังหวัดปราจีนบุรี เพื่อใช้เป็นสถานพยาบาลสำหรับทหารและประชาชนทั่วไป และต่อมาได้โอนมาเป็นของกรมสาธารณสุข จัดตั้งเป็นโรงพยาบาลปราจีนบุรี และได้เปลี่ยนชื่อเป็น โรงพยาบาลเจ้าพระยาอภัยภูเบศร ตึกเจ้าพระยาอภัยภูเบศรนั้น เดิมเป็นตึกอำนวยการ มีการดัดแปลงชั้นล่างเป็นห้องตรวจโรค ห้องจำหน่ายยา และห้องผ่าตัด ชั้นบนทำหน้าที่รับคนไข้หญิง โดยตึกได้ถูกใช้งานเป็นโรงพยาบาลจนถึงปี พ.ศ.2512 เมื่ออาคารตึกอำนวยการหลังปัจจุบันได้ก่อสร้างเสร็จ โรงพยาบาลจึงใช้ตึกเจ้าพระยาอภัยภูเบศรในการประชุมสัมมนาในบางกรณี จนกระทั่งปี พ.ศ.2533 กรมศิลปากร ได้ประกาศขึ้นทะเบียนตึกเจ้าพระยาอภัยภูเบศรเป็นโบราณสถาน และได้รับรางวัลสถาปัตยกรรมดีเด่นประเภทอาคาร จากสมเด็จพระเทพรัตนราชสุดาสยามบรมราชกุมารี พ.ศ.2537 โรงพยาบาลจึงจัดทำโครงการพิพิธภัณฑ์การแพทย์แผนไทย เพื่อให้เป็นแหล่งการศึกษา ค้นคว้า อ้างอิงรวบรวมการอนุรักษ์ตำรายาไทย การแพทย์ไทย การแพทย์พื้นบ้านของจังหวัดปราจีนบุรี รวมทั้งมีการดำเนินการเผยแพร่ความรู้ดังกล่าวให้กว้างขวางยิ่งขึ้น โดยได้รับการสนับสนุนจากนายแพทย์ไพโรจน์ นิงสานนท์ อดีตรัฐมนตรีว่าการกระทรวงสาธารณสุข ให้มีการจัดตั้งมูลนิธิหมื่นชำนาญแพทยา(พลอย แพทยานนท์) และได้ดำเนินการจัดส่วนแสดงนิทรรศการถาวร ประกอบด้วย 1. ห้องแนะนำการแพทย์แผนไทยอภัยภูเบศร 2. ห้องประวัติศาสตร์ 3. ห้องท้องพระโรง 4. ห้องการแพทย์แผนไทยและสมุนไพร 5. ห้องปูมเมืองปราจีนบุรี 6. ห้องไม้