"อ่างศิลา" เดิมนั้นคนพื้นที่เรียกกันว่า "อ่างหิน" ในสมัยรัชกาลที่ 3 ชาวตะวันตกและคนบางกอกมาพักตากอากาศกันมาก
ชื่ออ่างหินก็เริ่มเปลี่ยนแปลงให้ดูเป็นสากลมากขึ้น
เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวเสด็จประพาส จังหวัดชลบุรี ได้ประทับแรมที่อ่างศิลา
โดยมีพระราชหัตถเลขา ลงวันที่ 9 มกราคม พ.ศ. 2419 พรรณา "อ่างศิลา" ตอนหนึ่งว่า

"...เีรียกชื่อว่าอ่างศิลานั้น เพราะมีแผ่นดินสูงเป็นลูกเนิน มีศิลาก้อนใหญ่ๆ เป็นหินดาด และเป็นสระยาวรีอยู่ 2 แห่ง
แห่งหนึ่งลึก 7 ศอก กว้าง 7 ศอก ยาว 10 วา แห่งหนึ่งลึก 6 ศอก กว้าง 1 วา 2 ศอก ยาว 7 วา เป็นที่ขังน้ำฝน น้ำฝนไม่รั่วซึมไปได้
ท่านเจ้าพระยาทิพากรวงษ์มหาโกษาธิบดี เห็นว่าเป็นประโยชน์กับคนทั้งปวง จึงให้หลวงฤทธิ์ศักดิ์ชลเขตร ปลัดเมืองชลบุรี
เป็นนายงานก่อสร้างปากบ่อกั้นน้ำ มิให้น้ำที่โสโครกไหลกลับลงไปในบ่อได้ ราษฎร ชาวบ้านและชาวเรือไปมาได้อาศัยน้ำฝนในอ่างศิลานั้น
บางปีถ้าฝนตกมาก ถ้าใช้น้ำแต่ลำพังชาวบ้านก็ได้ใช้น้ำทั้งสองแห่งและบ่ออื่นๆ บ้างพอตลอดปีไปได้
บางปีฝนน้อย ราษฎร์ได้อาศัยใช้แต่เพียง 5 เดือน 6 เดือน ก็พอหมดน้ำในอ่างศิลา
แต่น้ำในบ่อแห่งอื่นๆ ที่ราษฎร์ขุดขังน้ำฝนไว้ใช้นั้น มีอยู่หลายแห่งหลายตำบล ถึงน้ำในอ่างศิลา สองตำบลนี้แห่งไปหมดแล้ว
ราษฎรก็ใช้น้ำบ่อแห่งอื่นๆ ได้ จึงได้เรียกว่า "บ้านอ่างศิลา" มาจนถึงทุกวันนี้"

เป็นอาคารสถาปัตยกรรมรูปทรงที่เรียกกันว่า "อิทธิพลทางตะวันตกแบบเมืองขึ้น"
ตึกทั้งสองหลังนี้สมเด็จพระศรีพัชรินทราบรมราชินีนาถ ในรัชกาลที่ 5 โปรดเกล้าฯ ให้บูรณปฎิสังขรณ์
ในระหว่างที่ทรงสำเร็จราชการแทนพระองค์ ซึ่งเสด็จประพาสยุโรป
พระราชทานนามตึกหลังใหญ่ว่า "ตึกมหาราช" ตึกหลังเล็กว่า "ตึกราชินี" ให้เป็น อโรคยาสถานสืบมา