揚子飯店為磚木結構的建築，占地面積3000平方米，建築面積2429平方米，地上三層，地下壹層，面闊34米，進深28米，總計82間。整幢建築以明代城墻磚為主要建築材料，並按照西洋圓拱發券方式砌築。建築造型為法國17至18世紀式樣，外觀雄偉樸實，內部豪華氣派。該建築坐北朝南，木樓梯，木地板，木屋架，其方底臺式屋頂及高低錯落的老虎窗頗具西洋風味。