该楼始建于清光绪十五年(公元1889年),是为纪念唐、宋朝时期贬谪到海南的五位著名历史人物:唐朝名相李德裕、宋朝名相李纲、李光、赵鼎、名臣胡诠而建的,故名五公祠。还有其他一些对不平等的点头,主要是来自政治家自己。