1917年7月，孙中山率领部分海军南下，在广州召开国会非常会议，建立中华民国军政府，开展护法运动。1918年5月，由于受盘踞在广东的桂系军阀及政学系的破坏和干扰，孙中山辞海陆军大元帅职离开广州，护法运动以失败而告终。1923年2月孙中山重返广州，建立陆海军大元帅大本营。大本营成立初期先后平定了沈鸿英叛乱和东江叛乱，进一步巩固了广东革命根据地。这一时期孙中山的思想和政策发生了重大转变，在共产国际和中国共产党的帮助下，改组国民党、实现国共合作、开展国民革命。1924年11月孙中山应邀北上商谈国是，于次年3月12日在北京病逝。1925年7月1日,中华民国国民政府在广州正式成立，大本营完成了它的历史使命。
孙中山逝世后，这里又作为国父文化教育馆两广分馆、国父纪念馆等。广州解放后，该处先后成为部队和省有关部门的办公用房，1964-1998年成为广东省农业机械供应公司办公、居住用房。1998年10月，大元帅府旧址被移交给广州市文物管理部门，筹建孙中山大元帅府纪念馆。