孙文终于回到了广东，委任胡汉民为广东省长，廖仲恺为财政厅长，而他本人则统领陆海两军，重整旧山河。表面上，赶走了陈炯明，又获得了一块地盘。但老百姓的太平日子，却望断桃源无寻处。孙文要实践在上海发的大宏愿，建立一个三民主义的革命政府，统一国家，拯黎民于水火，依然是海市蜃楼。事实上，这块地盘还不是完全属于他的。他所面临的困局，甚至比和陈炯明破裂前，还要复杂得多。本来，驱逐了陈炯明，是革命的一大胜利，但现实往往是“兴，百姓苦；亡，百姓苦”。

陈炯明的粤军占据着粤东大片地区，虎视眈眈。而广州城则被各怀鬼胎的滇桂联军霸占着，他们根本不把大元帅放在眼里，玩忽命令，坐地索饷，包烟包赌，无所不为。滇军第二师在西关，第三师在长堤和城内，第四师在佛山、石围塘，画地为牢，各开番摊、彩票、山铺票、白鸽票、字花、麻雀，招商承办，截留饷项。

当时的香港报纸写道：“草木皆兵之广州城，竟一旦尽变赌国，十色五光，应有尽有，已属绝对大观。且强占商店以做赌场，划分防地以截赌饷。赌国光复，灿烂极矣。”陈炯明治粤时代，赌博悬为厉禁，无人敢犯，现在斯人一去，赌禁大开，比禁赌前有过之而不及，香港报纸挖苦说：陈炯明是贼，但“贼”不肯、不忍开赌，而“讨贼”的人却大赌特赌，“真令吾侪小百姓欲哭无泪。”

不仅赌禁大开，烟禁也大开。灯馆开满城厢，街头巷尾，烟帜招摇。军队为了抢烟，经常在城里爆发枪战，子弹横飞，伤毙无辜。可怜的草民，既无处逃避，也无可申冤。军队强拉夫役、杂赌公开、鸦片公卖，甚至在光天化日之下，当街杀人、掳人勒赎的事情，竟然无日无之。广州市民岂止侧目而视，简直是目眦尽裂了。然而，尽管孙文把父老乡亲都得罪了，但军队却并不领他的情。北京政府任命沈鸿英督理广东军务，沈鸿英便立即翻脸，在广州发动叛乱，向孙文宣战。

孙文压抑不住怨气，斥责这些军人：“你们都是戴着我的帽子，来蹂躏我的家乡！我是革命党人，牺牲是不惜的，如果于国家有益，我就约同广东的父老兄弟一齐牺牲，也都是愿意的。可惜你们把我的家乡这样蹂躏，而于国事是毫无益处的，那我就不能再和各位一块办事，不得不和你们离开，我要回香山山去了！”

这些胡作非为的军队，没有一个是真心服膺孙文的，虽然他们都是孙文真金白银请回来的，但请神容易送神难，事到如今，这个黑锅他不想背也得背。孙文面对军队时，斥责他们蹂躏广东，但面对广东百姓时，又为军队开赌辩解：是因为广东人不肯“稍尽地主之责任”，出钱供养这十几万的大军，致使军队伙食无着，“为一时权宜计，藉赌饷以挹注目前。若军饷有着，则禁赌易如反掌。” 这样的解释，显然不能让广东人释怀。这些土匪军队并不是广东人召回来的，谁说广东人有供养他们的“责任”呢？

孙文向港商借钱时，承诺以全省税收为抵押，但现在所有征入机关，一切税收，悉入联军口袋；东江税收则归粤军所有。廖仲恺早年在日本留学是学经济的，但他也不懂得怎么才能无中生有，变钱出来。在这么一块面积不大的小地盘里，罗掘俱穷，来源断绝，不能兑现承诺，港商怨声载道，孙文也无如之何，他纵然有心革命，也难为无米之炊。报纸甚至哄传孙文将以海南岛为抵押，向日本借款，引起舆论大哗。孙文不得不出面否认。