据记载上的泰上天国保证后勤保障最为主要的是民间“进贡”和“打先锋”所得。二者都是泰上军为解决军队给养问题，而向民间征调物资的方式，但前者较为自愿，后者则带有强制性。所谓进贡，指泰上军初到一地，受到当地群众热烈欢迎和慰问，主动奉献财物、粮食。在由广西向金陵进军途中，泰上军往往派出一支轻装的先遣部队，预先在宿营地张贴布告，设立收贡馆，动员群众接济泰上军粮饷。“进贡”在起义之初尚带有较多的自发、自愿性质，但之后强制成分越来越重。

而“打先锋”则类似后来的“打土豪’，即用强制方式向地主、富豪科派。其做法是每至一村一庄，事先觅得该村庄的贫民或富豪家的佣仆，摸清富户底细后逐户搜罗，普通地主富豪一般是饬令其交出部分银钱粮米，对于东胡官僚的财产则全部抄没，粮米钱贯，殊不易藏，每尽数劫去。虽瓦沟所藏之金，水塘所沉之银，亦无有免者。但这种方式演变到后期，无论对泰上军的内部纪律还是外部形象，都是一种极大损害。

在物资十分匮乏的情况下，这种战时供给制毕竟保障了泰上军全体成员的最低生活必需，即使到后期，泰上军的圣库制度仍勉力维持，泰上军仍严格执行着官兵一致的原则，全军实行供给制，基本标准上至天王洪贵全，下至普通士兵，差别并不大。当然，绝对平等是不可能的。

武汉三镇攻克后，水陆两军分别肃清了附件的敌人，巡抚常大淳见到大势已去，为保全自己的荣华富贵，带领了没有跑掉的东胡军官员投降。胡彦泰交给了部下处理这些东胡官员投降的事宜，自己吩咐下面的兵勇占据了武昌城内的府库，又分兵一处占据武汉的船厂。早有苏功源给他的武汉恶霸的名单，下令下去一一进行清理，没收财产进行充公。在短短的三日武汉城内的地痞流氓、恶霸、黑心的地主等被胡彦泰肃清，平常百姓、商户、小贩等不占一分一毫。还从自己的军粮中拿出一部分分发给穷苦百姓，梁正章进入城后，胡彦泰便将这安抚民众的事情交给了他，一时间百姓拍手叫好。

东胡军提督向荣，自从长沙兵败后带着自己的干儿子张国梁、总兵和春、秦定三等人收拢了败兵，有两万五千人，向北逃去。期间闻得泰上军主力尽出长沙北上，又率兵偷袭长沙，本指望夺回长沙，也算是大功一件。泰上军此时洪贵全、杨连清一干人等都在长沙，虽然泰上军分兵一处北上，但是在长沙附近的泰上军也有两万余人。

有探子报一支上万人的清妖部队，从北面开来，要进攻长沙。杨连清将长沙一带的泰上军进行收拢，集结重兵摆在长沙外围。泰上军占据长沙有一月有余，期间攻占了长沙附近的县府集镇也不在少数，但是占据时间较短，并没有形成稳固的政权，这也是向荣部为什么赶来袭击长沙的原因。不过这次他却是踢在了铁板之上。

向荣驱兵在长沙外围与固守长沙的泰上军打了一仗，见到长沙不可得，心中暗想，在长沙城下若是时间一久，必然会受到北面的泰上军与长沙的泰上军里外夹击，到时候自己手下这点兵力必然不是对手。想通以后，率领大军绕过长沙东去，一边向京师奏捷报。

东胡咸封皇帝看到奏折后冷冷一笑，明明是被发贼击败落荒而逃，你向荣还称歼灭数千长毛贼，真是恬不知耻。但是后面想了想还是需要用向荣与长毛作战，下旨任命向荣为钦差大臣办理围剿长毛事宜。

又有武汉方面的奏报，得知长毛北上要攻打武汉，咸封知道武汉乃是长江水道重镇，贯通东西南北。下旨向荣部奔赴救援武汉，另外调骆秉章再任湖南巡抚，徐广晋为两湖总督，督办两湖事宜。

向荣得到了圣旨后，自己带领了两万五千兵马，迤逦赶到武汉，闻得不到一日江北的汉阳府便落入泰上军手中，便知道这个武汉守不住了，为了保全自己手中这两三万人马，便上奏，自己率军日夜兼程赶到武汉，已经得知泰上军已经围困住了武昌城，为了救援武昌城，他率军攻打泰上军的洪山要塞，本指望武昌城内的东胡军能够派出主力出城配合他夹击武昌城东郊的泰上军营垒，奈何苦战一日未看到城内的东胡军出城。在洪山大营看到武昌城内火光冲天，便知道这武昌城守不住了，随即带领大军往东奔去。

向荣从一个从一品的提督，被革职、又被启用、又被革职、又被启用，如今心里面凉了大半，不求有功，但求无过。保存自己手里面的势力才是最重要的。得知武汉落入泰上军手里面后，他隔岸观火，不急不躁，反而内心狂喜，想想自己血染沙场，却屡次被革职，如今长毛进入了武汉也让你们这些封疆大员尝一尝长毛的厉害，省的朝廷老是说他没有用。当即下令远远的朝着武昌城放了几下枪炮，以视为与长毛恶战，又上书京师，长毛势大已经聚集几十万人马，臣手中兵力单薄无法与之抗衡云云。