还有一个附带的收获，江安义把大北田沟香雪居的图样拿出来请教工部来的几名大匠，几名大匠在收到两千两的酬劳后尽心尽力，把香雪居的构造重新设计了一番。大师出手就是不凡，重新修改过的设计图比起原来的多了几分精巧灵动，巧妙地把山水意境融入园林之中，光看图纸都让人赏心悦目。磨刀不忘砍柴功，香雪居的工程虽然被延误，但失之东隅收之桑榆，江安义对杨祥亮的不满淡了许多。
江安义能放下执念不代表其他人也能看淡看清，杨怀忠在大营新址驻扎后能清晰地感受到军镇监作司上下散发出的怨气，父帅有意在木材上刁难江刺史，不料反被江安义用自家的木料化解，而被殃及的军镇监作司却把这笔账算在了父帅身上，说不定以后生出什么事端来。
杨怀忠把江安义兄弟施妙计退敌兵、大营新址建设进度以及监作司滋生的怨气详详细细地写在信中，派人送给父帅杨祥亮。杨祥亮接到儿子的信后沉默良久，然后对站在身后的长子杨怀武道：“你给怀忠写封信，告诉他后到的两万援军也到新营驻扎，让他酌情安排这四万兵丁参与到军镇建设，缓和与化州府衙和军镇监作司之间的关系。”