张其锽成为吴佩孚的左膀右臂后，深度参与吴佩孚诸多关键谋划，撤防北归、直皖战争等重大行动，背后都有他的筹策。

第二次直奉战争吴佩孚战败，1925年他东山再起，出任十四省讨贼联军总司令，张其锽被任命为上将秘书长。彼时郭梁丞已然离世，吴佩孚军国大事、进退攻守，全都倚重张其锽，凡事都要征询他的意见。

吴佩孚对张其锽礼遇极高，平日里以“省长”相称，从不直呼其名。军中召开会议，唯有张其锽、蒋百里、章太炎三人可以落座，其余将领幕僚只能站立等候。张其锽平日里寡言少语，可一旦开口进言，吴佩孚大多都会采纳听从。

1926年吴佩孚打算委任叶开鑫担任湖南总司令，张其锽认为此举不妥，三次拒绝在委任状上用印，甚至收拾行装准备辞官离去。吴佩孚无奈签字，却也拿不肯用印的张其锽没有办法，这般刚直风骨，在军阀幕僚中极为难得。同年湘军发生内讧，张其锽建议静观其变，吴佩孚没有采纳，最终陷入被动局面。

北伐战争爆发后，吴佩孚战事接连失利，武汉失守后身边众人纷纷四散逃离，唯有张其锽始终不离不弃，屡次恳切劝谏，吴佩孚也甘愿接纳他的直言。