1946年，我東北民主聯(lián)軍經(jīng)過“四平保衛(wèi)戰(zhàn)”，沉重地打擊了敵人，但部隊也有較大傷亡。6月，根據(jù)中央決定，東北局進行了改組。新的東北局在哈爾濱召開了會議，做出了有歷史意義的“七七決議”。此時，經(jīng)羅榮桓推薦，中央軍委批準，學成歸國的劉亞樓出任東北民主聯(lián)軍參謀長。

劉亞樓上任后便抓緊時間熟悉情況。他感到，雖然我軍在抗日戰(zhàn)爭時期各部隊已經(jīng)有了司令部工作，但司令部組織機構和業(yè)務很簡單。當時司令部干部都是由關內(nèi)各根據(jù)地調(diào)到東北的部隊臨時抽調(diào)組建而成的，來自五湖四海。他們雖然有工作熱情，但思想作風、工作經(jīng)驗、制度均有差異，且普遍業(yè)務素質較低，組織很不健全，分工也不明確。司令部機關的幾個主要部門特別是情報和通訊基本處于敵情不明、上下不通的狀態(tài)，司令部工作比較被動。

劉亞樓認為，司令部要適應復雜的戰(zhàn)爭形勢，適應游擊戰(zhàn)向運動戰(zhàn)的戰(zhàn)略轉變，必須健全組織機構，加強業(yè)務建設，提高作戰(zhàn)指揮的能力。他首先抓了情報部門的組織充實和業(yè)務建設。把關內(nèi)來的、凡是做過情報工作的干部集中起來，成立了技術偵察部門，加強了司令部的偵察隊伍和技術訓練。

與此同時，劉亞樓根據(jù)領導層分工對當時部隊的工兵、炮兵、裝甲兵、航空兵工作給予指導。他任東北航校校長期間（此間他還兼任俄文學校、參謀學校校長），不等不靠，自力更生，埋頭苦干，提出“短小精干，持久延長”的辦校思想，為我軍空軍建設培養(yǎng)了人才，保留了骨干。特別在炮兵建設方面，他全力支持朱瑞司令工作，在炮兵使用和步炮協(xié)同作戰(zhàn)上花費了大量心血，經(jīng)他不懈的努力，民主聯(lián)軍炮兵得到迅速發(fā)展。

在司令部業(yè)務建設方面，劉亞樓為培養(yǎng)充實基層參謀人員，從部隊抽調(diào)了100名具有高小、初中文化程度的連排干部，連同司令部原有參謀人員，在哈爾濱連續(xù)辦了三期參謀集訓隊，每期六個月，他多次親自授課。每次學習期滿，考試合格發(fā)結業(yè)證書。

劉亞樓的參謀長工作非常辛苦繁忙，為了彌補學習材料的不足，他利用夜晚休息時間，親自翻譯了俄文版的《紅軍野戰(zhàn)參謀業(yè)務條令》下發(fā)到民主聯(lián)軍團以上司令部，參謀人手一冊。盡管蘇軍參謀業(yè)務與我軍司令部工作不盡相同，但在當時環(huán)境下，這部條令對規(guī)范司令部業(yè)務起到了很大的指導作用。

1947年夏季攻勢歷時50天，東北民主聯(lián)軍殲敵8萬余人，收復縣城42座，解放敵占區(qū)萬平方公里，控制鐵路線2500公里，使中長鐵路陷入癱瘓。東北戰(zhàn)場戰(zhàn)略主動權發(fā)生了轉變，但也存在一些問題。為了及時總結經(jīng)驗教訓，劉亞樓建議召開了第一次參謀工作會議。劉亞樓主持會議，他充分發(fā)揚民主，廣泛聽取到會同志的批評和建議，然后根據(jù)參謀人員反映的“四多四少”（使用多培養(yǎng)少，批評多表揚少，碰釘子多撐腰少，任務多級別少），從思想教育入手，解決實際問題。此舉調(diào)動了參謀人員的積極性，穩(wěn)定了司令部機關隊伍。

在作戰(zhàn)指揮上，他不愿過多干擾上級，但發(fā)現(xiàn)問題就及時提出。如遼沈戰(zhàn)役中，華北敵人向葫蘆島增兵，在“攻錦”問題上林彪曾一度產(chǎn)生過顧慮，給中央軍委發(fā)電報想回師長春。劉亞樓覺得不妥，他及時找羅榮桓政委商量，然后一起提出意見，林彪很快改變了決心，將原先電報作廢，繼續(xù)決定攻打錦州。

劉亞樓在指揮中善于通過對小問題的發(fā)現(xiàn)，看到戰(zhàn)術運用的重大原則。他非常重視炮兵使用的一般原則、火力組織、協(xié)同動作，多次在各種會議上講解示范，指導部隊運用于實踐。但他更重視對炮兵戰(zhàn)術技術的具體運用。

對遼沈戰(zhàn)役發(fā)起的戰(zhàn)略佯動和隱蔽偽裝，劉亞樓指導司令部做了大量工作。為了做到這一點，他指揮各部隊用原有電臺在原駐地正常工作，給敵人以“東野”尚未行動的錯覺。而各縱隊攜帶新的電臺，夜行曉伏隱蔽地向錦州開進，在到達指定地點前不準出現(xiàn)空中信號。在東北我軍控制區(qū)頻繁放出攻打長春的空氣，少量圍困長春的部隊晚上向南、向西、向東運動，白天又回頭向長春開進，暴土揚塵，給敵人空中偵察造成我軍繼續(xù)向長春集結兵力的錯覺。

對鐵路運輸也做出周密安排。南進部隊白天分散在小站上待避，夜間則魚貫前進，向北開的都是部隊運到后北返的空車?！皷|野”前線指揮所9月21日乘火車從雙城向前線開進，為造成敵人錯覺，火車先向北開哈爾濱，經(jīng)短暫停留后，向東南牡丹江方向行駛，然后掉頭西返，經(jīng)齊齊哈爾、白城子南下。在錦州戰(zhàn)役打響前，許多部隊都不知道具體任務，直到大部分部隊已到錦州城下，總部才發(fā)布協(xié)同命令。而直到兵臨錦州城下，衛(wèi)立煌、范漢杰才驀然醒悟“東野”的意圖。這不能不說明劉亞樓嚴密的組織工作。