到上海后，李克農(nóng)很快與與錢杏邨取得了聯(lián)系，并將組織關(guān)系轉(zhuǎn)到春野書店支部。春野書店支部由瞿秋白直接領(lǐng)導(dǎo)，李克農(nóng)通過春野書店與上海的地下黨組織接上了關(guān)系，在“春野支部”過組織生活。剛來上海的這段時間里，李克農(nóng)主要從事文化教育工作，與地下黨員潘漢年等人一起，參與黨在上海的一些小型報紙的創(chuàng)辦。如他與潘漢年一起，創(chuàng)辦了《鐵甲車》小報。當(dāng)時條件很差，但他們干得非常開心。

1928年冬，他被調(diào)到中共滬中區(qū)委，擔(dān)任宣傳委員，繼續(xù)從事文化工作。他遵照黨的指示，經(jīng)常上街撒傳單、貼標(biāo)語，搞“飛行集會”等活動。

早在1928年2月，在蔣介石授意下，國民黨成立了中央組織部黨務(wù)調(diào)查科。這實(shí)際上是國民黨的一個特務(wù)機(jī)構(gòu)，是中統(tǒng)（CC系）的前身。開始的時候，黨務(wù)調(diào)查科的工作對象主要是幫助蔣介石掃除異己勢力，奪取國民黨最高領(lǐng)導(dǎo)權(quán)。當(dāng)蔣介石當(dāng)上國民黨軍事委員會委員長和兼任國民政府主席后，黨務(wù)調(diào)查科把目標(biāo)轉(zhuǎn)向了共產(chǎn)黨。到了1929年冬，國民黨為了控制局勢，著手建立秘密特務(wù)組織。

時任國民黨中央組織部黨務(wù)調(diào)查科主任的陳立夫，為了迎合蔣介石“剿共”的需要，計劃在黨務(wù)調(diào)查科的基礎(chǔ)上，建立一個秘密偵察、審訊的特務(wù)機(jī)關(guān)，對外名稱是“中央俱樂部調(diào)查科”（后來改為“中統(tǒng)”）。陳立夫把這件事交給他表弟徐恩曾來辦，任命徐恩曾擔(dān)任調(diào)查科主任，同時兼任上海無線電管理局局長。

徐恩曾這人曾留美學(xué)習(xí)電氣工程，但對如何建立特務(wù)機(jī)關(guān)當(dāng)時還是個外行。于是就找到他的浙江湖州同鄉(xiāng)、當(dāng)時在上海無線電管理局任秘書的錢壯飛說：“陳老板讓我出任中央組織部調(diào)查科科長，招兵買馬，擴(kuò)充機(jī)構(gòu)，專門對付共產(chǎn)黨。我此次去南京任職，需要一個得力助手，我想帶你去，做我的機(jī)要秘書，你愿不愿意？”錢壯飛表示要考慮后再答復(fù)他，實(shí)際上他是要向黨組織匯報此事。

李克農(nóng)與胡底早就認(rèn)識，經(jīng)胡底介紹，李克農(nóng)又認(rèn)識了錢壯飛。后來被稱為“龍?zhí)度堋钡娜恢泄睬閳笥⑿?，此時聚在一起。錢壯飛說：“現(xiàn)在上海無線電管理局正在擴(kuò)大人員，為建立國民黨特務(wù)機(jī)構(gòu)作準(zhǔn)備。目前缺少廣播新聞編輯，要向社會公開招聘?！比搜芯空J(rèn)為，這是打入敵人內(nèi)部的絕佳機(jī)會。李克農(nóng)當(dāng)即表示，他會迅速通過在上海的中共江蘇省委向黨中央報告。他自己準(zhǔn)備報考無線電管理局，在國民黨特務(wù)機(jī)構(gòu)中建立共產(chǎn)黨的組織。

接到李克農(nóng)的報告后，中共江蘇省委將此事上報了中共中央。

兩天后，江蘇省委的同志通知李克農(nóng)，中央對他的意見進(jìn)行了認(rèn)真研究，決定讓他和胡底、錢壯飛一起打入國民黨特務(wù)機(jī)構(gòu)中去。根據(jù)周恩來的指示，他們?nèi)顺闪⒁粋€黨的特別小組，由李克農(nóng)任組長。同時，中共中央批準(zhǔn)錢壯飛可以隨徐恩曾去南京。