洪遵字景嚴，洪皓的次子。在兒時就端正莊重如同成年人。隨從老師學習文化，不因為天時寒暑而中止。父親滯留北方沙漠，母親去世，洪遵孺慕敬愛母親，抱母號哭。安葬之后，兄弟便住在廟中學習文化，夜枕書籍不解衣安寢。由于父親之故被蔭補為承務(wù)郎，同兄長洪適同時參加博學宏詞科考試，中首名，被賜為進士出身。高宗因洪皓出使遠方，擢升他為秘書省正字。宋建立以來，考中博學宏詞科便入館任職，從洪遵開始。宰相秦檜兒子秦火喜任長官，談笑之間提拔罷免官屬，洪遵恬然自處不肯依附他，因此兩年沒有升遷。

　　洪皓南歸，同朝廷議論不同，被逐出朝廷。洪遵于是請求外任，任常、婺、越三州通判。紹興二十五年(1155)，湯思退推薦他，又入朝任正字。八月，兼權(quán)直學士院。湯鵬舉任御史臺長官，秘密推薦洪遵為御史。正當要下令時父親去世消息傳來。二十八年(1158)，免除服喪，奉詔入對，極力陳述父親冤枉，說“：先父與龔王壽同時出使，龔王壽是在劉豫手下出任官職，因為肆意殺害兵官被劉豫誅殺，而秦檜追贈他節(jié)旄，擢用他的兒子。先父拒絕金朝的任命，滯留十五年才得以歸來，反而被流放到南方嶺外，臣兄弟也被屏棄在外。秦檜不分忠逆竟到了這種地步?！备咦谠敿毜馗嬖V了他洪皓被誹謗的情況，并且說：“你再次進入三館，曾主持詔令，今天讓你修起居注?！庇谑侨蚊麨槠鹁由崛?。

　　洪遵上奏請求將經(jīng)筵官的任免和封章進對、宴會賜予、講讀問答等事，匯編成一書，名字叫作《邇英記注》。此后乾道年間又有《祥曦殿記注》，實際上是從洪遵開始的。又乘當面問對之機，論述鑄錢的利害得失，皇帝嘉獎采納了他的意見。遷任起居郎兼樞密院都承旨。原來的制度，修注官、經(jīng)筵官允許留身奏事，而近來沒有這樣的事例。洪遵上奏請求恢復舊制，并說起居注已有十五年沒有修撰，請求除現(xiàn)修月進外，每月帶修，皇帝都聽從了他。

　　紹興二十九年(1159)，任中書舍人。殿前偏將輔逵轉(zhuǎn)任防御使，王綱轉(zhuǎn)任團練使，洪遵說：“近來規(guī)定管軍官十年才能一遷，現(xiàn)在兩人任期不滿，怎么能得此官職？”當時勛臣子孫大都超越等級位居臺省，洪遵極力論說請求明令禁止。高宗說“：正立法，從今以后功臣子孫可以序遷至侍從，并令久任在京宮觀。”洪遵說“：侍從，是朝廷高級官職，如不是磨勘階官，怎么有遷序之制？”回家后又上奏說“：今內(nèi)外將領(lǐng)不少于二十人，如果用序遷，不出十年，宮廷次對的官職都能得到。太祖開國功臣子孫官職不過各司，只有曹彬的兒子曹琮、曹瑋由于自己奮斗得到功名，于是成為節(jié)度使，當初沒有聽說有遞遷侍從的例子。今天詔旨一下，使肅穆清閑顯要的機構(gòu)都充滿將帥子孫，不是昭示天下的好辦法，希望收回前面的詔令?！庇终f：“瑞昌、興國之間茶商失業(yè)，聚集為盜賊。希望張貼布告曉諭他們，允許他們悔過自新，愿意充軍的填刺充軍，愿意種田的放歸?！被实鄱紲试S了他的奏議。

　　議論者要恢復鄱陽永平、永豐兩監(jiān)鼓鑄，詔令給、舍等有關(guān)部門商議，洪遵說“：唐代有鼓鑄使，本朝有時以漕臣兼領(lǐng)，有時分道設(shè)使，由三司管理。自南渡以后，設(shè)置都大提點，官屬太多，動輒為害州縣。中間急忙廢罷，又沒有一定之規(guī)，當初委托轉(zhuǎn)運使，又委托提刑，又委托郡守管理，號令不一，鼓鑄日益減少。我私下認為以恢復鼓監(jiān)為便?！?br />
　　紹興三十年(1160)正月，任吏部侍郎。過去選官到府曹改秩，官吏依靠手中權(quán)力買賣官職，絲毫不中意，必然巧生各種關(guān)節(jié)阻礙，必須賄賂得到滿足為止。洪遵明確約定，如果大體上沒有缺點，應先行后審，薦員也應有定額，而舉薦的人卻賣權(quán)弄奸，巧為周章，有的同時一章而分為兩牘，有的應當推薦五人而動輒超越十人，有的應當舉薦為職官而詭任京官，有的身系常調(diào)而妄稱職司，有的東西分曹而交錯攙補，有的已被復奪而指稱事故，件析枚數(shù)，請求凡像這樣的一律彈劾。舊制，官員退休保任子弟授予官職，隨所在地區(qū)審查后即授予官職。這時，聽從言者請求，必令到原籍州縣審核奏請。洪遵說“：士大夫有到粵、蜀任官，數(shù)千里外，不幸死去。臨終辭去官職，家屬返回故里已十分艱難，現(xiàn)在又因此齟齬，反復拖延，是公開給惡吏提供方便?！庇谑峭Ｖ谷砸琅f制。

　　平江、湖、秀三州發(fā)生水災，沒辦法交納秋賦，有關(guān)部門下令交納小麥。洪遵說“：麥價不在半價之下，民眾如此困苦，怎么能以夏稅當作秋稅，將一衍生為二，使他們背井離鄉(xiāng)流落溝壑之中呢？希望酌量取其一半，而遭水災的全部免除?！苯鸪瘉硭魅〗{陽郭小的、安化劉孝恭等二百家，洪遵以為蜀朝的李特事件可作為借鑒，希望以根集不足為由，拖延時間回報金朝。遷任翰林學士兼吏部尚書。王澈彈劾湯思退罷相位時，洪遵草擬的制詞中沒有貶語，汪澈以此上奏。洪遵于是請求解除職務(wù)，以徽猷閣直學士的身份提舉太平興國宮。

　　紹興三十一年(1161)，金主完顏亮命令尚書蘇保衡從海路窺視兩浙，朝廷命浙西總管李寶率兵抵御。李寶駐兵平江，守將李翊同李寶素來不和，朝廷議論因洪遵曾經(jīng)推薦李寶，于是命令洪遵知平江。等到李寶率領(lǐng)水軍直搗膠西，凡是物資糧餉、器械、舟船等都是洪遵供應，李寶戰(zhàn)勝歸來，洪遵給予的幫助最多。高宗到金陵，禁衛(wèi)士兵索求無厭，其他州郡隨時供給也不滿足。到達吳郡，士兵相互警告說：“洪內(nèi)翰在此，你不能像過去那樣?！痹瓉?，朝廷顧忌商船被金軍得到，全部拘留到官府，以后沒有歸還，沿海州縣巨艦全部集中以及召募的水手、民兵，都羈留不得離開。洪遵通過面奏論說，將船只交還商人，水手聽其自便，吳郡人都感激他。

　　孝宗即位后，拜洪遵為翰林學士承旨兼侍讀。詔問宰執(zhí)、侍從、臺諫說“：敵人前來索要舊禮，聽從它則不忍屈服，不聽從則邊患不已。中原歸順的人源源不斷地前來，接納他們則東南地區(qū)財力不能補給，拒絕他們又斷絕他們向化歸順的希望。應當討論做出決定上報?！焙樽裢o事中金安節(jié)、中書舍人唐文若、超居郎周必大共同提出一項建議，大概是說：“不應當直接拒絕他們，也不能立即屈從答應，應當送給他們金繒數(shù)目如同以前一樣，或者允許歸還侵地如海、泗之類，那么金也可以此為借口前來商議了。”

　　主持隆興元年(1163)貢舉考試，任同知樞密院事。壽康殿長出十二枝金芝，同列官員議上表祝賀，洪遵引用李文靖上奏災異的故事勸止他們。推薦眉山的李燾、永嘉的鄭伯熊和林光朝，還沒有來得及任用，恰逢湯思退任左相，而右相張浚被罷免，御史周..論說洪遵越級升遷，上奏彈劾，孝宗急忙徙任他官。洪遵不安于新職，連續(xù)上章請求免職，最后同御史一同去職。這年七月，洪遵以端明殿學士的身份提舉太平興國宮。

　　乾道六年(1170)，洪遵起知信州。徙知太平州。前任知州周..因為曾經(jīng)彈劾洪遵，聽說洪遵前來，不待交付印符就騎馬離開。洪遵追趕十里為他送行，噓寒問暖如同平時，說：“你是按職行事，我有什么埋怨？”聽說的人都認為洪遵品德十分高尚。圩田毀壞，民眾失業(yè)，洪遵召集民眾修筑圩田共萬余。當時正值隆冬，洪遵親自深入到民眾間，載著酒飯親自慰問，恩意傾盡，民眾忘記勞苦。轉(zhuǎn)運使張松嫉妒他的功勞，妄奏圩田沒有毀壞，民眾也沒有遷徙，而是洪遵強迫圩戶修筑，并裁減募工錢米的一半。洪遵接連上章抗爭，甚至請求派大臣前來核查按視。于是將作少監(jiān)馬希言、監(jiān)察御史陳舉善遵命前來核查，他們同洪遵十分親近，廢黜張松之言，圩田遂成，共四百五十五處。張松沒有地方發(fā)泄怨憤，就另外修治溧水永豐圩，前來征調(diào)勞力、大米、樹木，數(shù)目很大。洪遵說“：本郡正當歉收之時，正應賑恤流離的民眾，勸分乞糴，如同自割股肉以充饑，自己都不夠吃，哪里還能讓他人吃飽呢？”堅持不從。

　　楚地大旱，旁縣賑濟的人沒有及早考慮，措施失當，有的得到米而沒辦法煮熟，有的全家饑餓而賑米不足。洪遵派出官員，隨遠近老壯的不同分別供給糧食，免除租稅的十分之九，又從江西買進糧食，得以活命的數(shù)以萬計。戍兵乘饑荒盜竊，結(jié)成團伙在外剽奪，洪遵將他們?nèi)烤胁稓w還其軍中。因此遭遇大災荒而境內(nèi)安然如故。轉(zhuǎn)知建康府、江東安撫使兼行宮留守。孝宗曉諭當制舍人范成大，褒獎他的政績，準許他入朝覲見。

　　當時虞允文當政，有北伐的志向。先調(diào)侍衛(wèi)馬軍出屯，其中在建康府的有五軍，全部攜帶家屬，計劃修筑營寨，差不多有萬灶。張松無能被罷免，特令洪遵同宰執(zhí)到選德殿奏事。洪遵上奏外官不敢尾隨兩府之后，希望等班退之后別引，皇帝不許。進資政殿學士后遣行。到建康即張貼布告，民眾苗米只能交納正品而不能交納次品，聽任民眾自己持斛丈量，主持谷倉的人不能輕重其手。遍行郊野測量立營扎寨之處，尋求不妨礙民居、不夷平冢墓的地方，經(jīng)過一年才找到。有一營卒醉酒，妄言動眾，將他斬首，在集市上分尸，全軍無人敢于喧嘩。有人白天入旗亭拿刀毀棄壚墓，械送獄中，快馬上奏沒有回報，統(tǒng)帥害怕遭到譴責，請求自己處治。孝宗大怒，罷免統(tǒng)帥，洪遵也被牽連貶去兩秩。不久，五座營寨建成，復任原官，仍任資政殿學士。淳熙元年(1174)，提舉洞霄宮。十一月，去世，時年五十五歲，謚號“文安”。