乾隆四十七年（1782年），祁韻士又受命擔(dān)任國史館纂修官。他接任后，即通核立傳體制，凡是內(nèi)外蒙古加上衛(wèi)拉特蒙古200余旗以及西藏、新疆維吾爾王公，都應(yīng)該立傳。這對于當(dāng)時(shí)只有32歲的祁韻士來說，實(shí)在不是容易的事情。他對于疆域、山川、形勝、古人爵里、姓氏都很透徹，加上在翰林院刻苦學(xué)習(xí)和虛心求教，很快達(dá)到了熟練閱讀和翻譯滿文的水平。他從滿文檔案入手，在滿落灰塵的故紙中悉心翻閱檢索，潛心理出頭緒，按部落立傳，對照地圖，再以理藩院所存在的各部落的世譜核準(zhǔn)訂正。為了詳述蒙古各部歷史與現(xiàn)狀，他又撰寫出了《皇朝藩部要略》二十二卷。所以說，祁韻士編撰少數(shù)民族史地有開創(chuàng)之功，他的著作對后來的《清史稿》中的藩部編撰起了重要的作用。

祁韻士可謂“三十而立”之人，29歲考中進(jìn)士不久，便為翰林院編修，32歲時(shí)任國史館纂修官，編纂《蒙古回部王公表傳》一書，歷時(shí)8年。這是一部享譽(yù)國內(nèi)外，很有價(jià)值的民族歷史著作。嘉慶年間，他因揭露和鞭撻了官場的貪污舞弊之風(fēng)，成為和珅為首的官僚們的眼中釘。所以，他在仕途上屢屢受挫，直到40歲才補(bǔ)受右坊中允，也就是個(gè)正六品的官。一年以后改補(bǔ)戶部主事，沒有升官，還是正六品，屬于“平調(diào)”。

嘉慶六年，祁韻士成了正五品的郎中，監(jiān)督寶泉局。寶泉局就是鑄幣局，是制作銅錢的地方，內(nèi)設(shè)銅庫、錢庫?！氨O(jiān)督”就是寶泉局的“一把手”，官不大，權(quán)不小。按照寶泉局的慣例，交卸銅貨時(shí)，只要看賬本子就行了，而實(shí)際的庫存，另外再定時(shí)間進(jìn)行盤點(diǎn)。這就有了大漏洞，長此以往，必定造成虧空。祁韻士大概是個(gè)書呆子，他到了任上，不了解上述情況，因此，在與前任交接的時(shí)候，也就按慣例辦理。嘉慶九年，上級(jí)來人檢查銅貨，發(fā)現(xiàn)虧銅很多。這可是大事兒，歷任監(jiān)督全都被逮捕法辦，祁韻士當(dāng)然也在其中，被定為死罪。

當(dāng)時(shí)，朝中的大臣都很欽佩祁韻士的學(xué)問和品德，而且也知道他是被冤枉的，所以都向皇帝建議免除祁韻士的死罪?；实郛?dāng)然也了解祁韻士這個(gè)人，于是，就落得個(gè)愛惜人才的美名，將祁韻士遣戍伊犁3年。

祁韻士在接到圣旨的一天后就踏上了戍途。從生命的高峰一下滑落到谷底，這對祁韻士來說，當(dāng)然是一次重大的失落。可他失落的只是一頂烏紗帽和由此帶來的榮華富貴，他的學(xué)識(shí)，他的才華，不僅沒有失落，反而因此而得到升華。祁韻士并沒有悲觀失望，聽?wèi){命運(yùn)的擺布，遣戍新疆的經(jīng)歷，反而使他有了親躬神往已久的西部大地，親自了解西北邊陲的機(jī)會(huì)。一路上，祁韻士一改“不好為詩”的習(xí)慣，幾乎是“無日不作詩”，以解旅程之憂，以記沿途之見。

他在《萬里行程記》篇首寫道：“西戍之役，余以乙丑二月十八日自京師啟行，閱時(shí)六月，至七月十七日，始抵伊江。時(shí)經(jīng)一百七十余日，路經(jīng)一萬七百余里，所見山川城堡、名勝古跡、人物風(fēng)俗及塞外煙墩沙磺，一切可異可怖之狀。無不周覽遍歷，系于心目。每憩息旅舍，隨手疏記，投行篋中，時(shí)日既久，積累遂多，亦自不置記憶矣。抵戍后，暇日無事，或愁風(fēng)苦雨，獨(dú)坐無聊，偶揀零縑碎片，集而省閱，以寄情懷；略加編輾，遂爾成篇?！弊掷镄虚g，哪有一點(diǎn)發(fā)配之人的愁緒傷感，全然是一個(gè)專家學(xué)者的勤奮與刻苦。

祁韻士一進(jìn)入新疆，處處感到新奇。他在鄯善連木沁見到坎兒井，就寫道：“石罅中突吐一泉，稍北又有一溪從深林內(nèi)涌出，匯合橋畔，淙淙振響，上有萬柳陰云為之庇冪，炎天酷熱，頓極清涼。時(shí)看人頭嗥嗥，婦子嬉嬉，飲馬搗衣，往來不絕，別有天地。”

來到炎熱的吐魯番，他記述：“所產(chǎn)棉花遍野，葡萄蔓地而生，不須架引，綠者無核最佳。甜瓜極妙，以皮瓤純綠為上?！?/p>

祁韻士所記的達(dá)坂城是這樣的：“逾嶺迤邐出山，遠(yuǎn)見水草盈目，雪山橫亙北面，數(shù)峰插天，云氣繚繞于下，晨日東升，射照璀璨，爛然如銀，誠大觀也?！?/p>