抵達(dá)上海之后，依然受張謇推薦，楊蔭杭出任江蘇省高等審判庭長(zhǎng)兼司法籌備處處長(zhǎng)，轉(zhuǎn)駐蘇州。中華民國(guó)規(guī)定，本省人士應(yīng)當(dāng)回避本省官職，因此，不久之后，他又被調(diào)任浙江省高等審判廳長(zhǎng)，駐杭州。也是這一段為官的經(jīng)歷，令楊蔭杭日后常常教導(dǎo)楊絳，做什么也別做官。

這句話語(yǔ)出有因。楊蔭杭性情狷介，為官剛正不阿，不懂變通也不愿變通。因?yàn)樵谒磥?lái)，所謂變通便是妥協(xié)退讓，終要丟了原則。所言不差。當(dāng)年，身為高等審判庭長(zhǎng)，要面臨的大小案件無(wú)數(shù)，難免遇到權(quán)貴涉事的案子。楊絳回憶父親曾處理過一起惡霸殺人案。

那個(gè)惡霸因有省長(zhǎng)和督軍撐腰，東窗事發(fā)之后意欲賄賂。楊蔭杭不允，堅(jiān)持司法獨(dú)立，判處惡霸死刑。如此一來(lái)，他一下得罪了兩位高官。依照中華民國(guó)的規(guī)定，楊蔭杭其實(shí)是在省長(zhǎng)和督軍管轄之下，但是省長(zhǎng)和督軍不能干預(yù)司法。楊蔭杭的不買賬，理直氣壯。

然而，人情世故遠(yuǎn)遠(yuǎn)不是單憑理直氣壯便能周全的。事后，涉事的省長(zhǎng)便直接向總統(tǒng)袁世凱告狀，幸而袁世凱的秘書張一鏖與楊蔭杭是故交，張一鏖力保楊蔭杭，最后袁世凱親批“此是好人”四個(gè)大字回了省長(zhǎng)。如此，楊蔭杭方才躲過一劫。

楊絳四歲的時(shí)候，楊蔭杭被調(diào)任北京，在京歷任京師高等審判廳長(zhǎng)、京師高等檢察長(zhǎng)、司法部參事等職。一家人重回北京。不過，楊蔭杭的工作態(tài)度一如既往，不徇私、不舞弊，一顆堅(jiān)持司法公正和司法獨(dú)立的心篤定無(wú)比。

1917年5月4日，楊蔭杭竟然傳訊了在職的交通部長(zhǎng)，懷疑此人受賄。此事一出，如雷霆炸耳，所有人都對(duì)楊蔭杭的行為舉止嗔目結(jié)舌。有人贊他膽識(shí)過人，有人罵他呆板迂腐。當(dāng)夜，楊蔭杭的電話便沒有停過。最后，司法部長(zhǎng)直接以司法部的名義寫了一篇文章請(qǐng)示袁世凱，要求將楊蔭杭停職。

楊蔭杭不卑不亢，寫了《楊蔭杭申辯書》，列“十二條”，據(jù)當(dāng)時(shí)律法，逐一糾正司法部長(zhǎng)對(duì)司法程序的錯(cuò)誤認(rèn)知，直接回應(yīng)。楊蔭杭與司法部長(zhǎng)的兩篇對(duì)簿之文，先后被刊登于1917年5月25日和26日的《申報(bào)》要聞之上，引起軒然大波。最后，楊蔭杭雖不得不被停職，但涉事的交通部長(zhǎng)也被逼無(wú)奈，引咎辭職。

經(jīng)此一事，楊蔭杭對(duì)北洋政府的為官之風(fēng)十分失望。雖然停職不久之后又恢復(fù)公職，但是楊蔭杭的工作熱情已失大半，對(duì)“做官”一事，也越發(fā)抵觸。既然無(wú)法在真實(shí)的法治公正與虛偽的人情世故之中斡旋平衡，不如離開。楊蔭杭打算辭職。

這些，幼年的楊絳不懂。她只記得，有一日父親突然不去上班，連他上班要乘坐的馬車也賣掉了，兩匹馬沒了，兩個(gè)馬夫也走了。父親倒是清閑、愜意，還與他一位名叫黃子年的留日同學(xué)去百花山上采集制作植物標(biāo)本，出門六七日才回，被曬得黝黑。

在北京的那幾年，對(duì)幼小的楊絳來(lái)說，多半都是綿密的溫柔和悠長(zhǎng)的童趣。挫折和跌宕是大人的事，而她尚未領(lǐng)悟苦難之分毫，只是枕在父母寬厚的臂膀之中來(lái)回摩挲，父親和母親便是她踏蹈的整個(gè)塵世，便是她觸撫的全部人間。

此次重回北京，他們租住在東城，房東是滿族女子。這是楊絳第一次見到真正梳旗頭、穿旗袍、踩花盆底鞋的滿人。小小的楊絳將一切看在眼中，父親問她要不要穿這種高底的鞋子，她認(rèn)真思索一番之后認(rèn)真地答道：要。她慢慢明白，什么叫做美了。

后來(lái)，楊家搬去了西城東斜街25號(hào)。也是從這里開始，楊絳正式接受學(xué)校教育。先是入第一蒙養(yǎng)院學(xué)前班，后轉(zhuǎn)入辟才胡同女師大附屬小學(xué)。當(dāng)時(shí)，楊絳的三姑母便在一墻之隔的北京女子高等師范學(xué)校任“學(xué)監(jiān)”。楊絳曾說，她童年的記憶也正是從這里開始。