葡萄牙見正規(guī)作戰(zhàn)無法取勝，便開始與倭寇合流做起了海盜生意。在國內(nèi)走私集團(tuán)的帶領(lǐng)下，葡萄牙人開始在福建的海滄、月港，浙江的雙嶼等地與倭寇及國內(nèi)走私集團(tuán)合流。嘉靖五年（1526年）福建人鄧獠越獄后，便開始勾結(jié)葡萄牙人前往雙嶼，其后鄧氏兄弟也加入這一集團(tuán)。

在雙嶼島上，葡萄牙有一千二百多名殖民軍以及屬國的一千八百多名士兵。彼時(shí)，葡萄牙人的貿(mào)易總額大多在300萬葡萄牙元以上。在雙嶼島上，葡萄牙還建立了自己的殖民政府。由一名稽核、一名主管殯葬和收養(yǎng)孤兒的官員、幾名警察、一名市政廳書記員、四名公證員等組成。另外，還建造了兩所醫(yī)院、一座慈善堂。

1543年，葡萄牙人在王直（五峰船主）的率領(lǐng)下前往日本，正式與倭寇合流。令人吃驚的是，葡萄牙人占領(lǐng)雙嶼島這件事情，中央政府竟然長期不知道。究其原因，主要是一些沿海居民因?yàn)楹＝y以生存，更無錢繳納稅款。16世紀(jì)以后，中國的稅款大多以白銀結(jié)算。而中國人最缺的就是白銀，因?yàn)槠咸蜒琅c日本交好，日本又是產(chǎn)銀大國，所以，葡萄牙人得到了大量的日本白銀。而當(dāng)?shù)毓倮粢惨驗(yàn)槭苜V，便上下聯(lián)手隱瞞了這件事。

隨著葡萄牙人的勢力愈加強(qiáng)大，殖民者的本性愈加顯露。某些葡萄牙人開始奸淫婦女、搶奪人口，最終消息傳到了皇帝耳中?；实哿⒖堂罡＝ㄋ畮煂鴥?nèi)外的所有商人全部驅(qū)逐出寧波，并任命朱紈為提督剿匪，最終將海盜、走私犯趕出了雙嶼島。

被朱紈打怕了的葡萄牙學(xué)乖了：作為鄉(xiāng)級地方官的葡萄牙人

給葡萄牙國王的一封信

在朱紈搗毀雙嶼島，并進(jìn)行了走馬溪之戰(zhàn)后，葡萄牙人已經(jīng)不敢再在福建、浙江活動。他們被朱紈打怕了，葡萄牙艦隊(duì)再次回到廣州，希望通過官方渠道重新開啟通商事宜。1553年到1554年經(jīng)過數(shù)次談判，蘇薩認(rèn)為可以正式向葡萄牙國王提出建議了。

他寫道：國王陛下，為了與中國人交往我們應(yīng)該遵從他們國家的法律。因?yàn)檫^去的不愉快，為了改變中國人過往對于葡萄牙人的印象，應(yīng)以葡萄牙國名替換掉佛郎機(jī)國名。雙方必須要實(shí)行和平貿(mào)易。廣東的海軍上將給我們確定的繳稅額度是20%。經(jīng)過我的據(jù)理力爭，海軍上將終于同意收取10%的關(guān)稅。另外，我提醒您，上一次中葡交往失敗的原因，錯(cuò)誤不在于中國方面，而是我們自己根本沒有注意到等級，顯得我們非常的無禮。因此，屢次求見皇帝不準(zhǔn)。這次我的運(yùn)氣太好了，希望您千萬不要錯(cuò)過這次機(jī)會。照章納稅、和平貿(mào)易、換個(gè)國名吧。