只要有利潤存在的地方，就必然會有商人。馬克思說過，300%的利潤，已足以讓商人們鋌而走險，更何況是“利可十倍”。與日本人的長期交往，讓許多沿海地區的富商大賈們都見識到了彼此貿易所能帶來的豐厚利潤。不少沿海豪戶，都建造有巨型的船舶，進行着大規模的走私貿易，“法不能止”。這些走私貿易存在的本身，其實是對明朝嚴厲的海禁政策與抑商政策的一種撥亂反正。大明朝的這種由朱元璋制定的國策，本身是違反了人性，違反了社會的常態的。與富戶們的大規模走私相伴的，是明代中葉的政治腐敗，遍地貪官。土地的兼併程度尤其嚴重。沿海許多苦於生計的貧民，因此也紛紛入海求生。其中還包括一些宦途失意的士紳，以及窮困潦倒的秀才。
最後，這些勢力在非官方的潛規則的整合下，逐漸形成了規模龐大的武裝走私集團。他們得前哨是沿海的富商大姓，富商大姓們替他們囤積、銷售貨物。當市舶司還存在的時候，民間的私市可謂相當繁榮，走私的貨物也能夠很順利地運銷出去。這些走私集團不會與那些“入貢”的日本人在銷售渠道上發生衝突。
可是，在市舶司被全部撤銷之後，“入貢”貿易的正常渠道完全被關閉，那些攜貨而來的日本人，只好將自己所帶的貨物，賒賣給本地的商人。走私集團的銷售渠道與日本“入貢”這的銷售渠道出現了嚴重的撞車。貨物無法順利銷售出去，許多日本人開始轉向更便捷的生財之道：燒殺搶掠。與日本人相似，中國的民間走私集團也日益陷人困境。《明實錄》當中有一段記載，可以充分說明這和問題。當時的沿海民間走私集團中，最著名的首領是王直與徐海。他們貨物交易的中轉站是餘姚的富戶謝氏。明朝撤銷市舶司之後，謝氏手裏的那些“倭貨”難於出手，只好大量降價拋售，自然就欠下了王直等人許多貨款。
王直、徐海等人不斷逼索，而謝氏又根本無力償還。萬般無奈，謝氏竟恫嚇王直等人：“如再相逼，我將向官府告發你們。”王直等人不甘心財貨兩空，於是伺機報復。他們糾集一羣同夥，包括與其熟識的日本倭人，趁深夜沖人謝宅，燒殺搶掠人，將其家財一掃而空。荒誕的是，地方官員聞訊之後，竟玩忽職守，懶得做任何調查，想當然地向上司報告說這是一起倭寇入侵。先例一開，王直、徐海等人此後所到之處，也無不打着倭寇的旗號。其實其集團內部，真正的倭寇寥寥無幾。這些“中國倭寇”的出現，讓沿海的海防形勢更加嚴峻和複雜，但政府卻仍然一律簡單地將他們全部當作日本的真倭寇處理。
