吳四寶及其追隨者在李士群的幫助下，變本加厲，無惡不作。湖西曾經是抽煙賭博的聚集地。當時，那些販賣鴉片和制造白面(海洛因)的人都把吳四寶作為護身符，肆意妄為。其他案件，如綁架、搶劫和勒索更加普遍。吳的徒弟等人仍習慣於在糖市上興風作浪，持槍挾持，操縱市場價格。是上還是下，由他們自己決定(當時人們聽到“76號”，都是面無人色)。後來日方也看出他們的做法太不雅，怕以後難以控制，逼著李士群整改。李只好向開槍，但並不收斂。
在籌辦“葉公館”之前，西區的大賭館如中華會館(六國飯店)，就已經由和李臘牽線搭橋，李勾搭日本憲兵和領事館的工作人員作為護身符，按月向李表示“孝敬”。
“76號”成立後，吳四寶住在“76號”，每天公開接受上海西部賭場和販毒機構的“保護費”，承諾“76號”人員會壹直保護，但吳四寶縱容、包庇他的人，事故不斷發生。
在19410+02年日軍進入租界之前，上海已經成了壹個“孤島”，但大量的巨紳和商人仍然把租界作為自己的安樂窩。都是“車類”，車都是最新款。吳四寶的壹些學徒認為偷車是賺錢的壹種方式。他們慣用的方法是強行搶車，拿到手，飛的無影無蹤，路上紅燈不理會，巡邏堵截，然後開槍示威。還有壹種方法就是和車主司機勾結偷。只要離開租界，開進“76號”，就可以安然無恙。偷來的車在上海賣不出去，他們就聯系日偽，發通行證，換車牌，在蘇州、南京、蚌埠、蘇北賣，分得壹杯羹。租界當局知道所有的細節，所以他們不得不睜大眼睛，不予理睬。
“76號”設立後，租界當局在上海西部毗鄰跨境築路與租界的地區設置工事，不時有中英機動巡邏。1941春的壹天，佘愛珍陪著壹個保鏢，從吉斯菲爾路坐車到靜安寺路，是壹個“三頭”(英國巡警隊長，俗稱“三頭”，因為臂章上有三道杠)去抄靶(查路)，車被堵了。她的保鏢配有手槍。因為沒有特許經營許可證，怕惹上麻煩。他主動出擊，當場擊斃了三頭。當時警笛亂響，警察圍捕，司機和保鏢卻被當場擊斃。佘愛珍急中生智，跪倒在車廂裏，得救了，於是被帶進了逮捕室。事情鬧得不可開交，在李士群懇求日本憲兵隊與租界工房談判逮捕舍愛珍後，舍愛珍被釋放，案件結案。
1942年春，李士群正忙著準備汪精衛在青香地區的“巡邏”，這時吳四寶在上海被日本憲兵隊逮捕，報紙上還刊登了“國民政府”的通緝令，通緝吳四寶，說是“禍從口出”。當得到消息後，他趕到救援，並盡最大努力保釋吳。但是，日本憲兵隊指出，李士群應該帶回蘇州接受管教，不能讓吳再留在上海。李當然同意了。臨行前，日本憲兵團長對武朔說:“李先生已經保證妳出去，妳吃點東西就走。”當即給了吳壹碗面條。第二天，李士群帶著吳四寶去了蘇州。此時，吳感覺肚子痛，還不時拉肚子。吳身體強壯，毫無疑問他在那裏。到了蘇州，他去神秘的廟裏燒香感謝上帝，不料第二天就猝死了。
李士群為吳四寶的死感到難過，並對日本的宴會保持警惕。壹年後，我李也死於日賢之手。從中毒到死亡是三天，就像吳四寶的死壹樣。