根據《鏡週刊》報導，住在隋棠大直住處樓下的鄰居表示，自從隋棠一家5口與外傭、管家搬到樓上後，3個孩子常自清晨6點多起床後就開始奔跑、嬉鬧，雖然他們曾分別向隋棠及隋棠的丈夫Tony溝通，並主動釋出善意，稱願意負擔隔音墊等設備費用，但隋棠的態度卻不是很積極，認為「幼兒本來就難約束」，冷處理回應：「你們就跟著早點起床囉！」

而Tony一開始則承諾改善，但沒多久後就故態復萌，後續更反咬鄰居造謠、騷擾，甚至用英語當面大吼：「不要跟我說話，有話跟我的律師說吧！」令樓下鄰居深感身心俱疲，甚至被噪音干擾到必須吃安眠藥才能入睡，因為不滿隋棠夫妻毫無解決問題的誠意，讓他們決定在去年底提出民事訴訟，希望隋棠夫婦出面妥善處理此事。

中山警分局大直派出所今年1月18日深夜23時許，也曾接獲隋棠住處樓下鄰居報案，投訴「樓上住戶妨害安寧」，派員到場查看後，在現場聽見輕微聲響，上樓按鈴欲勸導改善卻無人應門，加上聲響已停止，向報案人說明相關權利事項，建議他們可蒐集相關事證，並至派出所提告，另商請管委會協助轉知該戶改善即離去。

據悉該大直豪宅是以8,250萬元的划算價入手，隋棠過去曾公開家中照片，包括樓中樓挑高的設計，室內還有一座純白旋轉樓梯、大型遊憩設施供孩子玩樂，夫妻倆甚至精心布置空中花園，栽植櫻花樹及各種花花草草，奢華內裝令人咋舌。