、宣城郡界多盜賊，近縣苦之。靈洗素為鄉里所畏伏，前後守長恆使召募少年，逐捕劫盜。
侯景之亂，靈洗聚徒據黟、歙以拒景。景軍據有新安，新安太守湘西鄉侯蕭隱奔依靈洗，靈洗奉以主盟。梁元帝於荊州承製，又遣使間道奉表。劉神茂自東陽建義拒賊，靈洗攻下新安，與神茂相應。元帝授持節、通直散騎常侍、都督新安郡諸軍事、雲麾將軍、譙州刺史資，領新安太守，封巴丘縣侯，邑五百戶。神茂為景所破，景偏帥呂子榮進攻新安，靈洗退保黟、歙。及景敗，子榮退走，靈洗復據新安。進軍建德，擒賊帥趙桑乾。以功授持節、散騎常侍、都督青、冀二州諸軍事、青州刺史，增邑並前一千戶，將軍、太守如故。
仍令靈洗率所部下揚州，助王僧辯鎮防。遷吳興太守，未行，僧辯命靈洗從侯瑱西援荊州。荊州陷，還都。高祖誅僧辯，靈洗率所領來援，其徒力戰於石頭西門，軍不利，遣使招諭，久之乃降，高祖深義之。紹泰元年，授使持節、信武將軍、蘭陵太守，常侍如故，助防京口。及平徐嗣徽，靈洗有功，除南丹陽太守，封遂安縣侯，增邑並前一千五百戶，仍鎮採石。
隨周文育西