“荊楚長劍”，據說劍法已至化境。曾有數十人看他不順眼，打算群毆他一頓，結果被他打得落花流水，奪路而逃。
俞兄不但武藝了得，還善於總結經驗，曾著有武學專著《劍經》，後來在清除倭寇的同時，也順道闖蕩江湖，屢次和人拼刀比劍，在砍砍殺殺中不斷磨練劍法，嘉靖四十年（1561）的時候，估計是周圍的人都打遍了，這位仁兄覺得沒意思了，就跑到外面去找人打。前述的少林寺事件就發生在這段時間內。
很明顯，在這段自述裡，俞大猷故意忽略了一個重要內容，要知道，少林和尚雖然吃素，卻不好欺負，你俞大猷跑這麼遠，人家給你演示武藝，你還說人家不行，一句話，你就是來砸場子的。
雖然俞大猷沒有寫，但我們有理由相信，他在少林寺是鬧過事的，就算沒有動刀動槍，至少也是露了兩手，不然人家憑什麼“皆曰：願受指教”。
估計俞大猷同志還是有點覺悟，覺得自己這事幹得不地道，所以也沒多提，不過從他讓人家多練幾年的口氣看，他也不是什麼省油的燈。
俞大俠仗劍打遍天下，縱橫江湖，可謂風光無限，但在遇到胡宗憲之前，作為一個極具稟賦的軍事天才，他的經歷只能用一個詞來概括——哭笑不得。
俞大猷這輩子的前四十年是十分鬱悶的，因為他比較喜歡管閒事，守金門的時候，他上書監司，要求打擊海賊。結果被打了一頓，得到了上級的答覆：
“你個屁大的小官，憑什麼上書？”
憑什麼小官就不能上書？俞大猷不明白。
捱了這頓莫名其妙的打，俞大猷依然我行我素。
不久之後，安南地