在戚繼光看來，一支戰無不勝的軍隊必須具備如下素質：
〖疾如風，徐如林，侵略如火，不動如山，難知如陰，動如雷霆。
——孫子兵法〗
這就是被無數軍事家奉為經典的“六如真言”，兵家有云，達“六如”者，戰必克，攻必取，無往不勝！
而在“六如”之中，最後兩如要靠將領，前面四如必須要靠小兵。
對於自己的能力，戚繼光還是有信心的，但提起手下那幫人的素質，戚繼光就只能無語對蒼天了。
關於這個問題，戚繼光曾與當時的台州知府，後來的舉世名將譚綸有過一段極為有趣的談話，談話內容經本人整理，大致如下：
戚繼光（下簡稱戚）：雖然我已盡全力操練，但經歷戰陣之後，我才發現，新軍有很大的問題。
譚綸（下簡稱譚）：什麼問題？
戚：我所部三千新軍中，大部都是處州（今浙江麗水）兵和紹興兵，這兩地士兵各有特點，比如處州兵，作戰十分勇猛，聽命從不遲疑，衝鋒陷陣，非常積極，是戰鬥的主力。
譚：有什麼問題嗎？
戚：但他們每次打仗之前，都要和我談條件。
譚：談條件？
戚：作戰以前，他們要求必須知道作戰的對手和人數，然後自行內部商議，如果認為能打，就作戰，但要是他們認為不能打，即使費盡口舌，他們也絕不會賣力。
譚：……
這還沒完，頭疼的在後面。
戚：相對而言，紹興兵更加聽從命令，無論打什麼仗，他們從來不會拒絕，完全服從，而且不怕辛苦，紮營修城之類的力氣活，安排他們幹，他們就會盡力去幹，且從無怨言。而在戰場上，如果敵人退卻，他們會主動追擊。
譚：遵從軍令，作戰勇猛，這不是很好嗎？
戚：但問題是，如果敵人進攻，他們就會主動撤退。
譚：……
戚：當然，如果敵人再退，他們還是會追，但若敵人回軍，他們會再次撤退，據我統計，但凡與敵相接三十步內，即將肉搏之時，他們一般會全軍退走。總而言之，關鍵時刻實在靠不住。
譚：那你打算怎麼辦呢？
沉默片刻後，戚繼光用一聲重重的嘆息結束了這次談話：
“我也沒有辦法。”
其實在兩人的這次談話中，涉及到了一個十分重要的理論——地理決定論，一般說來，生活在艱苦山區的人性格比較強硬，而且民風彪悍，不怕死，而在經濟發達地區，混碗飯吃實在不難，不到萬不得已，鬼才願意拼命。
處州地區多山，經濟條件差，是少數民族聚居區，當地人向來信奉腦袋掉了碗大個疤之類的玩命理論，紹興山清水秀，讀書人眾多，且主要從事腦力勞動（如徐渭），實在不行還可以搞點旅遊服務業，實在犯不著去拼死拼活。
而對於這種地區差異性，單靠訓練是無法解決的，戚繼光確實沒有辦法。
沒辦法就只能湊合著過了，但逢作戰，戚繼光只能安排紹興兵守營，然後去跟處州兵做思想工作，勸說他們奮力殺敵。此來彼往，疲於奔命，每次打完一仗，都得累得半死不活。
為了讓自己不至於在戰死之前，就被活活累死。戚繼光決定去尋找一群勇猛強悍的人，來代替現有計程車兵，組建一支真正戰無不勝的戚家軍。正如他跟胡宗憲所說的那句話——堂堂全浙，豈無材勇？他相信自己終究是會找到的。
一年之後，他終於找到了合適的物件——因為一次偶遇。
嘉靖三十七年（1558），戚繼光因事出公差，事情辦完後，他沒有原路返回，卻兜了個圈子，準備視察民情。
然而當他偶然路過一個地方的時候，卻看到了一幕讓他觸目驚心的情景。
他經過的地方，叫做義烏，他看到的場景，是打架鬥毆。
作為一名見慣殺人放火、屍橫遍野的軍事將領，戚繼光的心理承受能力是相當強的，但他依然被這次鬥毆震驚了，因為這並非一次尋常的街頭流氓打架，從某種意義上說，這是一次載入史冊的鬥毆，是一次改變了抗倭歷史的鬥毆，是一次光榮、成功、團結的鬥毆。
事情是這樣的，義烏原本屬於經濟不發達地區，老百姓都很窮，偏偏老天爺夠意思，該地陸續發現許多礦藏，於是當地的農民紛紛離開耕地，改行當了礦工。
礦自然比糧食值錢，慢慢地義烏人發家致富了，這下子旁邊的窮兄弟永康（今