揚了道家，這說明他是深受當時流行的黃老思想的影響的。司馬談在這篇論文中所表現的明晰的思想和批判精神，無疑給司馬遷後來為先秦諸子作傳以良好的啟示，而且對司馬遷的思想、人格和治學態度也必然有影響。漢武帝即位後，司馬談做了太史令，為了供職的方便，他移家長安。在此以前，司馬遷“耕牧河山之陽”，即幫助家人做些農業勞動，同時大概已學習了當時通行的文字——隸書。隨父到長安後，他又學習了“古文”（如《說文》的“籀文”和“古文”等），並向當時經學大師董仲舒學習公羊派《春秋》，向孔安國學習古文《尚書》。這些對年輕的司馬遷都有很深的影響。
司馬遷在二十歲那一年開始了漫遊生活。這就是他在《史記·太史公自序》中所說的：“二十而南遊江淮，上會稽，探禹穴，規九疑，浮於沅湘。北涉汶泗，講業齊魯之都，觀孔子之遺風，鄉射鄒嶧，乙困鄱薛彭城，過樑楚以歸”。歸後“仕為郎中”；又“奉使西征巴蜀以南，南略邛、笮、昆明”。以後又因侍從武帝巡狩、封禪，遊歷了更多的地方。這些實踐活動豐富了司馬遷的歷史知識和生活經驗，擴大了司馬遷的胸襟和眼界，更重要的是使他接觸到廣大人民的經濟生活，體會到人民的思想感情和願望。這對他後來著作《史記》有極其重要的意義。
元封元年（前110），漢武帝東巡，封禪泰山。封建統治階級認為這是千載難逢的盛典，司馬談因病留在洛陽，未能參加，又急又氣，生命危在旦夕。這時司馬遷適從西南迴來，他就把自己著述歷史的理想和願望遺留給司馬遷，司馬遷流涕說：“小子不敏，請悉論先人所次舊聞，弗敢闕！”三年後，司馬遷繼任為太史令，他以極大的熱情來對待自己的職務，“絕賓客之知，亡室家之業，日夜思竭其不肖之才力，一心營職以求親媚於主上”。並開始在“金匱石室”即國家藏書處閱讀、整理歷史資料。這樣經過了四、五年的準備，在太初元年（前104），他主持了改秦漢以來的顓頊歷為夏曆的工作後，就開始了繼承《春秋》的著作事業，即正式寫作《史記》，實踐他父親論載天下之文的遺志。這年司馬遷是四十二歲。
正當司馬遷專心著述的時候，巨大的災難降臨在他的頭上。天漢二年（前99）李陵抗擊匈奴，兵敗投降，朝廷震驚。司馬遷認為李陵投降出於一時無奈，必將尋找機會報答漢朝。正好武帝問他對此事的看法，他就把他的想法向武帝說了。武帝因而大怒，以為這是替李陵遊說，並藉以打擊貳師將軍李廣利。司馬遷就這樣得了罪，並在天漢三年下“蠶室”，受“腐刑”。這是對他極大的摧殘和恥辱。他想到了死，但又想到著述還沒有完成，不應輕於一死。他終於從“西伯拘而演《周易》，仲尼乙而作《春秋》，屈原放逐，乃賦《離騷》，左丘失明，厥有《國語》”等先聖先賢的遭遇中看到自己的出路，於是“就極刑而無慍色”，決心“隱忍苟活”以完成自己著作的宏願。出獄後，司馬遷升為中書令，名義雖比太史令為高，但只是“埽除之隸”、“閨合之臣”，與宦者無異，因而更容易喚起他被損害、被汙辱的記憶，他“每念斯恥，汗未嘗不發背沾衣”。但他的著作事業卻從這裡得到了更大的力量，並在《史記》若干篇幅中流露了對自己不幸遭遇的憤怒和不平。到了太始四年（前93），司馬遷在給他的朋友任安的信中說：“近自託於無能之辭，網羅天下放失舊聞，考之行事，稽其成敗興壞之理，凡百三十篇。”可見《史記》一書這時已基本完成了。從此以後，他的事蹟就不可考，大概卒於武帝末年。他的一生大約與武帝相始終。
司馬遷接受了儒家的思想，自覺地繼承孔子的事業，把自己的著作看成是第二部《春秋》。但他並不承認儒家的獨尊地位，他還同時接受了各家特別是道家的影響。他的思想中有唯物主義因素和批判精神，特別由於自身的遭遇，更增加了他的反抗性。班彪、班固父子指責司馬遷“是非頗謬於聖人：論大道則先黃老而後六經，序遊俠則退處士而進奸雄，述貨殖則崇勢力而羞貧賤”，這正說明了司馬遷的思想比他的許多同時代人站得更高，而為一些封建正統文人所無法理解。我們今天正是從這些封建正統文人的指責中，看到了司馬遷進步思想的重要方面。
《史記》是我國曆史學上一個劃時代的標誌，是一部“究天人之際，通古今之變，成一家之言”的偉大著作，是司馬遷對我國民族文化特別是歷史學方面的極其寶貴的貢獻。全書包括本紀、表、書、世家和列傳，共一百三十篇，五十二萬六千五百字。“本紀”除《秦本紀》外，敘述歷代最高統治者帝王的政跡；“表”