世凱。凡以為不可行的一定要到總統府要求緩辦或不辦，有時當面和袁世凱爭得面紅耳赤，不肯退讓。理由之一就是責任內閣要對國家負責，總理也要對國家負責。言下之意就是不對袁世凱負責。袁表面上不反對，心裡卻視之為大逆不道的話語，這樣一來就給反唐的人一個藉口。起勁地在袁世凱面前詆譭他。
時間久了，袁世凱越發懷疑唐紹儀有挾同盟會以自重，並從他的北洋系中獨樹一幟、自立出去的意思。
這無疑更加加重了袁世凱對他的忌憚。為阻撓責任內閣制的實行，袁世凱唆使內務總長趙秉鈞和財政總長熊希齡等人進行公開*。趙、熊等在國務會議上竭力反對劃清總統府與國務院地許可權，主張事事奉令承教於大總統；反對國務院為有機政體，主張各國務員可“單獨行動”，不必固守國務院的成議。討論各項政策，他們也決然與各同盟會閣員立於對立地位。到後來，趙秉鈞索性經常不出席國務會議，有關內務部公事。直接向袁世凱報告，根本不把唐紹儀放在眼裡。
但袁世凱的壓迫並沒有使唐紹儀完全屈服。例如，在政府用人問題上，他仍舊主張“貴新不貴舊”，非萬不得已，“決不可以延用舊人”。有時和袁世凱爭得太厲害以至於使袁氣急敗壞地說出“我們沒幾天好做的，這個位置早晚要讓給你們地。”將唐紹儀劃入到同盟會一邊，唐這才大吃一驚，知道袁世凱對自己起了猜疑。
插手眾議院議長的任命，讓袁世凱最終確定了唐紹儀跟自己非是一路人，尤其是看到他竟然聯合同盟會眾議院在參議院駁回了自己的任命。他任命的內閣次長張元奇的離職更是令他感覺到自己似乎被唐紹儀扇了一巴掌，讓他感覺這個大總統的威嚴蕩然無存。
袁、唐之間的衝突終於以借款問題為導火線而公開爆了。早在袁世凱就任大總統之前，他便透過朱爾典的關係聯絡上了四國銀行團，商議借款的事情了。後來先後又有國家加入，因為他的地位不斷的穩固，從洋人手中他先後的接到了數百萬的借款，只不過大都用於編練他的北洋新軍，只有極少數最後到了財政部，又從財政部中擠出來一部分給唐紹儀使用。而這些錢對於一個迫切想要有所作為的內閣總理來說實在是太少了！
於是唐紹儀最終繞開了袁世凱，自己親自拜會了‘華比銀行’北京分行，最後透過這家比利時銀行借款100萬英鎊，年息5厘，以京張鐵路餘利作為擔保，用於改善內閣財政，同時有所作為。
6月14日，借款敲定，訊息這才產出之後引起軒然大波。
京張鐵路乃是袁世凱跟列強銀行團大借款的抵達之一，無論是袁世凱還是列強銀行團在合約簽訂後都是大怒，一致向袁世凱抗議唐紹儀的借款所為，同時聯手打壓華比銀行。同時各國公使聯手往外交部遞交抗議書，要求內閣取消比利時借款，更是無理要求凡大借款應與各國公使直接交涉；拖到6月27日，內閣終於抵擋不住壓力正式覆函列強各國，同意取消比利時借款，並答應今後不以從列強銀行團借得之款償付比利時之款。三天後，唐紹儀被逼得沒有辦法，不得不與四國銀行團代表商談，日、俄也有代表參加，唐紹儀鑑於財政困難，請銀行團即日交付3500萬兩，以解燃眉之急，自本月起到12月止，每月交付1000萬兩。銀行團先以唐曾向比利時華比銀行借款，逼他“謝罪”，後又宣告，需中國。政府先將每期所交付借款之額數和用途指明，並擔保以鹽、茶稅以及改良後收入增加地實數，詳詳細細編制一張預算表，交付銀行團。
訊息傳出，全國輿論譁然。待正式照會到國務院後，唐紹儀大怒，說這是列強企圖控制我國財政的條件，萬萬不能答應，斷然拒絕了銀行團的要求。這樣一來，銀行團大為不滿。《泰晤士報》攻擊唐紹儀“不願借款告成”，“以致中國各界各國政見，竟有排外舉動”。這個舉動也使唐、袁之間矛盾計劃激烈的衝突，袁世凱認為唐紹儀損害了他和*列強之間的關係，便改派財政總長熊希齡與銀行團交涉。
至此，袁世凱跟唐紹儀之間的矛盾已經完全不可調和，於是開始準備更換自己的心腹代替其就任內閣總理。7月6日，陸軍部、工商部、內務部等數個內閣部門總長聯手向參議院遞出彈劾，大有非推唐下臺不可之勢。而此時的參議院畢竟還是同盟會的席位佔了多數，有唐紹儀在任內閣總理之時，袁世凱的權力多少受到限制，若是他不在了勢必袁世凱將無所顧忌。於是孫中山攜宋教仁親赴北京說服各省同盟會籍議員，最後以微弱的差距導致第一次彈劾唐紹儀不成。
投票結果令孫、宋二人大驚，同