曾紀澤到達俄國的時候，俄國已經派遣使臣布策前來催促條約簽字。曾紀澤得知後便要求俄國外交部令布策折回，對伊犁問題重新談判。在曾紀澤的堅持下，俄國代理外部大臣吉爾斯、副大臣熱梅尼和布策參與了談判。
俄國代理外部大臣吉爾斯見了曾紀澤後，雖然開始覺得有點心虛，但又不想喪失詐騙而來的成果，便拿出一副強硬的態度，說：“你們的全權大臣既然簽約了，就沒什麼好商量了。”
曾紀澤針鋒相對：“崇厚所答應的，大都超過了朝旨的授權，不能不加以更改。”
俄國人說：“你們朝廷要將使臣定罪處死，廢除已經談判好的條約，這樣做有悖國際公法，你們中國人不講道理，我們沒法和你們再談判。”
曾紀澤說：“中國的使臣違背朝旨，定失職之罪，和外國沒什麼關係，你們無權干涉。何況，現在考慮到貴國的顏面，已經將崇厚釋放了。”
俄國人沒話可說，便轉移話題，說：“你們中國現在正在備兵備戰，明擺著想破壞和平。”
曾紀澤說：“我們備兵並非是因為你們而起，主要是防衛邊疆亂黨餘孽，並無不可。”
俄國人說：“既然你們已經備戰，那我們也要派兵備戰，這是你們所挑起的，你們要承擔全部責任。”
曾紀澤說：“你們要這樣說的話，我們也可以反過來說你們想破壞和平。兩國要想和睦相處的話，本就不應該提備戰之事。”
俄國人立刻覺得自己失言，便悻悻然地說曾紀澤不是“全權大臣”，不夠談判的資格。
曾紀澤說：“我現在是大清帝國委派的駐俄大使，完全有議約之權。”（曾紀澤當時是兼任出使英、法、俄三國大臣，相當於駐三國的大使，當時大清帝國外交人才匱乏，駐外大使往往是兼任。）
虎口奪食，伊犁談判曲與折（3）
俄國人見曾紀澤不好對付，只好答應重新談判。
為了給談判增加籌碼，清政府派左宗棠親率大軍離開肅州（今酒泉市），出嘉峪關，向哈密挺進。為了表明收復伊犁的決心，老帥左宗棠出征前命人備好棺木，“抬棺出征”，以鼓舞士氣。左宗棠大軍到達新疆哈密後，準備部署三路進兵收復伊犁：一路由金順進駐精河從正面佯攻；
左宗棠手書“天地正氣”，現存西安碑林
一路由張曜從阿克蘇越過天山進擊伊犁南部；一路由劉錦棠經烏什越冰嶺直赴伊犁西面的後路。（孫佔元：《左宗棠評傳》）
此時，俄國也加緊調兵遣將，不僅增兵伊犁，還在黑龍江以北和烏蘇里江以東部署重兵，並調集了二十多艘軍艦組成一支艦隊，由黑海駛往日本長崎，威逼京津，並揚言要封鎖中國沿海，對清政府進行武力恫嚇。
對於崇厚被判死刑（後改流放）的事情，各國外交代表出於職業同情也紛紛表示反對，英國女王還親自寫信為崇厚說情，緊接著又派人遊說李鴻章說俄國人不好對付，萬一打起來，場面不好收拾，並主動要求為中俄伊犁交涉調停。原洋槍隊長戈登，還特意跑到天津面見李鴻章，不懷好意地說：“俄國人要進攻你們京城呢！如果你們打算作戰，就趕緊把北京的近郊焚燬，把政府檔案和皇帝都從北京遷到中心地帶去，並且準備作戰五年。”（馬士：《中華帝國對外關係史》）
李鴻章聽了之後慌忙上奏朝廷，說北京北邊不安全，離海口又太近，洋兵易於長驅直入，無能阻擋，萬一真和沙俄開戰的話，危險太大。清廷聽後信心動搖，又敦促曾紀澤早日談判。
而當時的沙俄和土耳其關係緊張，加之左宗棠治軍有方，不惜一戰，剛剛在土耳其吃了虧的俄國人思前想後，覺得代價很大，最後不得不降低要求，以談判解決問題。在這種情況下，經過反覆的辯論和艱苦的談判，1881年2月，曾紀澤與沙俄代理外交大臣吉爾斯和布策簽訂了《中俄伊犁條約》和《改定陸路通商章程》，其主要內容包括：
一、 沙俄歸還中國伊犁地區，帖克斯河流域不再割讓，但伊犁西部霍爾果斯河以西本屬於中國領土的土地被沙俄佔去；齋桑湖以東一帶，中俄邊界兩國派員勘改，所有尚未設界碑的中俄各段邊界都要派員勘定，安設界碑。
二、 賠款增至900萬盧布（合509萬兩白銀），限兩年內償清。
三、 俄商在新疆各地貿易，改“均不納費”為“暫不納稅”。
四、 俄商只能到嘉峪關，免去到西安、漢口通商，僅允於肅州（甘肅嘉峪關市）和吐魯番兩地增設領事。