百官雖有怨言，但京城及三輔地區的兵力都是奮威將軍呂布所統，而呂布是王允的心腹，對他的話言聽計從，故此百官也只得把憤懣埋藏得深深的，偶有露出崢嶸的，立即被王允打壓了下去。餘者自然噤若寒蟬，哪敢再有反意？
然而，哪裡有壓迫，哪裡就有反抗。一股暗流慢慢在朝廷中湧動，漸漸地越來越大，勢力越來越強。
呂布屢徵馬騰、韓遂不利，自董卓之後，西涼騎兵聲威再起，經常縱兵掠劫三輔地區，劉協為此深為頭痛。便有朝臣上奏，稱剿不如撫，劉協大悅，於是封馬騰為徵西將軍，韓遂為鎮西將軍，同守涼州，抵禦西域諸戎。
王允也覺得此策甚好，當場也表示同意了。總不能老讓呂布去攻涼州，白白耗費兵力，他的目光已經放在了幷州。因為白波軍的崛起，幷州已四分五裂。上黨、西河、太遠、上郡、雁門、雲中、定襄、五原、朔方各郡太守都自立一方，幷州刺史一職已空缺很久，也沒有人願意去做這個有名無實的刺史。但是如果由呂布出兵幷州，情況將大不一樣，以朝廷的名義將幷州控制在手中，可以震懾那些一直陽奉陰違的各地&ldo;諸侯&rdo;。且以幷州的兵源和財力，無論是西征還是東討，都有了更大的本錢。
馬騰和韓遂獲得如此良機，能搖身一變成為名正言順鎮守涼州的地方大員，自是欣喜不已，當即上表謝恩。三月，馬騰入長安朝見劉協，駐軍於灞橋。王允疑其用心，忙暗中調動呂布大軍佈防，又拒絕了馬騰入朝覲見的要求。
馬騰遂與侍中馬宇、左中郎將劉範等人合兵進攻呂布，二軍相持多日。與馬騰同據涼州的鎮西將軍韓遂聞知，帶兵至長安為其和解，但隨即與馬騰等一起攻打呂布。兩軍大戰於長安以西五十里的長平觀。
呂布武力高強，又有張遼和徐晃兩員悍將相助，初時連勝了幾場，卻不知這是馬騰和韓遂的示弱之計，在連敗幾場後，在長平觀東設下埋伏，呂布大敗，欲退回長安，卻驚愕地發現，長安城已經被韓遂大軍佔領。
原來是朝廷中的諫議大夫種劭、中郎將杜稟等人與馬騰、韓遂合謀，以馬騰所部與呂布靡戰，他們趁其不備，裡應外合，開啟了朱雀門，將韓遂所部放入城，長安遂被西涼軍隊佔領。
呂布無奈，只得率殘兵渡過黃河，襲占上黨，殺了太守張揚，盡得其兵馬、財物，暫時安下身來。
馬騰、韓遂靡下計程車卒中有不少羌人，他們作戰勇敢，軍紀卻是很差。進得了繁花似錦的長安城，自是按捺不住，滿城亂竄，逢著高牆朱門的大戶人家，便撞門闖入，大肆掠劫金銀財物，稍有反抗，刀槍並舉，人頭落地。
剛開始時，他們只是劫財，後來則又劫財又劫色。凡遇到有姿色的女子，一概擄到兵營之中。一時之間，長安城裡雞飛狗跳，哀聲遍地，百姓們紛紛外逃，西涼士兵成為了長安百姓的噩夢。
不過，令馬騰和韓遂感到失望的是，皇帝劉協不在長安城中。他們仔細詢問方知，原來在城破之前，王允不知從何處得來的情報，急急忙忙地帶著朝中的幾名心腹，召集了宮裡的衛兵，護送著劉協和伏皇后從東門逃了出去。
韓遂有心派兵追趕，卻被馬騰阻止。馬騰道：&ldo;公欲做董卓乎？&rdo;，韓遂只得打消了這個念頭。事後想想，韓遂覺得馬騰的話很有道理，做董卓這樣的權臣，最終的結果不會好到哪裡去，還受天下人的指責，還不如好好經營自己的西涼，做個自由自在的諸侯。
馬騰進城後，對羌兵的所作所為十分憤怒，當即組織了精銳衛隊，自己帶頭巡視全城，發現有違反軍紀者立斬。就靠著這樣的鐵腕手段，方維持了長安城中的秩序，百姓們舉額相慶，馬騰的聲望一時無兩。
馬騰心中惱怒王允所為，便前往司徒府，王允的家人應