建安四年（公元199年），刘备背叛曹操，杀死徐州刺史车胄，并夺取徐州。他派关羽镇守徐州的中心城市下邳（今江苏省邳州市），自己驻守下邳西边的沛县（今江苏省沛县），形成掎角之势，准备与曹操决战。这个沛县属于沛郡管辖，两者俱有一个“沛”字。由于沛县的面积比沛郡小，级别也比沛郡低，故时称小沛。建安五年（公元200年）正月，曹操击败刘备于小沛，俘虏了他的妻小，刘备仓皇向北逃走，前去投奔袁绍。留守在下邳的关羽被曹操大军包围，关羽本人亦被生擒。

曹操正值用人之际，而且他一向求才若渴，对于像关羽这样勇猛的虎将，自然要收为己用。曹操不仅拜关羽为偏将军，而且对他极为礼遇。曹操十分敬重关羽的为人，担心他无意久留，遂让张辽跟关羽沟通感情。张辽是曹操爱将，也是关羽的好友。当张辽按照曹操吩咐对关羽晓之以理、动之以情时，关羽却说：“吾极知曹公待我厚，然吾受刘将军厚恩，誓以共死，不可背之。吾终不留，吾要当立效以报曹公乃去。”关羽的话表明了四层意思：其一，他深知曹操厚待自己；其二，纵然如此，他也不能背叛刘备；其三，他总有一天是要走的；其四，他不会无功而走，一定会立功后才走。

张辽将关羽的话报告曹操，曹操对关羽的忠义十分钦佩。他对张辽说：“事君不忘其本，天下义士也。”张辽回答曹操：“羽受公恩，必立效报公而后去也。”张辽讲得一点没错，关羽并没有食言，在不久之后的白马之战中，他单刀匹马摘了袁军主将颜良的脑袋。建安五年（公元200年）二月间，袁绍出动精兵十万、铁骑一万，南下攻打曹操，刘备随同前往。大军进驻黄河北岸边的黎阳（今河南省浚县东），袁绍命令先头部队强渡黄河，围攻曹军的前线据点白马县城（今河南省滑县东）。由颜良任先锋主将。当时黄河南岸的曹军主力，集中在白马西南大约二百里的官渡（今河南省中牟县东北）。白马被围，曹操焦急万分，若白马有失，官渡形同被砍断了一只手臂。于是，他亲自前去救援白马，麾下的精兵强将中，有刚刚投降的关羽。

曹军到达白马西边十多里时，拼命攻城的颜良才发觉，连忙转身迎战。曹操下令关羽、张辽二将充当前锋，直取颜良。颜良正在指挥部下行动，而他所在的位置，设置有主将仪仗队的特别标志，当时称为“麾盖”，即华美的旗帜和伞盖。关羽早就锁定麾盖的位置，策马如飞，直奔颜良而去。颜良急忙招架，但为时已晚，关羽冲进敌阵，刺死颜良，袁军失去主将，顿时溃散，白马之围遂被打破。但应当指出，颜良是因刘备说关羽是来投奔袁绍，在对关羽毫无防备的情况下，被关羽突袭斩杀。对关羽而言，这不值得夸耀。

《三国志》卷三十六〈关羽传〉对此的记载是：“羽望见良麾盖，策马刺良于万众之中，斩其首还，绍诸将莫能当者，遂解白马围。” 值得注意的是，关羽是“策马刺良”，可见他杀颜良的兵器，并非横向砍杀的大刀。当时确无后世津津乐道的82斤重的青龙偃月刀。当时骑兵最常用的长兵器，是长矛和大戟，特别是纵向刺杀的长矛。1969年，甘肃武威市雷台汉墓出土，正是东汉末年的墓葬，与三国时代紧密相连。这里还出土了当时的青铜骑兵伫列俑，所持武器皆是长矛与大戟，并无青龙偃月大刀。另据时人刘熙所著《释名》卷七记载：“矛长丈八尺曰槊，马上所持；言其槊，槊便杀也。”一丈八尺（即今4.3米）长的矛，特称为槊，是骑兵马上所使用的兵器；之所以名为“槊”，因槊有方便杀敌之意，故长矛在当时是骑兵最有威力的长兵器。张飞、吕布、典韦、程普等名将，乃至马超的铁骑兵团，史书都记载他门使用的兵器是长矛。关羽刺翻颜良，也应使用长矛。

《三国演义》说关羽其后又与袁绍手下的另一大将文丑对阵。文丑乃河北名将，箭射张辽，斗败徐晃。当他看见关羽提刀飞马而来，却就气势上已先输一截，拨马绕河而走。关公骑的可是赤兔马，一下子就赶上了，一刀将文丑斩下马来。不过，这纯属《三国演义》虚构，文丑并非关羽所杀，而是被曹操杀死的。据《三国志》记载：“绍（袁绍）渡河，壁延津南（驻守在延津南面），使刘备、文丑挑战。太祖（曹操）击破之， 斩丑（文丑），再战，禽绍（袁绍）大将。绍军大震。”

由于关羽立下大功，曹操遂封关羽为汉寿亭侯，并重加赏赐。《三国演义》说关羽在曹操封侯时坚持要冠上“汉”字，其实“汉寿”是地名，“亭侯”是爵位，汉寿亭侯就是汉寿县的亭侯。《三国演义》中将“汉寿亭侯”读作“汉、寿亭侯”，固然能刻画关羽对汉室的忠诚，但并非史实。当关羽得悉刘备的消息后，将曹操赐给自己的礼物一律封还，并留下书信告辞，随后直奔袁营而去。曹操的部属建议追击关羽，曹操却说：“彼各为其主，勿追也。”

《三国演义》继而又虚构了另一情节，关羽为了“义”而付出努力的故事——“千里走单骑”（嘉靖本作“千里独行”）。由于曹操放关羽回到刘备身边的文书，未能及时送达沿途守军之手，关羽单枪匹马，过五关斩六将，回到刘备身边。据《三国志‧先主传》记载，此时刘备奉袁绍之命，正与汝南郡的原黄巾军将领刘辟一道攻打许昌周边。汝南郡位于许昌以南，从许昌到汝南直线距离四百里，身在许都的关羽可以直接南下，回到汝南郡的刘备身边。关羽实在不必自讨苦吃，绕道相反方向的洛阳、荥阳，去破什么关，斩什么将，这实在于理不合。

《三国演义》在文学上有极高水平，但书中却存在不少地理错误，例如第六回讲董卓“劫了天子并后妃等，竟望长安去了。”又描写董卓行至荥阳，其部将徐荣、吕布与曹操激战，董卓取胜后，“自往长安。”荥阳在洛阳以东，董卓挟天子及后妃由洛阳西去长安，应经过新安、渑池、陕县等地，怎么可能走到洛阳东面的荥阳呢？

《三国演义》描写关羽过五关斩六将的过程是这样的：许都→东岭关（斩孔秀）→洛阳（斩韩福、孟坦）→汜水关（斩卞喜）→在镇国寺遇到同乡僧侣普净，并得到其帮助→荥阳（斩王植）→黄河渡口（斩秦琪）→河北。《三国演义》也知道关羽不必绕大圈与刘备会合，故又设定刘备并不在河北，而是孙干在等待关羽，向关羽传达刘备向汝南郡行军之事。关羽在向汝南郡行进途中遇到周仓，又与张飞会合后，再次奔赴河北。其实历史上并无周仓这人，纯属是《三国演义》虚构的人物。历尽艰难曲折，险象环生的重重关卡，关羽终于与刘备重逢。至于过五关中所斩杀的六将，即孔秀、孟坦、韩福、卞嘉、王植、秦琪，在真实的史书中，完全没有他们生平事迹的记载，连名字也全都出自虚构，是纯粹创作的手法。