汉宣帝执政期间，汉朝进入了一个繁荣的时期。在这段时间里，匈奴内部发生了一系列权力斗争，最终导致五个单于分立，并互相攻伐。呼韩邪单于被其兄弟郅支单于击败后，他与大臣商议决定向汉朝求和。于是，他带领部队来到长安，与汉宣帝会面。

在长安，呼韩邪单于受到热情接待，被视为贵宾。他要求返回匈奴，但首先需要得到汉朝的帮助。汉宣帝答应了他的请求，并派出两位将军及一万名骑兵护送他返回漠南。此外，为了缓解匈奴内战引起的粮食短缺问题，汉朝还额外提供了三万四千斛粮食。

呼韩邪单于对此表示深深感激，并决心与漢朝维持友好关系。随着这一事件的传开，加上其他西域诸国也纷纷与漢朝建立联系，对於漢元帝而言，这是一个极佳的外交成就。在他去世后，其子刘奭继位，即漢元帝。

然而，在公元前33年，当时的郅支單尊侵犯西域并杀害了漢使者之后，漢軍再次入侵康居，将郅支単尊击败并杀死。这标志着呼韓邪單尊的地位得到了巩固。此後，他再次前往長安，以求與漢朝进一步加强關係。

這一次，他提出要與王昭君结婚，而非一般的大臣女儿或公主。这是因为当时没有愿意赴任的人选。当中有一個宮女叫做王昭君，她不僅美麗又有見識，更願意自願地離開家鄉為此行。她最终被選中並與呼韓邪單尊結婚，這一舉措對於兩國間保持和平具有重要作用，並維持了六十多年的和平狀態。