霍去病打小就被衛青告誡，交朋友可以，但不可結黨。以免被主父偃這種品性的人黏上，霍去病很是不客氣地說：「我並不是你的主人。」
「可我是你弟弟的先生啊。」主父偃笑呵呵道。
霍去病眉頭微蹙，下意識問：「弟弟？」
主父偃看著身側的少年：「霍光！你同父異母的弟弟。」
霍去病不由得多看一眼少年，少年人愣住，沒想到他只是中午沒回來，就多了個兄長，還是威震四方的冠軍侯霍去病。
霍去病看到他便宜弟弟的神色，再一次確定在今天之前，他不知道自己的存在，更不可能想過同他攀親。可是主父偃是怎麼知道的？
主父偃拿錢抵罪，被貶為庶民之後就琢磨去哪兒隱居。
地廣人稀的好處是無主的土特別多，不好的是沒主的地方野獸也多。漢朝民風彪悍，正是因為野獸時常出沒，三歲大的孩子都要拿起鋤頭鐮刀自衛。
主父偃被貶為庶民之後，除了自家人，也就幾個趕車的奴婢，哪能去深山老林裡隱居啊。他不想去瘴氣很多的閩越之地，也不想去苦寒的東北，也不想去匈奴時常出沒的北方和西北地區。再除去藩王的封地，想來想去只能去公主們的封地。
主父偃首先就想到了平陽公主，誰讓她名聲最響亮呢。而想到平陽公主，就不由地想到從平陽侯家中出來的衛家人。
主父偃找人一打聽霍去病的生辰，瞬間決定去平陽縣。
抵達平陽縣再一打聽，還真有一個姓霍的小吏，曾在平陽侯府當過差。
主父偃這人想做什麼的時候，腦袋轉的特別快，不過三天，就在霍仲孺家附近弄了一處小院，置辦了幾垧地，開始了他隱居生活。
然而，主父偃這人過慣了錦衣玉食，以前家中往來無白丁，現在目之所及處皆白丁，主父偃非常不習慣，就打起了霍光的主意。
這些主父偃沒解釋，然而聰明如霍去病稍稍一想就明白其中緣由。霍去病倒是沒懷疑他父親跟主父偃一起算計他。他生父也沒必要跟主父偃這個罪臣摻和。
霍去病笑道：「主父偃，以前有沒有人跟你說過，聰明反被聰明誤？」
主父偃臉上的笑凝固。
霍去病轉向他生父：「我這個弟弟能得這人看中，想來是個聰明的。你若放心，就去給他收拾一下衣物，讓他與我一同回京師。」
霍仲孺還未開口，他的妻忙不迭道：「好好，謝謝侯爺，謝謝侯爺。」
霍去病對他弟弟的這個母親也沒多大厭惡。就憑霍光比他小十來歲，也能看出他生父跟他母親好上的時候，人家頂多十歲，不可能勾的他生父把他母親忘的一乾二淨。
堪堪回過神的霍光又蒙了。
霍去病給隨從使個眼色。隨從過去道：「公子，我們先上車。」
霍光回過神，下意識看這個突然冒出來的哥哥，緊接著又看他父親，臉上儘是不知所措。
霍仲孺道：「到了京師要聽你兄長的話。」接著轉向霍去病：「他以後就拜託將軍了。這孩子若不學好，將軍儘管把他送回來。」
「這點確實值得擔憂。」霍去病瞥一眼主父偃。
主父偃尷尬的很，然而，也只是一瞬間又恢復正常：「侯爺有所不知，令弟——」
「我弟弟的事你比他本人還清楚？」霍去病討厭被人算計。若為他好，霍去病還能忍一下。這人不是為他，而且本人人品還不行，霍去病沒有立即拔劍，還是想到這人以前跟他舅舅關係不錯，給他舅舅個面子。
主父偃被他問的說不出話來。