霍光恽但炎杰和霍去病是异母兄弟关系。
他们的父亲是同一个人，叫霍仲孺，霍去病是霍仲孺在平阳侯府中服役的时候跟卫子夫的姐姐卫少儿所生，之后霍仲孺塾即孢忧离开了卫少儿，又娶了一个妻子生下了霍光，霍去病是霍光同父异母的兄长。
关于这两兄弟：
霍仲孺，本来是平阳县衙役，与平阳公主府侍女卫少儿私通生下霍去病。霍仲孺当初不愿做胎中霍去病的父亲，卫少儿也就从来不曾告诉过霍去病他自己的身世。
当他立下不世功勋之后，他终于知道了前因后果。就在他成为骠骑将军之后，他来到了平阳（山西临汾），向当年抛弃了自己的父亲霍仲孺下跪道：“去病早先不知道自己是大人之子，没有尽孝。”霍仲孺愧不敢应，回答说：“老臣得托将军，此天力也。”
随后，霍去病为从未尽过一天父亲之责的霍仲孺置办田宅，并将后母之子霍光带到长安栽培成材。
霍光十几岁的时候，跟随哥哥霍去病来到京城。霍去病保举他入宫，担任宿卫宫廷的郎官。因为霍光为人端正，办事机灵严谨，深受汉武帝的喜爱。
后来逐步提升为侍中（在内廷侍卫皇帝）。过了几年，霍去病死了，汉武帝就提拔他担任光禄大夫（皇帝身边的官员），经常伴随皇帝车驾出行，回宫时就在皇帝的左右侍奉。
