在康熙帝的众多后妃中，胤祥的生母章佳氏并不据有显赫的位置。她出身一般，是满洲镶黄旗参领海宽的女儿。初入宫，册封妃。她于康熙二十五年生皇十三子胤祥，二十六年生皇十三女，三十年生皇十五女。在四年零两个月内，连续生了三个孩子。这在玄烨中年以后的嫔妃中再无二例，说明她一度很受皇帝的宠幸。但是，她享寿不长，康熙三十八年(1699)去世。

这时，她的儿女尚幼，胤祥14岁，皇十三女13岁，十五女9岁。估计章佳氏本人死时也还年轻。章佳氏死后，玄烨降谕礼部：“妃张雅氏(章佳氏)性行温良，克娴内则，久侍宫闱，敬慎素着。今以疾逝，深为轸(zhěn)悼，其谥为敏妃。”

幼年丧母，胤祥和两个妹妹只好由其他嫔妃代为抚养。据说，抚养胤祥的是德妃乌雅氏，即后来继承皇位的雍正帝胤G的母亲。这种阴错阳差的安排，早早就把他与胤G的命运联系在一起。两兄弟自幼晨夕聚处，感情深笃，胤G奉命教胤祥算学，日事讨论。

每逢塞外扈从，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄;兄扈从塞外，弟也间或有句相赠。胤G长胤祥8岁。这种密切的手足之情，伴随他们终生，经受了严峻的考验，而胤祥人生的得与失，喜与悲，荣与损，起与落，又无不以此种关系来贯穿。