在清朝皇室中，皇子皇女幼殇的比例很高，康熙帝玄烨的子女也不例外。他的55个子女内，长大成人的只有28人。55位子女的平均寿命，只有2695岁。胤祥的两个胞妹虽长大成人，也都寿命不永。他的大妹妹(皇十三女)20岁受封为和硕温宪公主，远嫁蒙古翁牛特部博尔济吉特氏杜凌郡王仓津，三年后因难产死去，时年23岁。他的小妹妹(皇十五女)18岁时受封和硕敦恪公主，下嫁蒙古科尔沁部博尔济吉特氏台吉多尔济，一年后去世，年仅19岁。这样，两个与胤祥血缘最近的亲人就过早离世了。

胤祥6岁开始在皇宫内就学读书。学习内容包括满汉文化，儒家经典，以及书法绘画。他的师傅法海，是康熙帝玄烨的舅舅佟国纲的第二子，换句话说，法海是玄烨的表弟，也即胤祥的表叔。法海是当时满洲人中不可多得的博学硕儒。他23岁考中进士，授为翰林院庶吉士，又奉命在南书房行走，成为玄烨身边的文学词臣。

康熙三十七年(1698)，玄烨选派他在懋勤殿辅导皇十三子胤祥、皇十四子胤祯(雍正继位后改为允)。胤祯是胤G胞弟，胤祥与胤祯一同就学，同样反映了他与胤G的特殊关系。这时，胤祥13岁，胤祯11岁。他们在法海门下一学就是10年，两兄弟后来才学俱佳，与法海执教有很大关系。

胤祥幼时很得父皇宠爱。13岁时，胤祥第一次离开京城，随父皇玄烨前往谒陵。此后，玄烨经常带他四出巡幸。玄烨一生先后六次南巡，在诸皇子中，随行次数最多的，就是胤祥。玄烨第三、四、五、六次南巡，他都参与其间。

他还随同玄烨巡幸过京畿、陕西西安、山西五台山，或往塞外避暑围猎。这说明，他在青少年时代，曾深得父皇的宠爱。玄烨有那么多皇子，众皇子对他犹如群星拱月，为什么却对胤祥偏爱？