他的祖父高表是北魏或东魏的安德太守。他的父亲高衡是隋朝的万年县令。高季辅年少时就学习文学和武艺，为母服丧时以孝闻名。他的哥哥高元道是汲县（今河南新乡市）县令，618年隋炀帝死后，隋朝崩溃，汲县人造反，高元道被杀。高季辅带领哥哥的部下，手刃杀兄的凶手，斩首以祭其兄之墓。之后他也参加了农民起义。不久他和李密的部下武陟人李
育德（两唐书作李厚德）一起投降了唐朝。唐高祖授高季辅为陟州（今河南焦作市）总管府户曹参军。
唐太宗继位后，授高季辅为监察御史，弹劾有错误的大臣，不畏权贵。之后转任中书舍人，贞观八年（634年），太宗召近臣，令评价时政得失。高季辅上封事六条，建议：
提升、重用正直诚实清廉的官员。
减少对人民的征募徭役。
控制公主王公的奢侈之风。
提高地方官员的薪俸待遇。
提高皇弟作为长辈在皇子面前的威严。
提高对于平民的关注。
