张亮出身贫贱，年轻时以 务农为业。 隋朝末年，李密率领瓦岗军在 荥阳、 开封一带征战，张亮前去投奔，但是没有得到重用。
后来， 瓦岗军中有人密谋反叛，张亮向李密告密。李密认为张亮是忠诚之人，便任命他为 骠骑将军，隶属于黎阳（今河南 浚县）徐世绩麾下。
效力秦王618年（武德元年），张亮随徐世绩投降 唐朝，被任命为 郑州刺史。当时，郑州被王世充夺取，张亮无法赴任，便逃到共城山，不久，张亮被改封为检校定州 别驾。621年（武德四年），刘黑闼作乱，徐世绩奉命讨伐，命张亮守卫 相州（今河南 安阳）。张亮见敌军势大，弃城逃走。
后来，张亮得到房玄龄的推荐，被秦王李世民召入天策府，担任 车骑将军。张亮逐渐得到李世民的赏识，被视为心腹之人。
626年（武德九年），李世民与 太子李建成的矛盾激化。张亮奉命到洛阳，秘密联结 山东豪杰，以备局势变化。齐王李元吉得知，便到唐高祖面前告发张亮图谋不轨。唐高祖命 有司拷问张亮，张亮紧守秘密，最终得以释放，遣回洛阳。不久，李世民发动玄武门之变，诛杀 李建成、李元吉，登上帝位，是为唐太宗。张亮因功被封为右卫将军、 怀州总管、长平郡公。
