1937年9月，八路军东渡黄河，开赴华北战场对日作战，建立革命根据地。10月，刚出校门的张振一在山西省赵城县参加了革命队伍，成为一名八路军战士。入伍后，张振一被分配到115师卫训队学习护理知识，很快成为师卫生部的一名护士，随部队参加了午城、井沟等战斗。

在部队与日军频繁的战斗中，出现大量的伤员，使护理工作异常繁重。张振一以极强的责任心和扎实的护理技术，精心照顾每位伤员。1938年7月，他因表现突出，光荣入党。1939年10月，张振一任115师隐蔽医院看护长。

张振一腿脚勤快，脑子也很灵活，在做好护理工作的同时，他积极向军医请教，医生给伤员看病的时候他总是在一边细心观看。一段时间后，他的医疗技术有了很大提高。1940年4月，张振一任师卫生所医助，并逐渐成长为一名军医。

1942年9月，随部队到达山东后，张振一先后在八路军鲁中军区任3师卫生所军医、卫生处科员。12月，他到八路军山东军区第7师卫生部任卫生所所长。许多伤病员从张振一所在的卫生所归队后，经常称赞张振一的医术，他们相互勉励说：“我们要用战斗的胜利来报答医护人员。”这让张振一倍感欣慰。