徐林书18岁入伍，正值抗日战争全面爆发的时候，他随部队多次参加反“扫荡”、拔据点等任务。

1938年11月至1940年6月，徐林书在晋察冀2分区4团6连任战士、副班长，先后参加了收复大营镇、冬季反“扫荡”、攻打峪口据点等战斗。1940年8月在百团大战中，他因作战顽强，英勇杀敌，被分区表彰为“模范青年队员”，并荣获青年奖章。9月，在五台地区反击日军“扫荡”作战中，他冲锋在前、不怕牺牲，出色完成了上级交给的任务。

1942年5月，时任晋察冀2分区4团12营6连副指导员的徐林书，带领全连在阳泉一带连续3次袭击敌人，打垮了敌反动组织红枪会。9月，他又带领连队与五台地区民众共同开展对敌斗争，袭击日伪军据点，尔后又组织群众开展与日伪军抢夺粮食的斗争。1944年4月，徐林书跟随独立团先到保安，后调到南泥湾的金盆湾和绥德一带，担负守护延安和黄河渡口的任务。

在解放战争中，他先后参加了保北战役、清风店战役、石家庄战役、平津战役和解放大西北战斗等，曾4次负伤，多次立下战功。