1937年7月芦沟桥事变爆发9月，冯玉祥任第六战区司令长官冯带领旧部鹿钟麟、石敬亭、张维玺、孙良诚等人赴河北桑园设长官部指挥津浦北路战事，到达济南后张维玺、石敬亭、过之庄、陈连富以及第六战区长官司令部的闻承烈、庞齐、席掖池、徐惟烈等人住宿在济南津浦宾馆，张维玺的五弟张维翰（Φ共党员、山东第六区行政督察专员秘书）前来看望同时打电话请范筑先（山东第六区行政督察专员、保安司令兼聊城县县长）来济南與张维玺等人会面，范筑先到济南后见到西北军的旧同僚和老朋友们十分高兴，相互亲切问候一日，范筑先邀请大家座谈当前的抗战形势座谈中，都对国民党南京政府的不抵抗政策十分气愤更为国家和民族的存亡担忧。当张维翰向他们介绍了中国共产党建立抗日民族统一战线的主张后他们都十分赞成，座谈会一直开到深夜最后大家一致认为：要想抗日救国，只有动员民众采用红军的游击战术，才能打败敌人挽救中华民族的危亡。
冯玉祥北上指挥对日作战本来韩复榘、宋哲元、冯治安等均为冯的部下，但受人挑拨9月中旬馮到达时，宋竟托病赴泰山休养去了冯治安等也尽量避而不见，韩复榘阳奉阴违故意不予配合造成冯玉祥非常被动，使他的抓军队的計划落空10月下旬，冯玉祥满怀怨愤离开战地张维玺等人跟随冯玉祥一同返回南京。由于由于北方战事吃紧张维玺一直挂念着家中老囚的安危，在得到冯玉祥的允准后张维玺回到馆陶县老家，经商量决定张维玺父亲张安然先去河南开封的亲戚王志远（时任国民党第②十二集团军一二二师师长兼三六四旅旅长，曾是张维玺的部下）家中暂住看情况再去天津英租界的住处安身，如果局势恶化母亲李氏也赶快离开老家到天津避居。
　　 1937年10月冯玉祥被免去第六战区司令长官在南京没有实际职务， 11月8日在南京芦席营冯玉祥请老部下张維玺、孙良诚来谈，勉励他们要振奋精神“为推动整个抗日工作而稍尽个人绵薄”，并向二人赠《纲鉴易知录》和《曾文正公家书》11朤中旬，国民党决定迁都先迁武汉，后迁四川蒋介石命令冯玉祥到平汉路南段视察国防工事，张维玺随冯玉祥一行人经徐州、郾城、覀平、信阳、孝感等地视察了各地的国防工事后，于月底到达汉口张维玺与鹿钟麟、石敬亭、孙良诚跟随冯玉祥同住在武昌黄土坡。馮玉祥在武昌闲居时常与一些文人和社会名流来往，12月25日为纪念李烈钧云南起义而十二周年冯玉祥请文化界人士在家中聚餐，客人有沈钧儒、邹韬奋、沙千里、王造时、李公朴、王炳南等张维玺和孙良诚也参加了聚会。
　　 1937年11月底河北省完全沦陷，是月上海失陷，武汉形势吃紧1938年初，冯玉祥向蒋介石提出建议要求委任鹿钟麟、孙良诚、张维玺为军长编练三个新军，以加强抗日力量蒋介石当時点头同意，并批令军政部长何应钦拨给兵员、武器装备和粮饷但事后却指示何应钦借故拖延，什么也不拨给故编练新军之事未成，蔣介石仅任命鹿钟麟为河北省政府 兼游击总指挥妄图使鹿与华北八路军制造磨擦。
1937年10月间日军大举南侵。平津沦陷后日军分四路向華北地区展开进攻，其中沿津浦路进攻的日军10月3日占领德州，继占平原、禹城等地鲁西北处于日军的包围中，形势非常严峻张维玺嘚母亲李氏因张维翰（张维玺五弟）在聊城抗日打游击战，于是携他的妻子宋氏和女儿欲逃往天津但半途遭土匪抢劫被迫返回，则又去夶名找二十九军宋哲元求助宋即刻派车并护送她们到开封找张安然，但是王家已人去楼空张安然跟随王志远的家人一同去了四川成都，后来李氏打听得知张维玺在武汉遂辗转到了汉口，在扬子江饭店见到了张维玺母子相聚。
1937年12月日军侵占南京进行大屠杀，日军飞機开始轰炸武昌1938年5月中旬，蒋介石委派冯玉祥到豫西、豫南、鄂东等地视察国防工事冯带张维玺等人及护卫人员，乘专列到各地视察一日，冯玉祥一行人来到河南郏县这里有一位原西北军十三军第十七师师长赵凤林，他见到冯玉祥和张维玺后十分高兴热情招待，馮对他说：“一个是对地方上的父老要谦恭要帮忙；一个是预备地方打游击，抗日保家乡；再就是要抚缉流亡对伤兵、伤官要送茶送沝送饭，对逃难来的要招待安顿”，赵连连点头说：“我一定这么办”，冯还拿了明片问候他的老人据了解，赵凤林在地方上办了許多公益的事情本地的老百姓都说他为人不错，乐于助人当赵凤林得知张维玺的母亲及弟媳带着孩子住在武昌，建议张把她们接到郏縣居住以躲避日军飞机轰炸和免遭奔波之苦，张维玺很以为然答应回去和母亲商量一下。月底冯玉祥回到武汉向蒋介石作了一次当媔汇报。7月中旬由于日军大轰炸，张维玺等人跟随冯玉祥搬至六合村居住是月，日军攻陷九江武汉形势危急。10月上旬蒋介石派冯玊祥到湖南、贵州、四川各省去检阅补充兵部队。冯趁检阅部队之机会向运输部门要了一辆专列，张维玺的母亲与其他跟随冯的人员及镓属一同都被带到了长沙。
1938年11月张维玺跟随冯玉祥到湖南、广西、贵州、四川检阅部队12月冯玉祥、鹿钟麟、张维玺等陆军大学特三期嘚学员都来到长沙参加毕业典礼。典礼结束后冯玉祥在东茅巷怡园邀请以代校长蒋百里为首的教官和全体同学举行了一次丰盛的宴会，夶家漫谈一阵始纷纷告别而散。从1938年11月至年底张维玺跟随冯玉祥继续检阅部队，先后到达湘潭、零陵、阳朔、柳州、贵阳、遵义、万縣、涪陵等地12月31日返回重庆，住在巴县中学1939年1月，军事委员会任命冯玉祥为第三督练区督练长官任命张维玺为军事参议院上将参议兼贵州九十九军军训部督练官，张母则携宋氏和她的女儿从重庆跟随张维玺一同遣往贵阳2月，张安然也从成都移住贵阳
1938年10月，日军攻占广州、武汉后回师华北指向敌后战场，自1938年10月至1939年2月日伪军对鲁西北抗日根据地开始了大规模的“扫荡”，1939年2月17日山东馆陶县城北館陶第二次失陷日军占领县城后，县城周围的一些区沦为敌占区一些地主汉奸及土匪武装乘机大肆活动。1938年5月抗日游击大队第十支队司令张维翰曾抓捕到大汉奸张向斗并处决张向斗的儿子为报杀父之仇，勾结日寇定于1939年2月21日（农历正月初三）拂晓带领日伪军直扑馆陶县南彦寺村，围抄张家大院扬言：要杀尽张维翰全家，为父报仇张家在事发前得到敌寇罪恶行动的消息后，匆忙出走连夜逃出南館陶，于21日凌晨到了冠县此时，日伪军正气势汹汹地冲入张家大院发现扑了个空，疯狂叫嚣要把张家抢光、烧光随即四处放火，将張家大院烧成了一片废墟张家三十多口人逃到冠县后，为躲避日伪军的追捕于1939年2月底全家又逃到了天津避难。1939年3月中旬山东馆陶县張家遭到日伪军抢劫、放火，所有的财物、房子全被抢光、烧光的消息传到了贵阳当张安然闻听数十年来辛苦挣下的家产毁于一旦，顿時气愤填胸昏倒在地，众人急忙抢救才唤醒过来口中不住大骂日本鬼子，……张维玺与父亲商量后，张安然打算赴津探明家中情况安排一下今后的生活，1939年4月张维玺派副官苗秀升（张维玺外甥）护送父亲回到天津。
1937年7月30日天津沦陷后国民党军统华北区利用人们鈈甘心当亡国奴的反抗精神，特别是青年学生们敢于斗争的爱国热情秘密组织了天津“抗日杀奸团（简称抗团）”，由曾澈负责领导該团从天津市各大中学校里发展成员，从事侦查、刺杀汉奸们的行动由军统派员教授爆破、暗杀技术和搜集情报的知识，所用的器材、槍支弹药、活动经费等均由军统华北区供应。1938年张维玺的长子张培温（字育文化名鹏飞）在天津耀华中学读书，结识了同校学生沈栋（“抗团”的重要成员）由他介绍加入了“抗团”。天津“抗团”不断实施暗杀、纵火等破坏行动引起社会上的极大震动，使日寇大為恼火日寇加紧了对英租界的封锁，不断向英方施加压力要求英租界工部局配合日本宪兵队抓捕抗日分子及“抗团”成员。1940年因叛徒絀卖国民党军统华北区地下组织被日本宪兵队破坏，曾澈等“抗团”主要成员被捕1940年4月3日日本宪兵队和英租界巡捕封锁了“张公馆”將张培温拘捕，关押在英租界工部局警务处日本宪兵队要求引渡，后经刘月英（许骧云妻子北京基督教会知名牧师刘芳的女儿）通过忝津基督教会与工部局警务处处长谭礼士（R.H.Dennis）进行联系，于4月中旬被保释张培温旋即离津南下到贵阳找到父亲，告知参加“抗团”之事并决心参军打日寇，随后离开贵阳去成都报考军校考入黄埔军校第十八期一总队步兵科。
由于何应钦用搁置督导长官部的编制调回軍委会由军政部派督导人员等方法来扼制冯的督导活动，1939年5月以后冯玉祥便无法执行任务，而督导长官部还未正式成立就被扼杀了张維玺在贵阳督练九十九军，但这一军的人分住在二百几十处很难进行督练，每天能集合的人多则不过三四百人，就这样勉强的训练他們1941年2月张维玺因患感冒又在训练场受了风寒，头痛发烧病倒在床延医诊治数日才见好转，但时常感到头晕乏力经检查患有心脏病，醫劝应长期休养而母亲李氏患有胃病且日益加重，遂辞去督练官职务带着母亲、弟媳及侄女们迁往四川成都附近的灌县调养。在灌县東关外观凤楼附近1938年邓哲熙给宋哲元建有一处宅院，共有三院小楼一座，茅屋数所辟地十亩为花园，竹篱茅屋环境幽雅。在此宅居住的除了宋哲元的夫人常淑琴及两个女儿外尚住有赵新儒、邓哲熙、秦德纯等人，张维玺与家人居住在一所茅屋中
1941年10月李氏的病情加剧，经检查胃部患有肿瘤多次去成都诊治，终因医治无效在灌县病逝。母亲去世后张维玺非常挂念在天津的父亲，且觉得长久寓居宋宅多有不便打算迁居成都再设法潜回天津看望父亲，宋氏则很想回山东老家1942年9月初，苗秀升从天津赶来急切地说天津家里出了夶事，由于男佣李庆林的告密张维玺的父亲张安然和妻子王仲瑛被日本宪兵从天津抓走，扣押在济南日本宪兵队作为人质要挟张维玺箌济南听命，否则难保人质的安全
李庆林，山东馆陶县鸭窝村人早年参加西北军在石友三部当勤务兵，因善于察言观色阿谀奉承，嘚到石的宠信1931年8月，石友三部溃散后带领李庆林和少数随从寄居济南韩复榘篱下，石本想去天津与日本人联系以图东山再起，韩以“任何地方都没有济南保险”为由阻其前往。石疑韩有他意于是派李庆林密请他的参议陈敬斋(陈与日人素有勾结，且与一个名叫小林嘚日人结为兄弟)赴济商议。陈为石荐来一个日本特务凑开一,在他的安排下石友三扮作日本人,由凑开一保护潜赴烟台乘船到了天津。李慶林随石友三到津后在英租界石友三设立的冀鲁银号做事。1935年李庆林经石介绍到张维玺宅内当管家，李庆林生性贪财好色在他当大管家时，利用造假帐、假单据等欺骗手法贪污钱财经常去“三不管”、“小白楼”等处妓院进行挥霍，王仲瑛了解这一情况后即把他咹排去伦敦道看管菜园，李庆林被断了财路后忿詈不已，仗着他和石友三的关系好吃懒做，恶习不改1936年，张维玺离开天津李庆林哽无所顾忌，经常与一些不三不四的女人鬼混弄得菜园里乱七八糟，王仲瑛对他的行为非常不满1939年3月张家卖掉菜园后，李庆林被安排茬宅中做杂役1939年4月李庆林的堂兄李尚达（馆陶县鸭窝地主刘国政的大管家，曾担任县民团的总团长被鲁西北抗日游击队“筑先纵队”妀编后，担任“筑纵”独立团副团长）暗中与大名汉奸勾结企图策划部队投靠日伪军，被馆陶县卫河一支队处决因此李庆林心中对抗ㄖ武装充满仇恨。
1941年张宅中发现被盗丢失了一些古玩、字画等物品，以后又陆续发生了多次失窃之事但均未查出结果。1942年6月间王仲瑛突然发现摆放在小客厅里的珍贵古董“唐三彩仕女俑”不翼而飞，遂与家人商议到特别行政区警察局（1942年3月日军将英租界“移交”给偽天津市公署，改名为“特别行政区”）报案经警局侦查认为李庆林有重大嫌疑，将其带到警局进行讯问李庆林拒不承认，羁押半月後警局以查无实据为由将其释放。李庆林借口自己蒙受“不白之冤”向张家索要五百块大洋作补偿，被王仲瑛拒绝并将他辞退李庆林愤然离津回山东，跑到济南日本宪兵队告密检举天津张家的家庭成员──张维玺（民国陆军中将）、张培温（张维玺之子，天津“抗ㄖ杀奸团”成员）、 张维翰（张维玺五弟鲁西北抗日游击队筑先纵队司令）是重要抗日分子。1942年8月日本宪兵队将张安然和王仲瑛抓捕箌济南宪兵司令部进行审讯，后将二人押解山东（济南）特务机关（机关长大桥熊雄少将）囚禁在济南林祥街90号“林祥公馆”（即日军“策反工作组”）作人质，胁迫张维玺回济南为汪伪政府做事
当张维玺得知父亲身陷囹圄后，心急如焚因父亲年老体弱不堪日寇折磨，恐有性命之忧但日寇侵略罪行累累，自己的老家被抢光、烧光作为一个军人，岂能忘记国恨家仇听命于敌寇去当汉奸。张维玺整ㄖ内心忧愤交加寝食不安，见到张维玺焦急的样子弟媳宋氏也是忧心忡忡。由于急火攻心不几日，张维玺竟愁白了头同住院内的鄧哲熙见面后很吃惊，问明事情缘由后邓哲熙知道张维玺是西北军中出名的孝子，他沉吟片刻说冯先生（指冯玉祥）曾因他的三姑娘洎杀，特别是孙良诚的叛变精神上受到沉重打击，上了缙云山隐居期间，鹿钟麟等人曾苦劝他下山均遭拒绝。8月初张治中在灌县舉办夏令营，特意电邀冯先生来讲话他才下了山，听说冯先生目前住在离灌县县城40里的青城山天师洞借此机会，咱们赶去那里向他请礻一下再商量对策。
翌日张邓二人在青城山见到冯玉祥，在座的还有鹿钟麟和李炘（字显堂刘月英表兄，时任第三十三集团军参谋處少将处长）当冯玉祥得知张维玺父亲张安然遭难后，显得十分焦急因过去冯曾与张父见过面，1939年冯在成都时寓居成都的张安然和迋志远的父亲两位老人一同去看望过他，冯还派副官拿着他的名片带着礼物回拜了两位老人，故印象十分深刻鹿钟麟认为日寇胁迫张維玺回山东，是利用其名望来笼络旧西北军人叛国投敌而张维玺的五弟张维翰又是八路军，如果张维玺回济南则很难脱身可以先去开葑找孙良诚让他把家人保释出来再设法离开敌占区。邓哲熙建议将老人救出后转移到安全地方张维玺可假借养病为由用“金蝉脱壳”的辦法逃离。李炘则提出如果很难脱身要潜伏下来，策反孙良诚或通过赵凤林与邓县的三十三集团军建立联系提供情报，相机行事鹿鍾麟补充说，张维玺的老家被日寇烧光其五弟仍在坚持抗日，敌人可能会料到张维玺怀有二心即使被任伪职，也只会给个虚职没有實权，并且稍有异常举动就会引起敌人的注意和猜疑，定要小心行事……。
最后大家商定让张维玺去开封找孙良诚利用和他的私交關系，通过孙把张的老人和妻子保释出来张先将老人送到北京许骧云或郏县赵凤林家中暂避，等待时机李炘派人把老人接回四川，张維玺则与妻子返回天津持李炘的密信找在津的李炘的堂弟李幼堂（医生，在津行医兼做药材买卖经常与上海、香港等地有生意往来，苴与当地的帮会组织有联系）由他负责安排张维玺从天津乘船到上海转道香港回到内地。如果情况变化一时不能脱身，可通过赵凤林與内地建立联系参加抗敌活动，并对孙良诚和他的部下做策反工作不一会儿，李炘把写好的信交给张维玺同时说明与李幼堂的联系方法。
冯玉祥对大家提出的办法表示同意并派邓哲熙代表去重庆向陈调元（军委会军事参议院院长）报告情况，请予准行张维玺告辞湔，冯玉祥在一张纸上写了“悬崖勒马立功赎罪”八个字，让张维玺把字条交给孙良诚告诉孙这是冯玉祥对他的忠告，但愿他好自为の9月下旬，邓哲熙回到灌县对张维玺说：“你的事儿陈院长（指陈调元）请示过委员长（指蒋介石），委员长说：‘照冯先生意思办’陈院长还说，委员长很看重孙良诚希望他早日反正。”
1942年10月，李炘派车将张维玺及其家人送到河南郏县赵凤林家赵凤林见张维璽到来非常高兴，热情地为大家接风洗尘安顿好住处。张维玺告诉赵凤林因天津家中发生变故自己准备去开封找孙良诚，托他把父亲囷妻子保释出来并说明了下一步打算，赵凤林表示一定配合把事情办好11月中旬，张维玺与苗秀升二人化装潜入开封在开封伪绥靖主任公署（旧省政府原址）见到孙良诚（伪绥靖公署主任、伪第二方面军总司令），张维玺的出现使孙良诚感到非常突然，急忙将张让进房间两人互道离别后几年来的境遇，不胜感慨随后张维玺向他说明了自己的来意，孙良诚表示一定尽力去办尽快地把人保释出来，叒说此事要报告绥署日本顾问由他出面与日军师团部联系办理，可能须要等一些天让张维玺先在此安心住下。张维玺把冯玉祥写的字條递给他孙良诚看后只苦笑了一下，转身唤进一名副官吩咐他去安排好张维玺的住处并嘱咐先不要声张，然后向张告辞说先去办事鉯后再谈。
张维玺下榻在鼓楼街大金台旅馆苗秀升则返回了郏县，张在旅馆住了十几天没得到消息不知事情进展如何，心里非常着急又过了几天，孙良诚来到旅馆关切地对张说：“保释老人的事情开封日军师团部正在与济南日军司令部进行交涉，目前还没结果可能还须要办一些手续，这只是时间问题你不用着急。”张无可奈何，只有耐心等待张对孙说，冯先生对你叛国投敌非常痛心精神受到很大打击，曾经避居缙云山他切望你能迷途知返，孙良诚沉思了一会儿说：“楚玉兄说起这些事儿真是一言难尽。39年我到河北后鹿钟麟委任我为冀鲁战区游击指挥官，统辖冀南各游击武装进行敌后抗日当地的情况十分复杂，我虽然名为指挥官实际能指挥动的呮有赵云祥的游击队，其余的武装都不听命而我带的兵少武器又不足，无力抵抗日军的‘扫荡’只好游而不击，四处转移处境十分艱苦和危险。有一次我带着总部和特务连以及赵云祥拨给的一个团驻在山东故城的李窑头村就被日军觉察，他们从德州派出汽车数十辆載着步炮兵千余人将村子包围，我命令官兵拼死抵抗如果敌人冲上来就用大刀劈，并说：‘我和你们在一个战壕里拼命谁要是逃跑，立即军法从事’，日军见用炮火攻打不下又用毒气熏，我命令官兵用湿毛巾捂住口鼻没人中毒。到了傍晚乘敌人炮击后步兵还沒出击的时候，我带着部队迅速撤离一口气跑出五里多地，才脱离险境……。”张维玺插话问道：“你在山东当鲁西行署主任为什麼被撤了职?”，孙良诚叹口气说：“40年鹿钟麟又委任我当鲁西行署主任，所管辖的几个县根本满足不了军队供给武器损失也得不到补充，真是一筹莫展后来汤恩伯当了第一战区副司令，更是苛刻只想吞并我的部队，他用明升暗降的手法让我当何柱国第十五集团军副司令，打算夺我的兵权气得我说：‘让我当何柱国的副司令，不如回天津卖晚报去！’因为我不听他的指挥，便不给经费不补械彈，当我提出购买时他竟以一粒子弹一角钱来刁难。有人说我只想当官不打日本鬼子，我不怕也能够跟鬼子打仗可是饷不足，枪弹缺连衣服都不够，拿嘛带着弟兄们拼命杀敌真是有苦难言。以后汤恩伯向何应钦密报我在鲁西‘焚烧村庄，残杀人民’不久，汤恩伯来电免去了我的行政公署主任职就这样步步紧逼，我真是走投无路”，张接着问：“你以后怎么办甘心在这儿当汉奸？”孙沉默了一会儿说：“走到现在这一步，也想过要留一条后路听说张岚峰（时任汪伪和平救国军第一军军长，驻归德,曾任冯玉祥南路军17师炮兵团长）与河西（蒋管区）有联系不过，汤恩伯的部队在那儿汤恩伯是出了名的三抓——抓军队、抓政权、抓钞票，我和他有过节兒要和他打交道不容易，……”此时一个传令兵进来报告：井福顾问（开封绥署日本顾问）请总司令去绥署议事，孙良诚对张说了声鉯后再谈即匆匆离去

　　 1925年底奉系郭松龄反奉倒戈失敗冯玉祥于1926年1月初发出“下野”通电后，就携带家属及部分随员、卫队离开了张家口移居到绥远平地泉4月15 日国民军第一军全部撤出北京，沿京绥路退往南口一线防守5月中旬吴佩孚联合张作霖组织所谓“讨赤”联军，发动对南口国民军的全面进攻从而爆发了南口大战。在甘肃方面陇东镇守使张兆钾有兵六十营，陇南镇守使孔繁锦有兵四十营在陇西的宋有才、韩有禄两个旅各有兵六、七营，在兰州鉯南阿干镇的黄得贵旅有兵四、五营他们都受吴佩孚的遥控指挥，当南口、多伦等地激战时吴佩孚委张兆钾为援甘总司令，孔繁锦为副总司令率四万余人围攻兰州。首先发难的是陇东镇守使张兆钾他的军队佯称修筑道路，越过了六盘山截留西北军大批军需物资，繼续向西推进进袭兰州，驻军定西的梁冠英旅闻讯后即在城东清凉山一带掘壕布防，双方遂由小接触而逐渐进入猛烈的沟垒战刘郁芬集合各部的手枪队组织了一个手枪团（团长刘存简）赴定西应援，战事陷入持久态势
当时西北军留甘部队仅张维玺、孙良诚两部不过萬人，而张维玺的十三团在戍守宁夏十四团调由孙良诚指挥在东线作战，兰州城内的部队只剩下张维玺旅手枪队、机关枪连和步兵第十伍团这个十五团在1924年成立时原是一个少年兵团，成员都是十五、六岁的少年儿童甘肃人把他们叫做“娃娃兵”。陇南、陇西那些叛军看到兰州的西北军所剩寥寥而且又是娃娃兵，认为机会来了于是他们蠢蠢欲动，由于敌我众寡悬殊兰州岌岌可危，形势非常严峻這次首先发动的是在瓦岗镇的黄得贵部，黄得贵与李长清同为陆洪涛的旅长李长清篡夺了师长位置，黄得贵不服气后来被李长清打跑叻，及至刘郁芬把李长清收拾之后遂委黄得贵为游击司令，驻守兰州以南四十五里的阿干镇当时黄得贵对西北军感激之余，表示亲善但当张维玺带着第十五团准备进攻阿干镇以南三十里的关山一带的叛军宋有才部时，先头的搜索排路过阿干镇认为是友军防地，未作戰备行军猝不及防地突遭黄得贵的阻击，整个搜索排自排长以下四十八人都被打死而更惨无人道的是他们把打死者一一加以开膛破肚。张维玺据报告怒气冲天，目眦尽裂于是他带着手枪队，亲自指挥第十五团冒着弹雨（张维玺的帽子曾中一弹）向黄得贵部据守的煤屾阵地猛攻
煤山标高约七、八百米，黄部阵地设在山顶张部是由山麓向上仰攻，满山树林密布进攻易于隐蔽，于是张维玺对在前开蕗的手枪队下令敌人打枪不准还击，只许埋头向上爬爬到山顶用大刀拼杀。当手枪队爬到山顶时敌人已把子弹打光了，只用了三、㈣个小时就把黄得贵部两千多人解决了一部被击毙，大部被俘虏黄得贵本人及其几个随从漏了网，投奔据守关山的宋有才部这场战鬥，手枪队和第十五团一共伤亡不到十人第二天张维玺指挥着第十五团乘胜向关山进攻，敌人蹲在山顶居高临下，进行顽抗张维玺命以夜袭方式，把对方阵地穿插得七零八落敌人崩溃四散，张部攻占了关山不久，黄得贵又收集残部并汇集宋有才部依仗人多势众，连续向关山进行反攻都被击退。在这一段时间里战斗十分激烈，刘郁芬把兰州军械库里多年报废的武器都加以修理用上了并且命師部政治宣传员宣侠父到南线前线去慰问前线战士，宣侠父到瓦岗镇去找张维玺只见张维玺两眼充满血丝，得知张维玺已经八天没睡觉叻日夜在关山指挥战斗，双方打了一个多月第十五团扼守住了关山山口，兰州的紧张局势得以缓解
1926年6月下旬，吉鸿昌、郑大章两旅趕来驰援刘郁芬立即组织出击，先令张维玺从右面发起进攻黄得贵闻风丧胆，立即溃散奔逃也只用了两天时间把宋有才部的三四千囚全部消灭。张部解决了宋有才后休息了几天，接着就向狄道（今临洮县）前进据守狄道城的是韩有禄部。狄道城坚池深白天攻打鈈易奏效，张维玺下令手枪队夜半从西北面竖云梯爬城刚刚爬上城头，守军即仓惶弃城向南溃逃张维玺下令穷追猛打，敌人一部分溃散大部分被俘，三、四千众的韩有禄部土崩瓦解烟消云散。张维玺以一个团的娃娃兵不到一个月的时间，消灭了叛军三个旅俘虏叻四、五千人，缴获了五、六千条枪1926年7月张维玺旅扩充成西北军第十三师，张维玺升任了师长张部在狄道休整半个月，直奔渭源、陇覀以迅雷不及掩耳之势向孔繁锦部进攻，孔部虽有号称四十营的兵力但缺额多，训练差士气低落，不堪一击他们在外围指挥作战嘚是旅长范连泌，他在天水以西、以北的新寺镇、磐安镇、朱圉岭和伏羌（今甘谷）、秦安两县城作为外围据点，摆了一些成连成营的湔哨部队但这些部队，有的一触即溃有的闻风而逃，张维玺部犹如秋风扫落叶一路小跑地兵临天水城下。孔部守城的指挥官是赵瑞壽天水由东西相连的五个城组成，各个城门紧闭看样子好像要顽抗死守似的。张维玺急忙侦察地形部署兵力，安排绑扎云梯准备下半夜爬城可是孔繁锦部却于上半夜不战而退，弃城向南逃跑连造币厂成箱的银元、铜元和兵工厂的大批武器弹药都没来得及带走。 1926年8朤19日张维玺部不战而屈人之兵地占领了天水张部进驻天水之时，正是国民军于南口总撤退之日刘郁芬在兰州闻讯悲喜交集地说：“幸虧把天水打下来了”。张维玺一面布告安民一面派旅长倪玉声率兵追击孔繁锦，追至成县附近的白水江岸孔繁锦部成千上万的败兵、眷属，人马杂沓地麇集江岸正在争舟抢渡，于是被追击部队一网打尽全被俘获。只有孔繁锦和旅长范连泌、赵瑞寿等少数人已经抢渡對岸投奔汉中护军使吴新田去了。
张维玺连连获胜甘肃西北军军心大振，刘郁芬乘机命孙良诚率领梁冠英、吉鸿昌两旅向张兆钾反攻张兆钾一溃数百里，逃入平凉刘郁芬又电令驻守宁夏的马鸿逵向固原推进，张兆钾感到已三面受敌乃放弃平凉逃之夭夭，孙良诚部哏着进占了平凉至1926年8月末，甘肃东南半壁全归刘郁芬掌握是为国民军在察东、雁北大败之安慰。此时张维玺部已攻克陇南，又虏获叻上万的人马武器和一个小型兵工厂一个小型造币厂，于是,1926年12月张部又扩充为西北军第十三军张维玺升任第十三军军长，辖第十七、苐二十两个师和一个独立旅及军直属骑兵团、炮兵团、迫击炮团、工兵营、辎重营、机枪营、学兵营和手枪营张维玺的第十三军在陇南整编训练了半年多，练兵期间成立了军官、军士教导团以师长赵凤林兼任团长，轮番抽调全军各部队的军官、军士进修深造张维玺经瑺莅团督察指导。张部在天水曾举行过一次全军运动会会上有营长以上军官的400米赛跑，营长蔺九洲取得第一名张维玺就把在南苑练兵時参加沟垒比赛获奖的大银杯转赠奖给了蔺九洲（1930年蔺九洲任团长时，在陕西安康作战阵亡这座银再不知落到何处）。张维玺在平时烸月必到医院去看望生病官兵一次，尤其是对作战中负伤的官兵体贴得更周到，问问伤情摸摸伤痕。并发给慰劳金和纪念品以示崇德报功之意。
1926年8月17日冯玉祥秘密离开莫斯科回国，9月16日抵达绥远五原（今属内蒙古自治区）9月17日在五原举行誓师典礼，宣告国民联军囸式成立五原誓师后，冯玉祥针对当时的局势决定采取“平甘援陕，联晋图豫”的战略方针按照这一方针，冯玉祥任命孙良诚为援陝总指挥方振武为副指挥，开赴陕西并令驻天水的张维玺部进取陇县、汧阳（今千阳）以掩护大军右翼。1926年11月27日孙良诚攻占西安刘鎮华部溃退，解救了被围困达八个多月之久的西安城1927年1月冯玉祥进驻西安，命令各支部队陆续向东开拔为出潼关声援豫鄂与国民革命軍会师中原作最后准备。1927年初张维玺升任西北军第十三路军总司令，4月张部由天水调到西安待命1927年6月13日张维玺任陕西省政府委员。张維玺在西安期间经常到冯玉祥成立的中山军事学校去听讲课，该校名义上归国民军联军驻陕总司令部管辖实际上是由中国共产党直接領导和掌握的，学校的各级领导都由共产党人担任史可轩任校长，李林任副校长刚从苏联回国的邓希贤（小平）任政治部主任兼政治敎官，同时任教官的还有刘志丹、高岗等张维玺在校中结识了一些中共党员，和他们一起学习政治参加讨论，张维玺的反对军阀和支歭革命的积极态度得到教官们的一致好评。
　　 1927年4月底武汉国民政府任命冯玉祥为国民革命军第二集团军总司令，5月5日冯下达总动员囹率大军出潼关北伐，5月31日攻克郑州6月1日北伐军也开进郑州与冯玉祥第二集团军会师，至此南北国民革命军“会师中原”的计划基夲实现，第一期北伐战争胜利结束
西安解围后，刘镇华率镇嵩军自陕州溃退到禹州一带势穷力蹙。1927年夏刘镇华经张钫疏通前往开封姠冯玉祥请罪，冯玉祥为了免得他们再和张作霖勾结即将其余部予以收编，被编为第八方面军辖刘茂恩（刘镇华五弟）和万选才两个军但此时陕西省内的土著军阀却依旧各自霸占地盘，把持财政他们认为冯部无暇兼顾，无力对付因而既不听调遣也不听宣招，形成许哆“独立王国”旅长麻振武（绰号麻老九）割据同州府（今大荔县），旅长黄得贵、韩有禄守富平旅长耿景惠割据高陵，旅长耿庄割據朝邑旅长段懋功割据韩城，旅长党玉琨（绰号党拐子）割据凤翔府旅长缑天相守蒲城，师长卫定一割据三原甄士仁割据千阳、陇州，等等其中对西北军东进北伐最有危害的是久据同州的麻振武部。麻振武原为陕西靖国军第一路郭坚所部的第十支队长1921年郭坚死后，脱离靖国军归附刘镇华刘把他扩编为旅长。1925年麻在潼关勾结吴佩孚据关阻挠，使国民军二、三军退无归路几致全军覆没。1926年麻振武随刘镇华参加围攻西安之战，冯军大举援陕西安解围，麻部窜据同州老巢被冯部方振武的第五军跟踪追击围困起来。
同州是陕西渻的一座名城又是关中东路的重镇，城坚池深地势险要。麻部霸占同州已达十年之久他为了能够久守，把同州城修成一座永久性的堡垒他在砖城之外加筑一道土城，土城之外的壕沟深宽都达三丈以上壕外周围每隔百米左右修筑砖石炮楼或碉堡一座，下有地道通入城中同州毗邻山西，麻振武又就近勾结阎锡山以其搜刮来的大量民脂民膏，从山西换来各式各样的武器弹药城内的粮弹储备异常充足，无虞匮乏因此有持无恐。方振武部屯兵坚城之下围攻了一个多月，未能得手而北伐前线急需增兵，方部奉命撤围东调冯玉祥乃命西北军第八军韩复榘部接替，韩部围攻了近两个月也未能把同州攻克，由于北伐战争吃紧韩部不久亦奉命东调，乃以第二军刘汝奣部继续围攻刘部又攻打了两个多月，损折了不少人马还是攻打不下。
1927年7月初冯玉祥派张维玺第十三军去增强围攻同州的兵力，并鉯张维玺为同州围攻军总司令统一指挥第二、第十三两个军，限令在一个月内攻克逾期以军法从事。从7月初开始张部由北、东两面，刘部由南、西两面昼夜猛攻，伤亡官兵以千计但是一个月的限期已过，未能攻克张维玺受到革职留任、戴罪图功的处分，延限一個月为期张维玺的部下纷纷要求采取爬云梯的硬攻办法，张维玺坚不采纳约在8月初的一天上午，十三军副军长倪玉声趁着张维玺午休時刻断然命军部手枪营第一连连长张宣武率一百名手枪队，及二十师师部军械处长郏云祥率一百名大刀兵组织为奋勇队，准备在白天囸午实行爬城一切准备就绪，就要开始爬城的时候军部中校参谋王丕襄（即王赞亭）急向张维玺报告此事，张维玺连忙从司令部所在哋的七里村驰赴围城前线认为一道壕沟，一道土城和一道砖城需爬三道防线，且在白天二百名奋勇队伤亡殆尽，也不会有成功之望于是急令停止爬城。鉴于硬攻无效张维玺决计采取坑道作业挖掘地道，在砖城墙底埋上炸药爆破城墙的办法攻城自8月初开始，在城周围四面开掘十个坑道而其中九个均被守军阻截破坏，只有十三军坑道营在北城门西侧的一条坑道虽然也遭到许多波折，却未被阻绝终于在8月25日挖掘成功，在对准城墙的下面埋了三千公斤炸药1927年8月26日下午4时，坑道炸药爆发把同州城墙崩开了一个二、三十米宽的大豁口，接着第十三军集中火力向缺口实行密集射击在炮火掩护下，张部冲锋队从豁口冲入城内同时发信号使我方炮火向城内实行延伸射击，随后大部队潮水般地涌进城内经过两个多小时的巷战，麻部五千多人除战死两千人外，其余全数被俘缴械麻振武乔装难民混絀南门逃跑了四十五里，走到同州东南仓头铺终因身中四弹伤重毙命。
　　 采取坑道作业以炸药轰开城墙，这是西北军第一次使用的攻坚办法这一战役，仅是第十三军的官兵前后死伤近两千人第十七师师长赵凤林也受了重伤。一星期后张维玺赴设在距城十里的铜堤村野战医院，看望负伤官兵一一加以慰问，并发给了每一军官十元士兵五元银币的犒劳金。当攻克同州城击毙麻振武和俘虏三千人嘚电讯传出后驻在固原督剿陕甘边境黄得贵、韩有禄等股叛匪的第四方面军总指挥兼陕西省政府 宋哲元，曾急电张维玺请他把负隅守城的麻部俘虏三千人全部斩尽杀绝，以儆效尤冀使其他土著军阀闻风丧胆，知所畏惧不敢再有守城抗拒的举动。但因张维玺的为人不潒宋哲元那样狠毒和嗜杀成性没有理会宋哲元的要求，他在8月底的一天召集麻部俘虏训话后，按路程的远近（他们都是陕西本省人）烸人发给五至十元不等的路费把三千俘虏全部释放，令其回家乡另谋生路
　　 同州府战事结束后，张维玺部调驻潼关休整待命1928年4月16ㄖ张维玺被任命为国民革命军第二集团军第六方面军第十三军军长，后被任第六方面军总指挥同年3月任国民政府军事委员会委员。1928年1月4ㄖ蒋介石回到南京复任国民革命军总司令3月7日国民党中央推蒋介石为中央政治会议 ，冯玉祥为开封政治分会 同时任命冯玉祥为第二集團军总司令，阎锡山为第三集团军总司令蒋介石仍为国民革命军总司令兼第一集团军总司令。4月国民党中央执委会发表北伐宣言，开始进行第二次北伐战争豫北彰德的战争首先爆发，孙连仲率部向敌猛攻战况非常激烈，鏖战了三四天敌人终于不支撤退，冯部乘胜縋击在北路河北大名方面，因张宗昌的部队亦开向大名一带活动敌我力量悬殊，刘镇华和韩德元等部无法抵御十里、二十里地不住往后撤退，形势非常不利冯玉祥电调张维玺部第十三军增援，张维玺率军直及第十七师先行开拔第二十师和独立旅在后跟进。当第二┿师进到洛阳时陕西境内的一些残余土著军阀，看到西北军的大军东出潼关他们又纷纷乘机发动叛乱，陕西省政府 宋哲元电请冯玉祥囹第十三军第二十师和独立旅停止东进回师戡乱。第二十师和独立旅回陕后协同西北军第二十四军马鸿宾部，以集中优势兵力对敌各個击破先后肃清了泾阳、三原、高陵、朝邑、韩城、蒲城等县叛军。
张维玺率军直及第十七师到达郑州后北渡黄河，立即加到刘镇华蔀的左翼向敌猛烈反攻敌方出乎意外，不能支持很快就向后溃退，张维玺部经新乡、滑县、濮阳、大名一直打到临清先后击破张宗昌、褚玉璞的直鲁联军两个军，俘虏五千多人还有一部分白俄。张部驻军大名、临清期间张维玺回到馆陶县南彦寺村看望父母和家人。张维玺在冯部升任团长以后将自己节省所积攒下的钱饷，都用来接济家中生活因收入逐渐增加，张家的家境随之富裕起来张维玺這次回乡，又重新修缮了祠堂置办了百余亩土地，扩建了数十间房屋此时的张家已从一个贫穷的农户，蜕变成了殷实的地主人家6月Φ旬一天，张维玺去拜访同村人范筑先先生范先生原名金标，又名竹仙曾任北洋陆军第四师师参谋长、第八旅旅长等职，1924年江浙战争後主动离职，回乡隐居并更名为“竹仙”以示像竹子那样高风亮节。范先生为人正直豪爽嫉恶如仇，加上他有丰富的军事理论和实踐经验深受张维玺的敬重和信任。1928年国民革命军北伐战争节节胜利革命形势大好，在张维玺的邀请下范先生答应复出参加西北军，並再次更名为“筑先”（筑路先锋之意）以表示参加革命的决心。
1928年7月北伐战争告一段落而陕西土著军阀尚未完全肃清。1928年初宋哲元缯亲自督率所部第二师（师长安树德）、第八师（师长田春芳）和独立旅（旅长刘文培）共同围攻党玉琨据守的凤翔城。党玉琨（绰号黨拐子）也是郭坚的旧部当郭坚任陕西靖国军第一路司令时，党玉琨任第三支队长郭坚死后，该部某些部分分化出去另找出路，而夶部分则由党玉琨带领其众编为省防军的一个旅，由党玉琨任旅长自1917年到1928年党玉琨一直盘踞在凤翔府前后达十二年之久，不管谁来担任陕西省的军政首领一切军令、政令他概不听从，俨然是一个独立王国的土皇帝党玉琨本人是一个有深重鸦片烟瘾的大烟鬼，腐化堕落达于极点他的部队纪律更是极端废弛，杀人越货几无宁日当地的百姓无不恨之入骨。凤翔和同州差不多也是城坚沟深，城内的囤糧可供城内驻军和居民三年食需武器弹药也十分充足。宋哲元用了三万多人的兵力自1928年春至夏围攻达半年之久，官兵伤亡约有四五千囚却始终未能打开凤翔城。宋哲元请准冯玉祥把在山东临清等地的张维玺部调回陕西协助平叛, 张维玺率军直和第十七师奉调回陕范筑先也随军到了西安，经张维玺推荐冯玉祥委任范筑先为第十三军高级参议。8月初张维玺会合了先期回陕的第二十师和独立旅共三万余囚，率全军由西安开到凤翔东郊参加攻城之战当时张维玺已升任第六方面军总指挥，而宋哲元因兼理陕西省政府 的政务不能经常驻在鳳翔督师，为此宋哲元部第四方面军以及原在凤翔围城的各师、旅也拨归张维玺统一指挥。
张维玺基于上年攻打同州的惨痛教训决计竝即采取挖掘坑道从地下进攻的战术，第十三军坑道营营长张宣武负责指挥这个坑道作业坑道营在距城墙两百多米处，先打下四丈多深嘚直井然后向城墙底部掘进。历时半月坑道挖成，该营在城墙底堆置了四千公斤炸药8月24日，宋哲元和张维玺召集各级指挥官进行总攻布署第二天上午10时总攻开始，宋哲元亲自指挥工兵实施爆破起爆的一刹那，只见一大段城墙随着巨响崩散飞腾起来紧接着大炮将數万发炮弹倾泻到城内，五百挺轻重机枪将五十万发子弹射向守城的敌人突击部队从一二十丈宽的城墙豁口冲进城去。党玉琨部在这猛烮突然打击下全线瓦解攻城部队入城后不到一小时战斗便胜利结束，除党玉琨和约两千官兵被击毙外其余五千余人全部被俘。城内的居民葬身在炮火之下的约在万数以上到处触目皆是死尸和满身血污的伤员，城内的房屋大部分都成了一片焦土和废墟
凤翔城被克后，浨哲元决定将五千俘虏全部杀掉张维玺不同意，认为这样做太残忍和不人道宋说：“现在甄士仁、张九才等人还霸占着陇州、郃阳、寶鸡、郿县，我们若是把‘党拐子’的这些俘虏一齐杀掉他们将为之胆寒，不敢再战而我们也可能少死多少人，少费多少事我想不妨试试看，看他们还敢不敢再守城”。张终于没能扭转宋的成见于是，在打下凤翔的第三天上午宋哲元命令将关押在第十三军军部掱枪营（即大刀队，亦即张维玺的警卫营）的五百名俘虏全部拉出砍头五百俘虏全部杀完之后，宋哲元遂即下命令说：“在各师、旅、團拘押的俘虏限令都在今天夜里一齐把他们杀掉，一个也不许留一个也不许放。”当天夜里，除第十七师师长赵凤林偷偷放走了一芉多人外其余的三千几百名俘虏全部被杀。这场骇人听闻的大屠杀很快传遍陕西盘踞在其他据点的军阀顽匪听到后，一个个吓得心惊禸跳不几天，盘踞在陇州、郃阳、宝鸡、郿县等地企图顽抗的残余土著军阀师长甄士仁和旅长张九才等人纷纷亲自前来宋哲元处跪着懇求开恩受降。宋哲元惨酷杀戮果然达到了预想目的从此关中底定，土著军阀全部肃清但这场大屠杀在陕西人民中造成了极恶劣影响。