张作霖痛定思痛，下决心“整军经武”，对奉军进行认真整顿和训练。他首先采纳杨宇霆的建议，设立了陆军整理处。陆军整理处是整军经武的最高执行机构，办公处就设立在帅府后面，有后门可以相通，便于随时来往，足见张作霖对它的重视。不过张作霖对整理处的事务并不干涉，他虽然也常来整理处，但不看公文，只是随便看看，找人聊聊天而已。平时除了涉及东三省的重大决策须由张作霖直接掌握外，一切日常有关整军经武的重大事项，包括部队的整编、人事部署、官员升迁等也均由整理处独立负责。
孙烈臣是整理处总监，张学良是参谋长，但他们仅是挂名，负责具体事务的是副总监姜登选和韩麟春。姜、韩二人均为杨宇霆介绍过来的士官同学，二人年富力强、精力充沛，很快便成为新派中的骨干力量。这也同时表明，新派已经在奉军中掌握大权，新旧两派的竞争以新派占据压倒性优势而告终。在新派的推动下，整理处对奉吉黑三省军队进行整编，裁汰三分之一，又添招三分之一，同时取消师制，全部改为旅制，整编后的部队统一以“东北军”作为番号。在整编过程中，为新派独占鳌头立下汗马功劳的“三八旅”得到加强，这支部队原本在直奉战争中损失甚重，经过补充，人员枪械整齐一新，不仅官兵都经过精挑细选，而且装备全部是新式的。
“三八旅”的名称也进行了改变，张学良第三旅改为第二旅，郭松龄第八旅改为第六旅，时称“二六旅”。应该指出的是无论整编前的“三八旅”，还是整编后的“二六旅”，两旅都不分家，张学良也都只充当“甩手掌柜”的角色，一直由郭松龄负实际责任。
接下来的军事改革以“二六旅”为试点。早在直奉战争前，“二六旅”就已开始任用正规军事学校的人为军官，改革后，行伍出身的中下级军官大部都被军校学生所代替。
“二六旅”的成功经验和做法很快又被转用到其他部队身上。相应推出的重要措施之一，是规定全军各旅的参谋长和各团掌握教育的中校团附，必须全部改由军校学生出身的人充任。遇有团营长出缺，一般也要由各部队参谋长、团附以及讲武堂的教官或队长调充。
如此大规模的弃旧纳新，在直奉战争前是根本不可想象的。整理处为此大肆招兵买马，以原籍东北而散落在关内各方面担任军职的人为重点，极力吸纳有海外陆军留学经历，或国内陆大、保定等军校出身的军官。招人的办法也很简单，就是顺藤摸瓜，凭着各人的同学、同乡和亲友等关系，从四面八方一个个地进行招揽。虽看重东北籍，但也不排斥非东北籍的外地人。广西人何柱国与“二六旅”炮兵团长邹作华是士官同期同学，便通过邹作华的关系进入了东北军。
如果说东北大学吸引师资靠的是优厚待遇，东北军能够引起各方面军事人才的兴趣，则主要缘于他们提供的带兵机会。民初自北洋一系起，将领们大多喜欢让行伍出身的人带兵，学生出身的人只能当参谋一类的幕僚，独有东北军与之不同，按照新的规定，去了就有机会带兵。
何柱国投身奉军后，有一年回北京结婚，有人对他说：“你在东北是个中校，如果愿意转到冯玉祥的方面来，可以立即升为上校。”何柱国直截了当地加以回绝，理由就是自己在东北有机会带兵，而冯玉祥方面无此机会。
除了用人制度外，东北军还效仿日本军制，实行军法、军械、后勤独立。各部队以实弹射击和相互之间的对抗演习为主要训练课程，按季校阅评分，后勤方面则进行统一补充，军需沦为长官私人账房的现象自此不复存在。
若干年前，蒋介石在庐山开办军官训练班，曾对人说：“东北有两件事是需要学的，一件是后勤独立，这在我们的部队还没有完全做到，另一件是他们的用人制度。”与直奉战争前相比，经过改革的东北军内部确实开始呈现出一股朝气蓬勃的气象。
“一战”前后，世界军事领域出现了新的变革，美国教授孟禄往访张作霖时曾谈到，他的儿子在欧洲战场从军，所属一师共有两万八千人，与德国人打仗战死了一万八千人，可是包括他儿子在内，好多美军士兵连德军的影子都没有看到过一个。由此可见，近代战争更加注重发挥武器、火力和战略战术的作用，有人称之为“器械的战争”“学术的战争”。
孟禄说他还有一个陆军朋友，新近发明了一种机关炮，每分钟能射击惊人数量的子弹。当时张作霖的几个幕僚听了直伸舌头，都说不得了：一杆机关炮所能射击的子弹，竟然比同一时间段内全中国军队放枪所射出的子弹还多。换言之，这杆机关炮可敌全中国的军队，武器厉害到这种样子，真正是太可怕了。
可是张作霖听了却不大以为然，他对幕僚们说：“欧洲战术，近年我们也稍稍研究，不用听他们吹，两军相见，还是拼命，豁得出死去，便可以制胜。”
那还是直奉开战之前的事，现在张作霖再不会这么想了，因为直奉战争给他上了极其生动的一课。仅以“三八旅”为例，当时直军据守一处村庄，因其工事坚固，抵抗顽强，“三八旅”付出很大伤亡都攻不进去，后来便集中炮兵团的全部炮火，用燃烧弹进行射击。炮击之后，村庄硝烟四起，火焰弥漫，直军的所有防备设施被全部摧毁。