师团是平常时期驻扎日本本土的最高一级的固定编制单位，有自己的师团管区，肩负着征兵的任务。既是作战的单位，同时也是拥有军政功能的常设部队。
与此相对应，驻扎满洲（中国东北）的关东军、驻扎朝鲜的朝鲜军、以及驻扎中国台湾的台湾军这些所谓的“军”，是下辖多个师团（或方面军，或像第三军这样的番号军）的规模非常庞大的部队。这些“军”同样也是常设部队。
截至中日战争全方面爆发时为止，除上述的三个之外，再加上一个中国驻屯军，旧日本陆军共计拥有四个这样的常设“军”。其部队长被称为军司令官，由中将或大将亲补，也就是说是由天皇直接任命的。
关东军（司令部 新京 即现在的长春） 辖四个师团，二个独立混成旅团，五个独立守备队，一个骑兵集团（含二个骑兵旅团、骑兵炮兵队、骑兵装甲车队等部队），一个骑兵旅团，及山炮、野炮兵各一个联队等。
台湾军（司令部 台北） 辖二个步兵联队，一个山炮兵联队，二个重炮兵联队及高射炮队等。
中国驻屯军（司令部 天津） 辖一个步兵旅团，及战车队、骑兵队、工兵队等。
其中朝鲜军和台湾军是专为在朝鲜和台湾这个两个当时日本事实上的殖民地保持威慑而组建的军队。关东军则是在制造了九一八事变一手建立了所谓的伪满洲国之后，便直接驻屯在了伪满洲国当地，是伪满洲国实际上的控制者。至于中国驻屯军是在明治三十三（一九零零）年庚子事变（义和团运动）时，与欧美列强（即所谓的八国联军）共同出兵，然后在事变后随列强一同驻扎当地的军队。
关东军的兴起，要从日俄战争结束后得到从帝俄手中转让的南满铁路也是所谓的满铁（旅顺到长春段）控制权之后，日本获得了可在南满铁路沿线每公里驻扎至多十五名（合计一万四千四百一十九名）士兵用于执行铁路守备任务的权益，开始说起。
从此时开始，到二十六年之后策划九一八事变，扶植、炮制伪满洲国这一名义上的所谓“国家”，理所当然的在此期间关东军的兵力也眼看着持续不断地膨胀、扩张。至太平洋战争爆发时，慢慢的变成了了下辖十三个师团，总兵力超过七十万规模超级庞大的“军”。这主要是因为关东军内部不归师团直辖的独立混成旅团以及独立守备队之类的单位数量很多，还配属有与师团级别相当的航空部队的缘故。
如果仅仅是为维持伪满洲国的治安，显然没有必要集结这样多的部队。其真正的目的其实是为了入侵苏联而准备的（为实现这个目的在一九四一年七月至八月举行了关东军特种演习，史称“关特演”。结果，对苏作战计划后被搁置）。
这样规模庞大的部队，光一个关东军司令部的人员（包含一百三十名军官在内共计约六百人）就都一眼望不到头了。关东军司令部除自身除所需人员外，直属部队还包括有三个师团、关东军防疫给水部（即所谓的七三一部队，以研究细菌战而臭名昭著）、以及旅顺要塞司令部等。除此以外的其他部队由五个番号军（第三、第四、第五、第六、第二十军），两个司令部（关东防卫军司令部、航空兵团司令部）分别指挥。
虽然关东军在早期（最初叫满洲驻屯军、一九一九年改称关东军）只是一支规模很小的单纯负责沿线铁路安全保卫任务的“守备队”，但是以九一八事变为契机，伴随着此后中日全面战争的长期化，也被赋予了作战任务并慢慢地发展壮大起来。不过，谈到其真正的作战对象应该说还是苏联。
伪满洲国是日本事实上的殖民地，而朝鲜和台湾的情况则不一样，当时已经被吞并为日本的领土。因此朝鲜军和台湾军这两个“军”成立的最大的目的是维持当地的治安和试图颠覆日本统治的活动。这两个“军”与被称作为总督的当地最高行政长官互不隶属，只是在必要时可接受总督提出的请求出动维持治安。
战争开始后为了作战而临时组建的“军”虽然也被叫做“军”但是在性质上与关东军、朝鲜军或台湾军这样的“军”不同。当年在日清战争期间组建的第一军、第二军，在日俄战争期间组建的满洲军（第一至第三军）都属于这种性质的军。这种战时临时组建的军级单位在战争结束之后就会被撤销编制，即使是在战争过程中也有一定的可能因为种种原因被裁撤。
中国派遣军是在中日战争（七七事变）中途组建，并且直到日本宣布无条件投降为止一直保存其建制的“军”。
自昭和十二（一九三七）年七月七日卢沟桥事变爆发以来，日军组建了好几个“军”并且进行了一系列的眼花缭乱地的改编。
首先是组建了上海派遣军赴华参战，接下来又将中国驻屯军升格成为了华北方面军。紧接着又组建了第十军实施了杭州湾登陆作战。此后又进一步将上海派遣军与第十军合并为华中方面军。而在三个月后（一九三八年二月）该部又被更名为华中派遣军，上海派遣军和第十军的建制则被就此撤销。于是在一段时间内华北方面军与华中派遣军在中国战场上的地位形成了旗鼓相当的局面。为对上述两者实行统一的指挥而成立的“军”于昭和十四（一九三九）年九月组建，这就是中国派遣军。此后，华北方面军的建制被继续保留，而华中派遣军便就此被撤销了。
图中从左至右分别为侵华日军第三舰队司令官长谷川清、华中方面军司令官松井石根、上海派遣军司令官朝香宫鸠彦王、第十军司令官柳川平助。
这种因战争而临时组建的“军”级建制单位，具有依真实的情况随时都可进行改编或被合并或被撤销的性质。尤其是在中日全面战争（七七事变）初期，从一开始战争的目的就不明确，战争是在一种完全不知道接下来的战线究竟将要延伸到哪里？究竟要占领哪些地方？部队要动员到何种程度？究竟何时退兵？的状态下进行的，因此引发了相当的混乱。如此大规模的战争对待起来却如同儿戏一般。上述组建的各种名目的“军”的编制变迁如实地反映了这一点。
一般认为中国派遣军的组建代表大本营对于中日战争终于有了一个比较固定的方针—认为当前虽已占据了包括武汉三镇（武昌、汉口、汉阳三城市，即现在的武汉）和广东在内的广大地域，但已无力继续发动攻势扩大占领面积，于是决定让大军直接驻防于各占领区，转入持久作战。其兵力最重要的包含有：
除此以外，还拥有通信队、铁道部队、气象部队、兵站后勤部队和宪兵部队等，总兵力将近七十万。这些部队虽然全部归中国派遣军统一指挥，但是因为在“军”的下面还编有好几个“军”，因此为了与下辖各军加以区别，又分别在中国派遣军的司令部和司令官前面加了一个总字，称呼为中国派遣军总司令部和总司令官。于是相对于单纯的“军”又出现了一个“总军”的称呼。
在太平洋战争中指挥南方作战的“南方军”、大战末期在本土组建的第一总军，第二总军也同样都有总司令部和总司令官之类的说法。至于关东军虽然与上述的这种临时组建的“军”在发展沿革和性质上均不一致，但同样也在昭和十七（一九四二）年十月将司令部改称总司令部，从昭和十九年四月开始将司令官改称为总司令官。
太平洋战争中的“南方军”是战争初期为了攻占马来半岛·新加坡、菲律宾、爪哇、以及缅甸的而设置的总军级单位。拥有可由自己直接指挥的航空部队，以及直属的第十四军、第十五军、第十六军、第二十五军共四个军。
至战争末期归其统一指挥的部队已包括有四个方面军、两个航空军、和一个地区集团（帕劳地区集团）。构成方面军的各番号军如下所示：
第十八方面军（曼谷）：辖第十五、第二军，第十八、第三十七、第三各军。
虽然在这些军之中，有些是诸如第四航空军、第三十五军以及第十八军这种，早已仅剩下番号，基本上处于毁灭的状态只保留有一些小部队的空架子。但总而言之，光是一个南方军就已经下辖了如此为数众多的“军”了。
除此以外，在太平洋区域还有诸如驻拉包尔的第八方面军、驻台湾的第十方面军、驻特鲁克（马里亚纳地区）的第三十一军、以及驻硫磺岛的小笠原兵团等部队以大本营直辖的形式残存。
关东军也在战争末期编成为了三个方面军，分别指挥其下辖的七个军。而中国派遣军则是以两个方面军分别指挥九个军。
至于日本本土在太平洋战争刚开始的时候曾布置有六个军，此后为了准备本土决战，又分别组建了第一总军（负责东部地区）和第二总军（负责西部地区）以及航空总军。其中，第一总军下辖有三个方面军（共计八个军或兵团），第二总军下辖有二个方面军（共计五个军），航空总军直属有四个航空军。
至终战时为止，旧日本陆军作战序列内共计拥有六个总军（含航空总军）、十七个方面军，约五十个军的建制，麾下兵力推定约五百五十万人。而在此时阵亡将士已累计超过二百三十万人（中日战争+太平洋战争）。