爱华网1938年6月矶谷廉介被任命为关东军参谋长，成为陆军中具有重要影响力的人物。由于和孙文、廖仲恺、汪精卫、许崇智、王克敏以及蒋介石等有很深的交往，矶谷的中国观在日本军人当中显得比较特别。他认为日本不应该侵略中国，即使暂时不得已侵略，也要尽快以和平为要。而副参谋长石原莞尔却与此相反。石原认为中国终究不能够统一，而且满洲也纯然不是中国的领土，乃满族之地。这种认识不仅是石原，也是日本陆军、政府和财界等多数人的共同认识。
1939年5月，满洲国军队跟蒙古军队在诺门坎发生小规模边境冲突，后演化成为日本关东军与苏联红军的正面对决。朱可夫指挥6个旅70,000名苏联远东军，以机械 化部队击败两个师团约4万名日本关东军。18,000名日军战死或受伤。日本全国震动，平沼骐一郎内阁请辞。关东军司令官植田谦吉及参谋长矶谷廉介被撤职，矶谷廉介转预备役。
1941年12月 日军偷袭珍珠港后向英，美宣战。酒井隆指挥日军进攻英国殖民地香港。经过18日的战斗，香港总督杨慕琦在12月25日向日军投降。外务大臣东乡茂德看重他的才能，劝首相东条英机再度起用矶谷廉介，被任命为香港占领地总督，于1942年2月20日正式上任。1944年12月24日，矶谷廉介调任台湾行政司长，香港占领地总督一职改由田中久一接任。矶谷廉介占领香港期间，日军从香港夺取各样物资，包括强迫市民换取无保证的日本军票。又实行日化教育，禁止使用英语，把香港街道及地名改为日本名；推行疏散政策，迫使香港居民迁回内地。到1945年日本投降时，香港的居民人数降至70万，只及战前的一半。
