1924年冬，冯玉祥、孙岳、胡景翼发动“北京政变”。此时，好友何遂出任国民军第三军孙岳部参谋长兼第四师师长，邀请闲赋在家的吴石出山，任该师军械处处长并统领炮兵，兼任南苑干部学校教官。但国民军仅一年多便在直奉两军夹击下瓦解了。这时，蒋介石在南方誓师北伐，朱绍良任总部参谋长，委吴石为作战科长。1927年，方声涛回福建主持政务，吴石又回福建任军事厅参谋处处长，致力整顿本省民军。1929年冬，已是福建省军事厅一员、事业渐入佳境的吴石作出一个异乎寻常的决定——到日本学习军事。这种人生轨迹的转变，在一般人看来是不可思议的。
吴石的想法得到方声洞烈士胞弟、省政府代主席方声涛——这位曾留学日本的长者的理解和支持。他找到方声涛，向他表述自己的想法。从日本留学回国的方声涛鼓励吴石走出国门，继续军事学习，争取更大的建树。并答应他留学经费由他想办法解决。方声涛一番话，让吴石那颗悬浮的心静了下来。在方声涛的大力支持下，吴石最终取得公费保送的资格。
为什么吴石在事业颇为顺利的时候别离祖国远涉海外？应该说原因是多方面的。这其中既有吴石对当时国内军事现状的失望，也有对现状的厌倦，试图寻找自己生命的新坐标。吴石在《自传》中对留学缘由有简要的叙述：“余自出校任事以来，备受刺激，感想良多。时届第一次欧战之后军事学术已日新月异，诚有再求深造之必需，每与曩曾留日之同学返，获知日本陆大组织健全，颇负时誉，乃谋东渡求学。”这里谈的意思是因国内军事弱后而有意去深造，要深造就要到最知名的日本陆军大学，学到当时最好的理论，走上“为往圣继绝学，为万世开太平”的治学之路和修行之道。另一方面的原因，吴石在《自传》中并没有明白说出。那就是：保定军校毕业后，累遭不顺。尽管怀着改善人民生活的愿望，从事地方行政工作，由于当时政治的混沌，深感力不从心，隐退出国、摒弃尘事的想法自然也一度占据他的脑海。
想法归想法，实现起来不是想象那样简单。吴石后来回忆：“日本陆大极不易入，虽收中国学生为第一种政策耳，初系每年招收一次，后易为三年一班。余抵日后，方知最近一班入校仅一年，须待其毕业，始得收新生，当时，颇感彷徨。一般友好咸劝余不如先入炮兵专门学校，余纳其言，爰补习三月，为投考炮校之准备。初日本各兵科学校皆可保送，无须考试，厥后来者渐多，乃废保送之例，而且考试极严，余幸应付裕如，幸获考取。”①这说明，一开始他有些费力地去适应所面临的变化。毕竟，日本军事教育体制不同于中国。
经过近一年的折腾，1930年秋，吴石从日本炮校毕业，埋头准备报考日本陆军大学，一个新的情况出现了：“此时投考日本陆大难关重重，第一因为来考者多，合各省籍计共四五十人，余为福建省政府所保送，限于经费，无法继续，势须先解决学费困难问题，余遂返闽交涉并至南京请愿。当时，日本陆大限定我国学生名额，每期仅六名，来考者四五十人。中间有知难而退者，但仍有十人候考。余志在必得，虽知困难，意不稍馁，乃竭其全力准备，延富有应考陆大经验者二人为导师。准备三个月后，始往应试，与试者四十人，而录取名额仅六名，群感希望甚微，乃于考后向日政府交涉增加名额。时幣原当政，对吾国比较缓和，允增两名，共为八名，余幸录取入校。”②这段亲身的回忆表明，吴石能够进入日本陆大确是极不容易，颇费周折的。
“日本陆大于入校时，限制极严，非确实后秀之学生，决难幸致，日本学生，视此为最重要之关头，除具特别天才者外，自准尉以上，非经过数次考试，不能入选。在校时，功课繁重，每日皆有作业，平常能考列前茅者，率皆苦下工夫，往往彻夜不寐。余知其然，故三年在校片刻不懈，各科作业，皆按时交足，对其他科目如外国语、骑术等，他人多等闲视之，余独郑重其事，从未缺席，授外国语等项辅助科目时，往往仅得余与一二人到场而已。至于所作之战术案，日教官颇重视，常付印分送，并命余登台讲述，参谋本部公译留日学生，以余为最有心得之一人。”③从这一段回忆性文字中，可以看出吴石当时是十分珍惜来之不易的学习机会，学习之刻苦，目标之明确，心得之特别，成绩之突出，成为“最有心得之人”在情理之中。因在校成绩优异，在同一拨同学中有人给他安上“十二能人”（即能文、能武、能诗、能词、能书、能画、能英语、能日语、能骑、能射、能驾、能泳）的头衔。对于这样的头衔，吴石一一照单笑纳，颇感自豪。
在日本全家泳后留影
当时军校生活如何紧张，因资料难觅，尚无从考证，但从吴石的诗作中仍可寻到一些踪迹，感受到当时的情形。在《东瀛诗章》中吴石写道：
初秋，入立川飞行联队，辙乘飞机上高空，观览一切，大快人意，吟长句以记之。
晚世百工竞技巧，能造云车凌苍昊。
溟鹍掣霄轻凡禽，天马行空不由道。
我砚殊俗域外来，每乘飞毂獲人推。
一叶飘飘颢穹里，四大无碍从徘徊。
夷则凉天继阑暑，鹏翼翛然更快举。
初时离地作盘空，好似轻舟自容与。
俄而高翔如升阶，但有清风相与偕。
愈上愈出红尘表，行叩阊阖窥无涯。
逾时凝眸一下视，白云远在脚根底。
杲杲东旸分外明，时腋太清无秽滓。
斯时斯景原难忘，羽化登仙未可方。
自来物质有究竟，此身依然人海藏。
“演武于富士山麓，半月军营生活殊异寻常，有击于目，乃感乎心，辄成数绝，以记吾曾。”吴石写下了《营居杂诗》，记录军营生活的一个侧面：
山中五月似新秋，碧树青芜一望收。
行到人烟将断处，俨然上谷旧营楼。 ，
一日阴晴未有征，乍观云散又云蒸。
欲将富士方佳丽，半掩芳容态自矜。
凭鞍顾盻思悠悠，直上岩颠一掉头。
旷处逢幽殊不意，泠泠激石有寒流。
丛杉修竹郁青葱，新月生时晚有风。
眠食无嫌常潦草，幽心能与景光融。
黄尘车马叹忽忽，岂爱燕然勒战功。
今日中原方鼎沸，枕戈运甓几英雄。
佛郎机铳震云霄，霹雳声中土地焦。
信是健儿身手好，我思边帅汉班超。
一次，吴石“赴步兵学校观演攻守之术，感成十五韵”。该诗如下:
荘生有作讥蜗蛮，独怪世人深唾弃。
好兵觌武震声威，席卷并吞以为志。
利器唯恐不伤人，日讨军实求武备。
纵横捭阖在自尊，纠合会盟皆有为。
尊俎未撤兵踵临，昨日之仇今侪类。
那知阴阳伏大机，盛衰剥复理无二。
功业自古不长存，以力假卞有不匮。
有兴来观习野战，前偏后伍相雁次。
一方为守一方攻，各挥部曲发征队。
一声号令争前趋，肉薄驰突无畏避。
剑光拂日骑涌潮，烟雾迷天声作沸。
九死一生弹指间，弹雨枪林何惨愦。
此时怅敌意气雄，居恒原是袍泽谊。
肃气充腾伪迫真，事后令人生感慨。
纷纷人世苦斗争，如此收场恐非易。
至离东京不远的千叶县佐仓町参观秋季特别大演习，吴石心潮难平，破晓时分，在马上作诗一首：
马蹄声里晨光淡，灯火村村尚未收。
冷雨尖风残梦续，耐人寻味是兹遊。