同历史上诸多出生蓬门荜户而后来做出一番大事业的人物一样，吴石的家境也是非常贫寒的。当1894年9月14日（光绪二十年八月十五日），一个传统的中秋节，他在福建福州螺洲一个家徒四壁的寒儒之家呱呱坠地。这时候，镇上炊烟袅袅，千家团聚，欢歌笑语，或登楼赏月，或品茗自娱，而他的父亲还在呼呼的秋风中踯躅，盘算着如何维持生计。
追溯吴石家世渊源，这得从周朝泰伯说起。据有关资料显示，吴氏系出泰伯（周太王之长子、周文王之大伯父）。《辞海》的“太伯”条①说：“一作泰伯。周代吴国的始祖。周太王长子。太王欲立幼子季历，他与弟仲雍同避江南，改从当地风俗，断发纹身，建立吴国。”从历史上看，泰伯自号“勾吴”，以表让位季历之子（周文王）的决心。传至泰伯的第十九世孙寿梦的时候，始称王，子孙以吴为氏。之后，在漫长的迁徙过程中，吴姓的望族气脉绵延。螺洲吴氏始祖为吴日新，又名吴德广，宋末，他随父吴大全、叔吴大良自河南光州固始县入闽。吴大全卒，吴大良偕子吴德源及侄吴德泽、吴德广卜居今福建省福州市长乐市港西，后来吴德广迁闽县（今福建省闽侯县）永庆里，复娶赵氏，入赘螺洲（今福建省仓山区螺洲镇），定居于该镇吴厝村，吴厝成为吴氏在闽的发祥地之一。吴德广之后代有功名。吴石祖上显要者为吴复、吴顺、吴宗著。吴复，明永乐年间，任太平府济仓大使，海盐县、吴县主簿，工部主事、侍郎等职，明天顺七年（1463年）以75岁高龄告老还乡；吴顺，明崇祯庚午科（1630年）副榜举人，后改学武，又中己卯科武举，先后任广东白云守备、长宁参将、南赣总兵，封定国大将军、荣禄大夫，钦赐蟒衣一袭，后官至湖广彬桂道，升为巡抚；吴宗著，文武全才，任惠州知府兼副总兵，清顺治二年（1645年）钦赐“文武名宗”匾。
到了吴石的父亲吴国琬已是十九世。吴国琬，字季珍，1831年出生，清光绪十一年（1864年）间考取侯官的举人。据民国时期欧阳英修的《闽侯县志》②记载，在侯官考取举人有20人，吴季珍名列第五。螺洲，清初属福州府治的闽县，也就是现在福州市闽侯县。当时闽县与侯官两县是分治的，以福州南街（含今817北路）为两县的分界线，街东属闽县，街西属侯官；南门兜以南属闽县，北城外属侯官；西路府（今新民路）以西属侯官，以东属闽县。螺洲位于城南，为闽县所辖。人们不禁要问：隶属闽县子民的吴季珍按常理应在闽县进行乡试，为何出现在侯官县乡试的现场？因为闽县报考的人数大大多于侯官县，入选的机会自然要小得多。为了顺利中举，吴国琬颇费心思，经过慎重思考，改报考侯官县。这一大胆的想法在森严的科举制度面前成功了。成功的尝试让吴国琬心气陡增，明知道路途遥远，为了更高的目标还是下决心进京赶考。不幸的是因满口地道的福州“官话”，被考官拒之门外，未能如愿。这次打击对他是极大的，他认为再走进考场不会有太大的希望，还是认命，回家过曰子。从此，他选择了自由职业，以布衣终其一生。
吴国琬先娶螺洲王氏，因王氏未生育子嗣，后又娶胪雷董氏。老天没有辜负这位穷举人，先后赐予他4个男婴③。在1891年，吴国琬第一个男婴降世，越3年降临了老二吴石。吴石一来到世上，等待着他的非童话仙境，而是家徒四壁，人寰苦楚。吴国琬给吴石取名为吴萃文，或许是希望孩子能在文化上有所造诣，出类拔萃。他绝没有想到他的二子会传承祖上的荣耀，能文能武，成为一代儒将，会成为因壮烈殉国而轰动世间的英雄，成为吴氏一门的荣光，成为中华民族的骄傲。或许这就是历史，自然而真实地发生……
在吴石的记忆里，父亲满腹经纶，写一手好字，把脉听诊颇为精通。这些，都使他对父亲充满着崇拜和迷信。吴石后来忆起：“习汉文时，每日清晨即起，从不间断，每作文必寄与吾父批改。”④自然地，吴国琬每接到儿子的习作，为儿子的进步暗暗感到高兴。知子莫如父，其实父亲早已看出吴石对文学的敏感，那与生俱来的天赋。父亲在复信中不忘将值得推敲和提高的地方明确地告诉儿子，热情鼓励儿子励学笃行。每当打开父亲的来信，工整的书写，顺畅的语句，都让吴石感到父亲如山的爱和无声的教诲。即使进入保定军校学习，为了与父亲保持联系，吴石每月还购买些邮票附在信中寄给父亲。父亲的一封封来信，吴石视若珍宝，逐字逐句揣摩，并小心翼翼地收藏。后来还专门把父亲的来信汇集装订成厚厚的小册子，视为教育子孙的传家宝加以珍藏。在家闲暇之余，常拿出来给子女看，并点评给子女听。这些信件集子可惜在抗战中散失。在战后，吴石曾托人多方寻找，如泥入大海，杳无音信。
在父亲的影响下，吴石认定在他的世界里“书山有路勤为径，学海无涯苦作舟”是很靠谱的事，沉迷于做学问。吴石一生与书有缘，他走到哪里，书籍如影随行，不停地读书成为他生命的一部分。这一点在他狱中的自叙得到印证：
余惟一资财全在书籍，民二十六（指公元1937年）以前，在南京所有者，最为可观，以日本一切军事学参考资料，（中有日本秘密兵书甚多）与余在日本陆大所得教程与个人战术战史作业等原件最为珍贵。其他各种古书，亦不在少数，乃因抗战撤退南京所携带者仅少数而已，在桂亦经添补，桂柳会战退却，亦无法携带，遭二度损失。胜利后，复经多方收集，大部在福州乡中。
曾与吴石同牢房狱友刘建修⑤的回忆也谈到：狱中，“在白天，吴石通常是一半时间在看书，其余时候就躺着。他要看书时，就坐在窗外光线照得到的地方。吴石一直在读同样的书。有一次他两手把书拿得比较高，我看到封面印着‘中国文学史'几个字。”
抗战胜利后，每年炎炎的夏日，在他的老家——福州家中珍藏的书籍得到阳光的抚爱。在螺洲，吴家人不是忙于晒稻谷，而是忙于晒书，忙于守护，忙于用碎瓦片轻压线装书。当江风骤起，一地书籍“沙沙”作响，当地人便知吴家又在晒书了。吴石曾极为动情地忆起家世：“我家累世寒儒，读书为善，向为乡邻戚友敬爱。”⑥
父亲耿直厚道的基因在冥冥之中授给吴石。吴石在《自传》中写道：“余性忠厚，待人以诚，为人谋而忠，一生成败皆繁于此。以能尽力为人助，故能得生死患难之交；以待人诚笃，故或见款于小人，颇受其累，赋性如此……此外，余尚有一特点，则辨别善恶过于分明，往往面对小人憎恶之情，见诸辞色。”⑦一介书生的本色深深烙印在吴石的身上，无论在人生的道路上遇到顺境还是逆境。在现存吴石常用的印章中，有一枚就刻有“戎马书生”四个字。