这种集体观念还不止限于一个小家庭的范围之内。一个人读书中举而后成为官员，如果认识到他的成功和几代祖先息息相关，他就不能对他家族中其他成员的福利完全漠视。何况这种关心和帮助也不会全是无偿的支付，因为没有人能够预测自己的子孙在今后不受他们的提携。这种经济上的利害关系被抽象而升华为道德。固然，这种道德观念并不能为全体民众所奉行，从海瑞的文集中可以看到兄弟叔侄间争夺产业以至斗殴致死的事情所在多有。但这种情形正好从反面说明了教养的重要，有教养的人则决不能以利害义。在整个社会没有为它的成员开放其他门径的时候，多数像李贽一样的人物，已经不加思考地接受了这种生活方式。如果李蛰回泉州，他必定受到多少族人的期望和逼迫。然而当时的李贽，已迭经生活的折磨，同时又研究过佛家和道家的思想。他在重新考虑生命的意义，重建人生观之余不能再墨守成规。也就是说，他不能把读书、做官、买田这条生活道路视为当然，也亟待摆脱由于血缘关系而产生的集体观念。
对于这样背离传统的行为，他的亲族自然不能善罢甘休。但是亲族的压力越大，他的反抗也越强烈。在给曾继泉的一封信里，李贽说到他所以落发，“则因家中闲杂人等时时望我归去，又时时不远千里来迫我，以俗事强我，故我剃发以示不归，俗事亦决然不肯与理也”。所谓闲杂人等，是他的弟兄还是叔侄；俗事，是买田还是建立宗祠宗塾，或者竟是利用势力干预词讼，虽然语焉不详，大体上当不出这些范畴。最有趣的是，他的家族不顾他的愿望，仍然指定一个侄子作为他的继承人。这件事引起的反抗方式也同样有趣，他有一封遗书，题名为《豫约》，其中就提到他的这个侄子“李四官若来，叫他勿假哭作好看，汝等亦决不可遣人报我死”。这封遗书草于1596年，上去他削发为僧已有8年。
李贽所居住的僧院坐落在麻城城外的一座山上，称为“芝佛院”。它不是正式的寺庙而仅仅是私人的佛堂，但规模却颇为宏大。院中有正殿、左右厢房，还有和尚的宿舍和客人的招待所。李贽自己居住的精舍位于全院的最后山巅之处，极目四望，水光山色尽收眼底。在芝佛院的鼎盛时期，全院有僧侣4o余人，统率众僧的方丈则是李贽的朋友。僧众中有人还带着徒弟、徒孙。
芝佛院始终没有向政府登记，没有领到正式执照，因之也没有向政府纳税。它不属于任何宗派，也没有董事会的管制。李贽是全院唯一的长老及信托者。其创建和维持的经费，绝大部分来自他一人向外界的捐募。他常常写信给朋友，要求得到“半傣”的援助，或者以“三品之禄，助我一年”。有的朋友，周济他的生活前后达2o年。他过去没有经历过富裕的生活，但在创建佛院之后，却没有再出现过穷困的迹象。
在李贽被任为姚安知府之前，他已经享有思想家的声望，受到不少文人学者的崇拜。这些崇拜者之中有人后来飞黄腾达，或任尚书侍郎，或任总督巡抚。李贽得到他们的接济，即使不算经常，但也决非绝无仅有。而且这种金钱上的关系还不是单方面的。他的朋友焦竑也是一位著名的学者，不善理财，据说穷得“家徒四壁”。当焦竑的父亲8o寿辰，朋辈称觞聚会，有的竟不远千里而来。李贽是这次盛会的襄助者，他写信告诉与会的人，嘱咐他们“舟中多带柴米”。
这种方式的金钱周济和往来之不同于一般，在于授受者之间具有共同的思想，或者说共同的目的。从心理学的角度来研究，这种关系还是以道德作为施政方针的副产。因为这种施政方针的思想根据，乃是认为宇宙间的任何事物都息息相关。一个人或一种事物，其所以具有特性或功能，全靠和其他人或其他事物的相互关系。一个人的品质高尚，就因为他的志趣和行为得到别人的赞赏；他的识见深远，就因为他分析理解其他事物的正确。所以人的生活目的，就不能不是合作互助与共同享有。但是，在现实中，为什么所有的人身上都存在或多或少的自私？这个问题使读书明理之人为之不安，而高级官员由于负有治国平天下的重任，其不安尤为严重。按理说，他们所受到的教养，都要求发扬为公众服务的精；然而一旦接触实际，这种精常常只是海上山，或者干脆销声匿迹。有时他们身上的自私苟且，还远过于不识字的愚氓。这种不安，或者由此发展而来的内心交战，需要有一种适当的方式来缓解排除。志趣相投的研究讨论，可以触发彼此的灵感，深入探索人生的真谛，俾使内心的不安涣然冰释。所以他们来往密切，集会商谈之余，还互相通信，刊印文集。李贽落发为僧以后，仍然经常外出旅行，参加这些活动。在当时，还谈不上旅费必须报销，或者演讲应当收入费用，这些问题，都可以根据习惯，在往来交际之间安排妥帖。以李蛰的名望，加上化缘和尚的姿态，他已经用不着再为经济问题而踌躇。
他和耿定向的辩论，促成和巩固了他要求个人自由的信念。多年之后，他仍把这次辩论视为生命中一个重要的转折点。
158o年，李贽在姚安辞官离任后，就搬到湖广黄安，在耿家充当门客而兼教师。这时耿定向的父亲去世不久，兄弟4个都在家里丁忧守制。这4个人中，李贽和二兄耿定理的交往特别密切。有人误以为他们两人在思想上比较一致，其实不然。他们之间的差异，较之李贽和长兄耿定向之间的差异还要大得多。耿定理天资聪颖，同时也是一个诚实的人。如果他发现“四书”“五经”中的理论和他自己的思想有所冲突，他就不能轻易放过，人云亦云。这种矛盾带给他苦恼，也促使他思索，有时候会独自一人在深山穷谷之中徘徊。最后，他终于“豁然贯通”，确认儒家的仁就是无我主义，一个人成为圣人，则是把自我之有化而为无，进入了寂灭的境界，以致“无声无臭”。这种高悬在空中的理想主义，只能深藏于内心，不能应用于现实，并发展而成为伦理和道德的标准。所以在实际生活中，耿定理从来没有应考，也从来没有做官。然而李贽则认为“穿衣吃饭，即是人伦物理”，这无疑和耿定理的思想判若水火。他们之所以能和睦相处，不在于耿定理学术理论上的弹性，而在于他性格的柔和轻松。他经常以禅宗式的机锋，避开辩论中的正面冲突，而以表面上毫不相关的语言，来表示自己的意见，使辩论的对手在思索之后被迫折服。因为他认为自己所掌握的真理，基于识见渊博；如果坚持片面的执拗，就等于放弃了宽阔的胸襟。因此，当耿定理在世之日，总是能够用他特有的方式调解他长兄和李贽之间的冲突。
在思想史上，长兄耿定向最易为历史学家所误解。他的朋友和论敌李贽，把他说成一个伪君子；而黄宗羲的《明儒学案》，也指出他思想上前后不符。然则很少有人能看到，这位哲学家同样是在竭力地探求一种既有形而上的根据，又能融合于日常生活的真理。他接受佛家和道家的哲理，认为至善至美属于虚无，但另一方面，却又认为任何信条如果不能在愚夫愚妇面前宣讲明白，则不成其为信条。经过多方考虑，他提出，人的理智有深有浅，有粗有细，有的集中，有的分散；在社会生活中，政治与农业不同，农业又与商业不同。基于这样的分析，他已经开始指出了伦理道德的理，应当与物理、地理的理有所区别，因此施政的标准也应当与哲学思想有所区别。这种理论，为当时持一元论的宇宙观者所不能接受。他和李贽的冲突也无可避免、因为两个人都准备把自己的理论体现于行动之中。于是李贽指斥耿定向为不诚实，言行不一；耿定向则指斥李贽以立异为标榜，立异的目的还是立异，所谓放浪形骸，无非是为了博取超凡脱俗的美名。
耿定理在1584年去世。同年耿定向被召回北京任左佥都御史。他在信里提出李贽迷误耿氏子弟，这种指责促使李贽迁居麻城。多年以后，他还认为这是耿定向有意识地给他以个人侮辱。
李贽好强喜辩，不肯在言辞上为人所屈，在做官的时候也经常与上司对抗。和耿定向闹翻之后，他更为重视自己的独立不羁。按本朝的习惯，退休的官员被称为“乡官”，也就是意味着他仍然具有官员的身分，要受地方官的节制。地方官可以邀请他协助处理有关的事务，也可以邀请他参与重要的典礼。这种权利和义务，在别人或许会引以为荣，而在李贽则是精上的压力。他说：“弃官回家，即属本府本县公祖父母管矣。来而迎，去而送；出分金，摆酒席；出轴金，贺寿旦。一毫不谨，失其欢心，则祸患立至。”3梯发为僧，除了避免亲族的纠缠以外，摆脱这些牵制也是一个重要的因素。李贽虽然身入空门，却没有受戒，也不参加僧众的唪经祈祷。他喜爱清洁成为癖好，衣服一尘不染，经常扫地，以至“数人缚帚不给”。在很多方面，李贽保持着官僚学者的生活方式。例如，即使是短距离的外出，他仍然乘轿；对于书本不愿亲自阅读，而是让助手朗诵以省目力。
退休以后的十几年，李贽主要的工作是著述。他的著作大部分都在生前刊刻印行，芝佛院中有一间屋子专门堆放书板著作的内容非常广泛，包括儒家经典的阐释、历史资料的观察、文学作品的评论以及伦理哲学的发挥，形式则有论文、杂说、诗歌、书信等等。但是涉及面虽然广泛，却并不等于具有多方面的精深造诣。他写作的历史，对史实没有精确的考辨，也没有自成体系的征象。大段文章照史书抄录，所不同的只是按照自己的意见改换章节，编排次序，再加进若干评论。在接触小说的时候，他所着眼的不是作品的艺术价值和创作方法，也就是说，他不去注意作品的主题意义以及故事结构、人物描写、铺陈穿插等等技巧。他离开了文学创作的特点，而专门研究小说中的人物道德是否高尚，行事是否恰当，如同评论真人实事。再则，即使是阐述哲学理论，也往往只从片段下手，写成类似小品文，而缺乏有系统的推敲，作为结构谨严的长篇大论。惟其如此，当日的士人，对于“李氏《藏书》、《焚书》人挟一册，以为货”，就大多感到难于理解。
要正确认识此中关系，务需探求李贽的写作目的。他的各式各样的著作，无非异途同归，其着眼在把读书人的私人利益与公众的道德相融合。从这点出发，他的写作，有如使用各种乐器演奏同一支交响曲。公私冲突之中能否设法调和？如果他还没有做出恰当的答案，至少已经提出了这个问题。这是一个迫切的问题，对读书人来说，足以影响他们良心与理智的完整性。李贽自身的经历，使他对问题的认识更为深刻，表达更为有力。所以，他的著作仍能获得读者的欣赏。其中衷曲，在一封写给耿定向的信里发挥得淋漓尽致：“试观公之行事，殊无甚异于人者。人尽如此，我亦如此，公亦如此。
自朝至暮，自有知识以至今日，均以耕田而求食，买地而求种，架屋而求安，读书而求科第，居官而求尊显，博风水以求福荫子孙。种种日用，皆为自己身家计虑，无一厘为人谋者。及乎开口谈学，便说尔为自己，我为他人；尔为自私，我欲利他；我怜东家之饥矣，又思西家之寒难可忍也；某等肯上门教人矣，是孔孟之志也；某等不肯会人，是自私自利之徒也；某行虽不谨，而肯与人为善；某等行虽端谨，而好以佛法害人。以此而观，所讲者未必公之所行，所行者又公之所不讲，其与言顾行、行顾言何异乎？以是谓孔圣之训可乎？翻思此等，反不如市井小夫身履是事，口便说是事，作生意者便说生意，力田者便说力田，凿凿有味，真有德之言，令人听之忘厌倦怠。”李贽的难言之隐在于他强烈地抨击了这些人物以后，他还是不得不依赖这些被抨击者的接济而生活。他们的言行不一是一种普遍的社会现象，耿定向不过是比较显著的例子而已。李贽本人也没有与此绝缘，这就常常使他在对别人作了无情的指责以后，自己感到内疚而稍敛辞锋。只有当他被别人截击，已经无法退避，他的感情才如长江大河，一发而不可收拾。
在同辈的人物中，李贽虽然享有比别人更多的自由，但是他终究没有找到他最企盼的独立地位。这种困难和冲突迫使他继续写作，笔下内容仍然不能越出这一问题的范畴。这种情况，连同情他的袁中道也为之不解：既然由于对官僚政治不满而绝意仕进，那就理当息机忘世，以文墨自娱；可是写来写去，还总是和官僚政治有关，加之名望越来越大，“祸逐名起”。这就无怪乎招致杀身之祸了。
李贽和耿定向的争论，基于人性的善恶。这个问题所涉及的方面非常广泛，需要从中国哲学史中找出全面的解答。
问题可以追溯到公元前5世纪的春秋时代。孔子没有提到性善或者性恶。他学说中的核心是“仁”。“仁”可以为善，一个君子的生活目的就在合于“仁”的要求。
究竟是哪些成分构成了仁，孔子没有明确直接的答复。《论语》一书中，仁字凡六十六见，但从来没有两处的解释相同。一般来说，仁与慈爱、温和、恻隐、以天下为己任等等观念相通。然而在不同的场合，孔子又赋予仁以不同的概念：“己所不欲，勿施于人”的自我克制，言辞谨慎、按照礼仪行事，都可以算作仁或者接近于仁；出于环境的需要，一个人牺牲自己的生命，也叫做“杀身以成仁”。仁是最容易获得的品质，任何人有志于仁，就可以得到仁。但是仁也是最难保持的品质，即在圣贤，例如孔子自己，也难能始终不断地不违反仁。