大学院制改革失败后，蔡元培即辞去大学院院长及在南京国民政府内的各项兼职，专任中央研究院院长，直至病逝。在任中央研究院院长的13年里，蔡元培继承民元任教育总长和后来任北大校长时的领导作风，奉行人才主义，知人善任，选贤择能，同时发扬民主，不专权，不居功，使人和机构各尽其能。对于蔡元培的这种领导作风，与他共事多年的胡适曾作过精辟的评论，认为蔡较诸蒋介石更有领袖风范。他说：“我与蔡孑民先生共事多年，觉得蔡先生有一种长处，可以补蒋先生之不足。蔡先生能充分使用他手下的人，每委人一事，他即付以全权，不再过问。遇有困难时，他却全身负其全责；若有成功，他每啧啧归功于主任的人，然而外人每归于他老人家。因此，人每乐为之用，又乐为尽力。迹近于无为，而实则尽人之才，此是做领袖的绝大本领。试看他近年用杨杏佛。杏佛是一个很难用的人，然而蔡先生始终得其用。中央研究院的粗具规模，皆杏佛之功也。杏佛死后，蔡先生又完全信托于丁在君（即丁文江——引者注）。在君提出的改革方案有不少的阻力，但蔡先生一力维持之，使在君得行其志。”胡适的这段话，可以说是道出了蔡元培之所以能成为中国现代文教界和科学界一位众望所归的领导人的魅力所在。
在如何推动学术研究方面，蔡元培也提出一系列的指导思想。他一方面坚持学术自由，充分尊重各专家的个人兴趣，坚信“学院自由正是学术进步之基础”，但同时也强调学术研究应根据研究问题的性质，有轻重缓急之分，并提出三条标准：第一、一种研究可为其他若干研究提供凭借者宜列在首位；第二、为具有地域性的研究，即我国研究条件尤优于外国人者，宜优先从事；第三、凡一种研究，因其问题特别重要，其结果可为他种相关工作之标准者，宜尽先从事。
在基础科学和应用科学两者的关系上，蔡元培主张两者兼顾，不可偏废。他指出，对于基础科学不能完全以一时的功效来衡量，而应看其长远的影响。同时，蔡元培也提出不可忽视应用科学的研究，要求研究人员应加强与原料和生产直接有关的问题的研究，以满足国家和社会的需要。
在开展学术交流方面，蔡元培坚决反对唯我独尊，强调中央研究院应加强同国内各科研单位和大学的平等合作。他明确表示：“中央研究院只能利用他的地位，时时刻刻与国内各机关联络交换，不可以阻止旁人的发展，或是用机械的方法来支配一切研究的题目，这是本院成立以来一贯的方针。”本着这一思想，1935年中央研究院组织成立的全国最高学术评议机关——评议会，除了中央研究院院长和各研究所所长为当然评议员外，另又推举和选择30名学术界的中坚人物为聘任评议员，举凡国内重要的大学和学术研究机关，均有代表当选，使之成为“中国学术合作的枢纽”。
在对外学术交流上，蔡元培一方面鼓励“学欧美之所长”，对正常的中外学术交流持积极态度，尽可能地选派国内研究人员参加有关的国际学术活动，同时又十分注意维护中国的主权。每遇有外国学者来华考察，中央研究院都要与他们订立条例，规定不得从事学术之外的活动，所采集的标本须一律先经本院选聘专家审查后，方可运出国外，并将标本的复本留一份给中国，若无复本，则应将正
本留归中国。另规定外人从事考察活动，都须有中央研究院派员参加，这样既达到中外学术合作的目的，也可监督和杜绝个别外国学者借学术研究之名从事不正当活动。蔡元培常常勉励国内学者致力于中国的科学研究事业，维护学术独立地位，以抵御一些资本主义国家在文化和科学领域对中国的侵略。
在蔡元培的精心组织和领导下，中央研究院的各项研究事业获得蓬勃的发展。至1929年，中央研究院即设有物理、化学、工程、天文、气象；历史、语言、心理、社会科学及自然历史博物馆等十个研究所。各所成立后都进行了卓有成效的研究，在国内学术界分别居于领导地位并提携和培养了一大批科学专门人才，为中国现代科学事业的发展奠定了基础。
晚年忧政，民主抗日
蔡元培一生既是学界中人，同时又是“党中”人。作为党中人，蔡元培在政治上并没有与国民党的官僚们沆瀣一气，而是一如既往地坚持民主和爱国，并由此逐渐走上与南京国民党政权离心离德的道路。
蔡元培与蒋介石国民党政权之间的裂隙，其实从南京国民政府成立之日起即已存在。1927年，蔡元培虽然站在党派和阶级的立场上，参与国民党新右派蒋介石策划的反共清党活动，建立南京国民政府，但同时他从一开始就在国民党内坚持民主和法制，反对专制独裁统治、在清党初期，他就曾对浙江清党委员会草菅人命、枪杀二十余名共产党员和革命青年提出严厉批评，指出：“我们不能随便杀人！昨天那样办，太荒唐！太草率！太不好了！此后必须谨慎。”他甚至还出面营救可能遭国民党逮捕的共产党人和革命青年，四、五月间暗中分别通知被列入清党对象的朱宜权、韦悫出走，以免遭国民党的毒手；同年8月，出面保释被捕入狱的进步青年史良和同学郑观松。1927、1928年间，他又专门写了一篇
题为《追怀不嗜杀人的总理》的文章，劝告国民党当局继承孙中山的高尚人格，以德服人，停止滥杀。
1928年大学院制改革失败后，蔡元培与南京国民党政权的裂痕进一步加深。8月17日，他因不满国民党内官僚政客朋比为奸，公开提出辞去国民党中央政治会议委员、国民政府委员、大学院院长、代理司法部长等职，专任中央研究院院长，致力于科学事业。他在辞呈中写道：“窃元培一介书生，畏涉政事。前以全国尚未统一，人才不能集中，备员国府，一载于兹。……顷统一告成，万流并进，人才济济，百废俱兴；元培老病之身，不宜再妨贤路，且积劳之后，俾可小息。……愿以余生，专研学术，所以为党国效力者在此。”对于10月8日国民党中央执行委员会常务会议推举他为监察院院长，蔡元培也坚辞不就，私下里对胡适说：“这时候哪有监察的事可做？”同时，他对胡适发起“人权运动”，抨击南京国民党政府不保障人权，要求思想言论自由，甚为赞赏，写信予以支持，称赞胡适的文章“振聋发聩，不胜佩服”。
1932年，为捍卫民权，反对蒋介石专制独裁统治，蔡元培本人直接走上与南京国民党政权公开对立的道路。经过近半年的酝酿和活动，12月17日，他与宋庆龄、杨杏佛、林语堂等在上海联名发表宣言，宣布成立中国民权保障同盟。
同盟成立后，蔡元培作为副会长，与其他同志一道，为实现同盟所提出的任务做了大量的工作：参与营救许德珩、侯外庐、马哲民、罗登贤、廖承志、陈赓、丁玲、潘梓年等进步人士和共产党人的活动，并对其他一些被国民党非法拘捕或杀戮的政治犯进行声援或昭雪；抗议江苏省政府主席顾祝同非法枪杀《江声日报》经理兼主编刘煜生；亲到上海德国领事馆递交抗议书，抗议希特勒疯狂迫害德国进步人士和犹太籍人民，摧残文化，违背人道；接待英国著名作家、费边社成员萧伯纳来华访问，以扩大保障民权运动在国际上的影响。
