1532年偉大的法國佈道家法惹勒來到日內瓦，他是一位熱誠而具影響力的改教鼓吹者。他比較成功的開始了日內瓦的歸正運動，到1536年，復原教信仰正式成為日內瓦的信仰。不過政治和宗教的動蕩一直在繼續，就在此時，加爾文經過此地，法惹勒認定這是上帝所差來的，因此熱情的邀請他住下來。
1536年，加爾文開始在日內瓦工作。加爾文的人生，自抵達日內瓦到去世期間，可分為三個時期：1536年八月至1538年四月，為第一次去日內瓦時期﹔ 1538年五月至1541年九月，為斯特拉斯堡時期﹔1541年九月至1564年五月去世時，為第二次去日內瓦時期。
加爾文在日內瓦開始工作之初，謙卑地擔任法惹勒的助手。第二年，被委任為講道師。
加爾文和法惹勒給市議會三項建議，該建議是加爾文起草的：
（1）每個月舉行一次聖餐。生活不檢點的基督徒，加以懲治。嚴重者，革除教籍。
（2）採用加爾文所寫的“信仰問答書”。
（3）每個市民均需要接受法惹勒所寫的“信經”。
以上所提三項建議，立刻遭到敵對。接著，反對黨又在選舉中獲勝，他們決定採用鄰城伯恩的崇拜儀式，而伯恩也早已想使日內瓦採用他們的儀式。加爾文和法惹勒對崇拜儀式的不同並不看重，他們拒絕伯恩的儀式，是因為此舉乃出於政府的強制執行，沒有事先征得教會領袖的同意，顯然政府剝奪了教會的自主權，既然他們二人不肯低頭，於是被政府驅逐出境。時當是1538年四月二十三日。
此時路德在來比錫之辯中的同工布塞爾，邀請加爾文去斯特拉斯堡。加爾文欣然接受，因為這是他當初最渴望想前往的一座城。
經過十八個月在日內瓦艱苦的奮鬥後，加爾文終能在斯特拉斯堡享受三年平靜的生活。在那兒，他和荷蘭來的范布蘭女士結婚﹔也在該城中，結識許多路德和慈運理的跟從者﹔同時牧養法國路德派信徒在該城成立的難民教會。因此，這三年，可以說使加爾文得償宿願：一方面過平靜的學者生活，一方面牧養教會，得到實際經驗。
另一方面，加爾文離開日內瓦後，整個城陷入混亂局面。一位能幹的紅衣主教薩多雷托想利用這種混亂的情況，乃以高雅的拉丁文寫了一篇動人的講詞，勸日內瓦人回到“母會”（天主教）的羊群中。為了對抗這位紅衣主教，加爾文捐棄個人對日內瓦人的不滿，再以高級的拉丁文寫了一篇精彩的“駁薩多雷托書”，這份反駁書，把日內瓦的歸正運動穩定下來。
事情演變得越來越糟，驅逐加爾文出境的反對黨，又於1539年與伯恩訂立條約，大大損害日內瓦的自主權。因此，該黨於第二年被民眾推翻，並把簽定條約的人判為賣國賊。於是，加爾文的友黨再獲政權，他們邀請加爾文回到日內瓦。
1541年九月十三日，在群眾的歡呼聲中，加爾文再度進入日內瓦。從上帝把加爾文帶到日內瓦的事上，可以看見上帝自己奇妙的預備。因為在當時，這個自由、獨立、民主的日內瓦城是全世界最適合加爾文推動改教事工的場所。加爾文的人生，到如今都在為這項重大任務而准備。這偉大事工正在日內瓦城等著他，而且將帶出全球性的影響力。
加爾文回來後，便提出“教會憲章”，這是一套教會管理的規條﹔這憲章立刻得到采納。憲章內容是根據聖經教導，在教會內設立四個職份：牧師、教師、長老、執事。
在加爾文的制度中，長老居重要地位﹔長老們是從教會的會員中選出，他們與牧師組成“教會法庭”﹔長老們的職責是監督信仰的純正及信徒的生活。加爾文給“教會法庭”有懲冶信徒及革除教籍之權﹔若一宗案件需要更進一步刑罰，則交給行政當局處理。
路德被情況所逼，給德國貴族權柄過問教會事務﹔而加爾文的理想是：教會完全獨立，不受政府管轄。以加爾文而言，教會的自由在於教會有權革除教籍，不受外來勢力的干擾。
曾有一次，一些被教會法庭革除教籍的日內瓦市民，拿著武器，衝進教堂，企圖以暴力領受聖餐﹔他們聲稱若加爾文不讓他們領聖餐，就要取他的性命。加爾文伸手護衛桌上的餅和杯，向他們宣告說：“你們只能從我的屍體下領到聖餐！”就這樣，藉著他的勇氣和毅力，加爾文使他們屈服，放棄以暴力領受聖餐之舉。
許多人為復原派信仰遭受逼迫，因此難民潮從不同國家流入日內瓦﹔這些人成為加爾文最勇敢的支持者。當他們成為公民後，加爾文就有了一個忠於他的政府。1555年起，加爾文就做了“日內瓦的主人”。
在加爾文帶領下，教會法庭訂立條規，可以完全管制日內瓦市民的生活，使日內瓦成為基督化城市 -- 一個“上帝之城”﹔地方政府則將教會法庭所訂的條規付諸實行。
加爾文晚年最大的成就，是創辦日內瓦學院，這是第一間復原教大學。這間學校後被稱為“復原教總部”。加爾文深深體會教育的重要，從研經中，他清楚看見上帝的榮耀不只在拯救靈魂，全世界都屬乎上帝，連人與人之間的相處都是上帝所關心的﹔因此，無論是政府人員、醫生、律師或其他行業，都需有認識上帝、榮耀上帝的教育。藉著日內瓦學院訓練出來的人、教會的行政制度、著作（尤其是基督教原理及聖經注釋），以及與歐洲各地領袖人物的書信來往﹔加爾文在到處都有跟從者，他的影響遠及義大利、匈牙利、波蘭及西德各地。
加爾文，本來不過是個傳道人和神學教授，卻發揮了超國際的影響力﹔他使福音之光，從日內瓦小城照射到歐洲各角落，加爾文成為一個的國際信仰復原運動者。
更令人吃驚的是：加爾文的身體羸弱，經常在病痛纏磨之中。他能完成這麼艱巨的事工，主要是因為上帝與他同工﹔而強烈的意志力，使他能超越所有的困難與殘缺。1564年五月廿七日，加爾文鞠躬盡瘁而死，享年不到五十五歲。
他的標志是“一隻手捧著一顆火熱的心”﹔他的座右銘是：“主啊，我心為你而獻，快速地！至誠地！”﹔加爾文的一生，就是遵照這座右銘而活。
