1844年10月24日，法国与清政府签订《黄埔条约》，取得了在上海等通商五口居住贸易、租地建屋、建造教堂和派设领事的权利。
    1847年1月20日，法国政府任命敏体尼(Louis Charles Nicolas Maximilien Montigny)为法国驻上海第一任领事。敏体尼原是法国海军的一名中尉，1843年离开军队进入外交部，在1844年已到过上海。1848年1月25日，敏体尼抵沪就任领事，随他同来的还有他的母亲、妻子和两个女儿。到达上海的第三天，他就和法国籍的赵方济主教商妥，在洋泾浜和县城之间的地界上租了一处房屋，建立领事馆。此房原是法籍罗类思主教的住宅，有3幢小楼。1848年4月，领事馆升起法国国旗。其时，上海只有法国的传教士，还没有法国商人。1862年升格为总领事馆。
    法国领事馆于1855年暂迁公馆马路(今金陵东路)民房，1867年迁入公馆马路2号之自建领署，有楼5层，1895年翻造。第二次世界大战期间法总领馆受法国维希政府节制继留上海。战后馆址一度迁至台拉斯脱路(今福康北路)300号，不久仍迁回原址。
    1946年1月3日，法总领馆擅自押解法籍纳粹分子卡可平诺离沪，上海学生15000人曾举行示威游行，抗议法方侵犯中国主权，要求撤销法驻沪总领事馆。
    中法建交后法国在上海设立领事馆，领事馆周一至周五9点至18点对外开放，周一至周五9点至12点，需预约该部门下午不对外办公，预约的特殊情况除外。周一、周二、周三和周五9点至12点。周四只对家庭团聚或工作签证（dossier ANDEM）申请人开放（需预约）。