設楽(新城市)の領主設楽市左衛門貞丈の三男として文政元(1818)年に出生。22歳で旗本岩瀬忠正の養嗣子となった。嘉永7(1854)年に目付となり、翌年、日露和親条約修正交渉全権を命ぜられた。以後次第に国際的な理解を深め、開国論へと傾斜していった。安政3(1856)年及び5年にはハリスと会談し、日米修好通商条約に調印することとなった。これは、徳川幕府219年の鎖国に終止符をうつものであった。この年、外国奉行となり、オランダ、ロシア、イギリス、フランスとも調印した。しかし、井伊大老によって退けられ永蟄居の身を向島で送り、書画の生活に専念した。