来济，扬州江都人，隋左翊卫大将军荣国公护子也。宇文化及之难，阖门遇害。济幼逢家难，流离艰险，而笃志好学，有文词，善谈论，尤晓时务。举进士，贞观中累转通事舍人。太子承乾之败，太宗谓侍臣曰：“欲何以处承乾？”群臣莫敢对，济进曰：“陛下上不失作慈父，下得尽天年，即为善矣。”帝纳其言。
俄除考功员外郎。十八年，初置太子司议郎，妙选人望，遂以济为之，仍兼崇贤馆直学士。寻迁中书舍人，与令狐德棻等撰《晋书》。永徽二年，拜中书侍郎，兼弘文馆学士，监修国史。四年，同中书门下三品。五年，加银青光禄大夫，以修国史功封南阳县男，赐物七百段。六年，迁中书令、检校吏部尚书。时高宗欲立昭仪武氏为宸妃，济密表谏曰：“宸妃古无此号，事将不可。”武皇后既立，济等惧不自安；后乃抗表称济忠公，请加赏慰，而心实恶之。显庆元年，兼太子宾客，进爵为侯，中书令如故。二年，又兼太子詹事。寻而许敬宗等奏济与褚遂良朋党构扇，左授台州刺史。五年，徙庭州刺史。龙朔二年，突厥入寇，济总兵拒之，谓其众曰：“吾尝挂刑网，蒙赦性命，当以身塞责，特报国恩。”遂不释甲胄赴贼，没于阵。时年五十三，赠楚州刺史，给灵舆递还乡。有文集三十卷，行于代。