吴柔胜，字胜之，宣州人。小时候听他父亲讲伊、洛书，已经知道有着认真的学，不随便言笑。长在郡融化，人都怕他正严。登淳熙八年进士第，调都昌簿。丞相赵汝愚知道他贤能，差嘉兴府学教授，要设置的馆阁，在你我去，御史汤硕弹劾柔胜曾经救荒浙右，擅自放田租，为你我收拾人心，而且主朱熹的学说，不可以为师儒官，从此闲居十余年。