残保金是由税务机关负责征收的。具体来说，用人单位应向申报缴纳个人所得税的主管地方税务机关申报缴纳保障金。在没有分设地方税务局的地方，由国家税务局负责征收。残保金属于政府性基金，其征收和使用受到国家相关法规的规范
