我要是不想去他给我说的这个部门的话，拒绝后其他部门还会捞我吗