按照法律来说，只有几种情况下可以约定劳动者赔偿，一是有服务期约定，也就是对方给你提供了专业培训；二是违反了保密约定；三是违反了竞业限制协议。简单来说，除非他真金白银为你付出了点啥，否则按照法律你都不需要给他赔钱