兄弟知道违约的话什么时候退三方吗