单机的话直接在本地内存给一个能标识八位数的bitmap用于快速去重(大概需要10MB内存),如果要持久化的话考虑redis的bitmap