第一题:50亿*64B约320g,内存限制4g,所以,用一个hash函数把A文件中的url分到1000个小文件中去,把url通过hash后的值当做文件名,然后B文件也用同样的hash函数去分到1000个小文件中,这样寻找的时候,按照同名的文件从AB两个文件中去找重复(相同的url肯定分在相同文件名的小文件找那个),这样的话内存肯定能满足。
第二题,类似也是用hash去处理,重复的url肯定会分到同一个文件中去,接下来就是找重复的就是了