分類  >  WEB開發 >

不通過現有的搜索引擎,如何採集網址

tags:    時間:2013-12-09 22:03:46
不通過現有的搜索引擎,怎麼採集網址?
現在需要寫個項目,需求每天都能夠採集到十萬左右不同的有效網站。
不通過現有的搜索引擎(原因是經常封IP),怎麼採集網址?
搜索引擎是怎麼一天找到幾千萬甚至幾億個網址的?

路過的大神們討論下吧。了解這個技術的透露一下啊!

------解決方案--------------------
有一種叫「爬蟲」之類的技術,具體也沒做過,搜索下看,應該有示例的。
除了收集網站(址),一般還有收集郵箱、手機、QQ、電話等

推薦閱讀文章

Bookmark the permalink ,來源:互聯網