最近在忙于找工作,閑暇之余,也找點(diǎn)爬蟲(chóng)項(xiàng)目練練手,寫(xiě)寫(xiě)代碼,知道自己是個(gè)菜鳥(niǎo),但是要多加練習(xí),書(shū)山有路勤為徑。各位爺有測(cè)試坑可以給我介紹個(gè)啊,自動(dòng)化,功能,接口都可以做。
首先呢,我們明確需求,很多同學(xué)呢,有事沒(méi)事就想看看一些技術(shù),比如我想看看JQuery的語(yǔ)法呢,可是我現(xiàn)在沒(méi)有網(wǎng)絡(luò),手機(jī)上也沒(méi)有電子書(shū),真的讓我們很難受,那么別著急啊,你這需求我在這里滿足你,首先呢,你的需求是獲取JQuery的語(yǔ)法的,那么我在看到這個(gè)需求,我有響應(yīng)的網(wǎng)站那么我們接下來(lái)去分析這個(gè)網(wǎng)站。http://www.w3school.com.cn/jquery/jquery_syntax.asp 這是語(yǔ)法url, http://www.w3school.com.cn/jquery/jquery_intro.asp 這是簡(jiǎn)介的url,那么我們拿到很多的url分析到,我們的http://www.w3school.com.cn/jquery是相同的,那么我們?cè)趤?lái)分析在界面怎么可以獲取得到這些,我們可以看到右面有相應(yīng)的目標(biāo)欄,那么我們?nèi)シ治鱿?/p>
我們來(lái)看下這些鏈接,。我們可以吧這些鏈接和http://www.w3school.com.cn拼接到一起。然后組成我們新的url,
上代碼
import urllib.requestfrom bs4 import BeautifulSoup import timedef head(): headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0)&