Pythｏn 網絡爬蟲實習報告
目錄 一、選題背景 ........................................................... 錯誤!未定義書簽。
理 二、爬蟲原理。簽書義定未!誤錯?
三、爬蟲歷史與分類 ................................................ 錯誤!未定義書簽。
較 四、常用爬蟲框架比較。簽書義定未!誤錯?
五、數據爬取實戰（ 豆瓣 網 爬取電影 數據) ............ 錯誤!未定義書簽。
1 分析網頁 誤錯? 錯誤! 未定義書簽。
2 爬取數據 ............................................................... 錯誤! 未定義書簽。
3 數據整理、轉換 誤錯? 錯誤! 未定義書簽。
4 數據保存、展示 誤錯? 錯誤! 未定義書簽。
5 技術難點關鍵點 誤錯? 錯誤! 未定義書簽。
六、總結 .................................................................. 錯誤!未定義書簽。
一、
選題背景 二、
爬蟲原理 三、
爬蟲歷史與分類 四、
常用爬蟲框架比較 Scrap ｙ框架 ：Scraｐｙ框架就是一套比較成熟得 Pythoｎ爬蟲框架，就是使用 Pｙthon 開發得快速、高層次得信息爬取框架,可以高效得爬取ｗeb 頁面并提取出結構化數據。Ｓcrapｙ應用范圍很廣,爬蟲開發、數據挖掘、數據監測、自動化測試等. Crawle ｙ框架: :Ｃrａwley 也就是 Pythoｎ開發出得爬蟲框架，該框架致力于改變人們從互聯網中提取數據得方式。
a Portia 框架 ：Ｐoｒtiａ框架就是一款允許沒有任何編程基礎得用戶可視化地爬取網頁得爬蟲框架。
newsp ａp p ｅr r 框架: :ｎｅwspapｅr 框架就是一個用來提取新聞、文章以及內容分析得 Pythｏn 爬蟲框架. P P ｙt t ｈｏn n- - go ｏe se 框架：
：Pythｏn-goｏse 框架可提取得信息包括：
〈1〉文章主體內容;<2>文章主要圖片；<3>文章中嵌入得任ｈeYｏutube／Viｍeo 視頻；<4〉元描述；〈５〉元標簽
五、數據爬取實戰（ 豆瓣 網 爬取電影 數據）
１分析網頁
# 獲取 ht ｍl l 源代碼
def _ ＿g g ｅ tHtml( ）：
ｄ ata =
] []
?
ｐ ageN ｕ m = １
pageSize = 0
: try:
?
wh ｉ le ( ｐ ageSiz ｅ
〈 = 1 ２５）：
# ｈ ead ｅ rs ＝
{ { ’Ｕ ser —A A ｇe e ｎ t" ：’ Moziｌl l ａ /5 、 0 (Windows Ｎ T 6 、 1) A ｐp p ｌ eWe ｂK K ｉ t/5 ３７、１ 1 （ KHTMＬ，
like
Geck ｏ ) C ｈ rome/23 、0 0 、 127 １、 64 S ａ fari/537， 、１１’，
# ’Ｒ efe ｒ er ’: : Ｎ on ｅ
＃注意如果依然不能抓取得話, , 這里可以設置抓取網站得ｈ ost
＃
} } ?
＃
ｏ pener
＝
urlliｂ、ｒ eq ｕe e ｓt t 、 build_ ｏｐｅｎe e ｒ（) )
# opener 、 addh ｅａd d ｅｒ s ＝
［ heade ｒs s ］ ?
ｕｒl l
= ＂”
+ st ｒ（ pag ｅ Siz ｅ ) +
”＆ｆ ilt ｅr r ＝＂
+ s ｔｒ(p ａｇ eNum)
＃
data ［ "h ｔ ml%s ’
％
i ] ＝ url ｌｉb b 、 re ｑ uest 、ur ｌ op ｅｎ（ ur ｌ）、ｒ ead() 、 decode("ut ｆ — ８ ") ?
da ｔa a 、 append(url ｌi i ｂ、ｒ equ ｅ st 、 urlope ｎ（ ur ｌ) ) 、ｒ ead() 、ｄ ecode （”ｕｔf f －8 8 ＂）) )
page Ｓi i ｚ e + ＝
２5 5
?
p p ａｇｅN Nｕ1 m += 1
?
pr ｉ nt( ｐａ geSize, page Ｎ um)
excep ｔ
E E ｘ cepti ｏ n a ｓ
e:
r r ａｉ se e
retur ｎ
data
2 爬取數據 def
_ _ ＿ getData(html):
title =
［］
# #
電影標題 ?
#rati ｎｇ_ _ ｎ um ＝
[ [ ］
＃
評分 ?
r r ａ nge ＿ num =
［］
# 排名 ?
＃ ra ｔ ing ＿ peopｌｅ _num
= [ ］
# 評價人數
ｍ ovie_a ｕ thor
= []
# 導演 ?
da ｔ a = {}
# ｂ s4 解析 h h ｔ ml ?
ｓ oup ＝
Beauti ｆu u ｌS S ｏｕ p(htmｌ，
” html 、 parser）
”）
?
for li
ｉ n s ｏｕp p 、 find( ”ｏl l ” , ａt t ｔr r ｓ= = ｛ "clas ｓ’：
" " ｇ rid_view"} ）、 fin ｄ＿ al ｌ（ "li"):
ｔ it ｌe e 、 appen ｄ（ li 、f f ｉ nd("s ｐ an", c ｌa a ｓs s ＿= = ” titｌｅ ") 、ｔ ext)
＃r r ａ ti ng_ ｎu u、 ｍ、 append(li、 、 fin ｄ ("d ｉv v， ”，
class_="stａｒ ") 、 find( ” spa ｎ" " ，
class_ ＝ "rating_nu ｍ＇）、ｔ ext ）
ra ｎ ge ＿ num、 、a a ｐ pen ｄ (li、 、 fi ｎ d("di ｖ”，
class ＿＝’pi ｃ" " ）、 fin ｄ（ "em ＂) ) 、 text）
）
?
#span ｓ
= l ｉ、 find("ｄ iv ”，
c c ｌ as ｓ＿= =’ ’ star’ ’) )、 、 find_ ａl l ｌ（＂ｓｐ an") ?
#f
ｏ r x
in
r r ａ nge(len （s s ｐa a ｎs s ））：
＃
ｉ f ｘ
<= 2: ?
#
p p ａｓs s ?
# e ｌ se ：
＃
r r ａt t ｉn n ｇ _p ｅｏ ple_num、 、 append(s ｐ ans［ x] 、 st ｒi i ｎｇ［ — ｌｅ n( ｓ pans[x ］、s s ｔ rin ｇ ): — 3])
ｓ tr = l ｉ、ｆｉn n ｄ（” div", cla ｓ s_= ’b b ｄ’) ) 、 find( ”p",
clas ｓ＿= = ’" " ）、 te ｘt t 、 lstrip(）
）
?
in ｄe e ｘ
= sｔr r 、f f ｉｎ d(" 主＂) )
?
if (ind ｅx x
= = ＝
－１) ) ：
index = str 、 fin ｄ( ( ＂、、、＂) )
?
prin ｔ (li 、ｆｉｎd d （”d d ｉv v” ” , c ｌａｓ s_=" ｐi i ｃ’）、 find(” ” em") 、t t ｅ xt)
if
（ li 、 find （ "div ” , cl ａs s ｓ _= ’ pic ’）、f fｉ nd( ”ｅm m ”）、t t ｅx x ｔ
== ２ 10):
i i ｎd d ｅｘ
＝
60
# ｐ rint("aaa ”) ) ?
# #
ｐ rint （ st ｒ [4 ：i i ｎ de ｘ ]) ?
ｍ ov ｉｅ _autho ｒ、 append （ str[4: ｉ nde ｘ ])
d d ａt t ａ ["t ｉ tl ｅ" " ］
= titl ｅ
#da ｔ a["ra ｔ ing_num" ］
= ra ｔi i ｎ g_nu ｍ
dat ａ［＇ rang ｅ＿n n ｕm m ’ ] =
ｒａm nge_num
?
#data[ ’ ratiｎg g ＿ｐe e ｏ pl ｅ＿n n ｕｍ’ ] = ｒ at ｉ ng ＿ peopl ｅ _nu ｍ
ｄａｔa a ［’ mo ｖ ie_au ｔh h ｏr r ’ ] ＝
movie_a ｕ th ｏr r
ret ｕ rn dat ａ
3 數據整理、轉換 def ＿ _getMov ｉe e ｓ（ da ｔ a):
f = op ｅ n("F:// ｄ ouban_mov ｉe e 、 html" ，
’ｗ’, , ｅ nc ｏ ding＝’ utf —8 8 ’) )
f f 、ｗ rite(" 〈 html> ”）
ｆ、 wr ｉ te( ” <h ｅ ad 〉< < ｍｅt t ａ
charset= ’ UTF －8 8 ’> > 〈 title 〉Insert title here</ ｔ it ｌ e> ＜/ / ｈｅ ad 〉) ")
?
f f 、 wr ｉ te( ”〈b bｏd d ｙ> > ”) )
?
ｆ、 write （”〈ｈ 1> 爬 取豆瓣電影< < ／ｈ１ >")
f f 、 wri ｔｅ（” <h4> 作者：劉文斌〈 /h ４〉 ")
f f 、 wr ｉ te( ”〈 h4>
時間: : ＂
+ n ｏ wt ｉ me + ”＜ /h ４＞”) )
?
f f 、w w ｒi i ｔe e （ "<hr> ”) )
f f 、ｗr r ｉ te （ "< ｔ able
width=" ８ 00px ’
border="1 ’
a a ｌign=center>" ）
f f、 、 wr ｉ" te(" 〈 th ｅa a” ｄ＞”) )
?
f f、 、w w ｒ ite("<t〉 ｒ〉" "）
）
?
f f 、writ ｅ( (” ” <t〉 ｈ〉 <font si ｚe e ＝" " ５ " ｃ olor=g ｒ een 〉電影 </fo ｎ t></t）
ｈ〉”）
?
#f 、w w ｒ ite （＂＜t t ｈ
ｗ idt ｈ= = ＇５ 0px ＇ ><fo ｎ t sｉz z ｅ ="5 ’
c c ｏ lor=g ｒe e ｅn n 〉評分＜／ font 〉〈/ / ｔｈ〉" " ）
f f 、 wri ｔe e （" " 〈 th
ｗi i ｄ th="5 ０ px ’> > 〈f f ｏn n ｔ
size=＇ ’５＇
ｃ ol ｏ r=green 〉排名〈／ fo ｎｔ〉〈 /th> ”) )
?
#f 、ｗｒ ite( ＂
〈t t ｈ
width= ’１ 00px ’〉〈 font size ＝ "5" ｃ olor=green 〉評價人數 </fo ｎｔ〉〈 /t ｈ〉" " ）
?
ｆ、 wr ite （" " 〈 th> 〈 font siz ｅ＝ "5 ＇
color=gr ｅ en> 導演〈／ font 〉＜ /th ＞”) )
f f 、 wr ｉｔ e( ” </tr>")
f f 、ｗr r ｉ te("< ／ th ｅ ad 〉”) )
f f 、ｗｒ ite(" 〈 tbod ｙ> > ”) )
for data in data ｓ: :
?
for ｉ
i i ｎ
ra ｎ ge( ０, ,
25 ）: :
?
f f 、 write （＂〈t t ｒ〉”) )
f f 、 write( ＂ <td styl ｅ =" ｃ olor:ora ｎ ge; ｔ ext —align:c en ｔ er ’〉 %s ＜ /td 〉”
% ｄa ata ［ "ti ｔ le"][i]）
）
?
#
ｆ、w w ｒ ite （”〈 td s ｔｙ le ＝’c c ｏｌｏ r:bl ｕe e ； te ｘｔ－a a ｌ ign ：c c ｅ nte ｒ＇〉% % ｓ＜/ / ｔ d>"
% data ［＇r r ａｔi i ｎ g_num"] ［ｉ] ] ）
?
ｆ、 writ ｅ ("<td
s s ｔy y ｌe e ＝ "co ｌｏ r: ｒ ed ； text — ａl l ｉ gn ：ｃｅn nｔ er" 〉％ s< ／ td 〉”
% %
data ［’ｒ ange_num ’］ [i])
#
f 、w w ｒi i ｔｅ（" " ＜ｔ d sty le= ’ co ｌ or:bl ｕ e;tex ｔ- - alig ｎ：
cen ｔe e ｒ’〉 %s 〈 /td ＞”
% %
d d ａ ta[ ’ｒ ating_p ｅ ople＿ｎｕ m"] ［i i ］) )
f f 、 write( ”〈 td st ｙ le= ’ col ｏ r: ｂl l ａｃk k ；ｔext — ａl l ｉ gn:center ’〉％ s< ／ td>" % ｄ ata[’ ’m m ｏ vi ｅ＿ aut ｈ or ’］[ [ ｉ] ] ）
f f 、 write （" " 〈) /tr>")
?
f f 、 wri ｔe e （”〈／ tbodｙ〉" " ）
f f 、 write （" " ＜/ / ｔh h ｅ ad 〉) ")
?
f f 、 wri ｔ e( ” </ ｔa a ｂ le 〉＂) )
f f、 、w w ｒｉt t ｅ( ( ”＜／ bo ｄy y〉 〉" "）
）
?
ｆ、 write( ＂〈/ / ｈt t ｍｌ〉”）
?
f f 、 close()
ｉf f
__ ｎa a ｍ e__
＝= =
’_ _ ＿m m ａi i ｎ＿_ _ ’: :
data ｓ
= ［］
h h ｔ mls = __getH ｔ ml （) )
?
ｆ or i
ｉ n rang ｅ（l l ｅn n（ htmls) ）: :
?
dat ａ
= __getData （ ht ｍ ls[ ｉ] ]）
）
?
datas 、 ap ｐ end(data)
?
＿ _g ｅ tMo vies(datas ）
４數據保存、展示
結果如后圖所示:
5 技術難點關鍵點 數據爬取實戰( 搜房 網 爬取房屋 數據) ｆｒo o ｍ
bs４ i i ｍ po ｒt t
BｅautifｕlＳoupopmi? impo ｒ t requestsｒ?ｅp ＝ requeｓｔs、get（ ’" ") rep、eｎｃodｉng = " " ｇ b2312"
＃ 設置編碼方式 html = rｅｐ、ｔexｔh" ,lmth（puｏSlufituａｅB = puoｓ? "h ｔｍｌ、 parser ’）
f = oｐeｎ( "F://f ａ ng 、 html ’, ’w w ＇,encoding= ’u u ｔｆ —8 8 ’) f、writｅ（ ” <ht ｍｌ〉＂) f、wriｔe( "< ｈｅa a ｄ〉〈ｍ eta ch ａ rse ｔ= = ’ UTF — ８" " ＞ <t ｉ tle>Ins
ｅr r ｔ
ｔ it ｌ e here</tit ｌ e></ ｈ ead 〉”）〈”(etirｗ、f? ”〈b b ｏ dy>” ”）
f、ｗriｔe(" " 〈c c ｅｎ ter> ＜ h1 〉新房成交Ｔ OP ３ </h1 ＞〈／ ce ｎt t ｅｒ> > ”)〈＂(etｉrｗ、f? ＂〈t t ａb b ｌｅ
ｂ order ＝ "1px ’
width= ’1 1 ００0 0 ｐx x ’
ｈ eig ｈｔ ="800p ｘ’
ａｌi i ｇ n=c ｅ nte ｒ〉＜ tr 〉＂)w、ｆ?ｒｉte( "<th>< ｈ2 2 〉房址 </ ｈ 2> 〈 /t ｈ >"）〈" "（etｉrw、f? 〈 th 〉〈ｈ2 2 〉成交量〈 /h2 〉〈 /th 〉" ") f、wｒitｅ( ”< < ｔ h> 〈ｈ２＞均價 </h2> ＜/ / ｔh h 〉〈/ / ｔr r ＞”) rof? for ｌi in sｏｕp、find(” ” ul",claｓs_=” ” ul02")、find＿aｌl( ＂l l ｉ”）:
nａmｅ=li、ｆind(” ” div” ”,ｃlａss_=" " ｐ btext” ”)、find(” ”ｐ”）、teｘt
ｃhｅnｇjiａoliang=li、fｉnd(" " ｓｐa a ｎ”,ｃlaｓｓ＿= "rｅd d — f3 ”)、ｔｅxｔ
ｔｒy y:
ｉｄ”(dniｆ、il=aijｎuｊ? ”ｄｉ v"，cｌａｓs_=" "ｏ hte ｒ" ")、find( "p",clａｓs＿＝" " ｇ ray —9 9 ”) #、text、ｒeplace（’。Ｏ’， ’平方米") ?
exce ｐ t Exception a a ｓ
ｅ:
?junｊia＝ｌｉ、fｉｎd（ "di ｖ" ",class_= "gray — 9") #、texｔ、replaｃｅ("?Ｏ＇， ’平方米＇) ?
ｆ、writｅ( "<tr 〉< < ｔ d ａ li ｇ n=ce ｎ te ｒ〉< < ｆ ont
size="5pｘ’
c c ｏl l ｏ r=r ｅd d ＞ %s 〈 /fo ｎt t 〉＜/ / ｔd d 〉 " % naｍe)
、ｆ?wrｉｔe( ＂〈t t ｄ
alig ｎ= = ｃe e ｎ ter> 〈 font s ｉ ze= ’ 5px"
col ｏr=b ｌ ue>%s</font> 〈/ / ｔｄ〉 " % chengjiaｏｌiaｎg)
rｗ、ｆ?
ｉte(" " 〈t t ｄ
ａ lign ＝ center 〉 <f ｏ nt
size= ＇５p p ｘ’
col ｏr r＝g g ｒe e ｅn n 〉 %s 〈/ / ｆ ont ＞〈／ td></t ｒ〉 " % jｕnjia）
ｒp p? ｒint(naｍe)
f、ｗritｅ(" " ＜ /table 〉＂）＜＂(etirw、f? ＂＜ /bo ｄ y> ”)
? 六、總結 教師評語: 成績:
指導教師:
推薦訪問： 實習報告 爬蟲 網絡上一篇：與職工解除勞動合同協議
下一篇：酒類代理合同協議(標準版)
在偉大祖國73華誕之際，我參加了單位組織的“光影鑄魂”主題黨日活動，集中觀看了抗美援朝題材影片《長津湖》，再一次重溫這段悲壯歷史，再一次深刻感悟偉大抗美援朝精神。1950年10月，新中國剛剛成立一年，
根據省局黨組《關于舉辦習近平談治國理政（第四卷）讀書班的通知》要求，我中心通過專題學習、專題研討以及交流分享等形式，系統的對《習近平談治國理政》（第四卷)進行了深入的學習與交流，下面我就來談一談我個人
《習近平談治國理政》（第四卷）是在百年變局和世紀疫情相互疊加的大背景下，對以習近平同志為核心的黨中央治國理政重大戰略部署、重大理論創造、重大思想引領的系統呈現。它生動記錄了新一代黨中央領導集體統籌兩個
《真抓實干做好新發展階段“三農工作”》是《習近平談治國理政》第四卷中的文章，這是習近平總書記在2020年12月28日中央農村工作會議上的集體學習時的講話。文章指出，我常講，領導干部要胸懷黨和國家工作大
在《習近平談治國理政》第四卷中，習近平總書記強調，江山就是人民，人民就是江山，打江山、守江山，守的是人民的心。從嘉興南湖中駛出的小小紅船，到世界上最大的執政黨，在中國共產黨的字典里，“人民”一詞從來都
黨的十八大以來，習近平總書記以馬克思主義戰略家的博大胸襟和深謀遠慮，在治國理政和推動全球治理中牢固樹立戰略意識，在不同場合多次圍繞戰略策略的重要性，戰略和策略的關系，提高戰略思維、堅定戰略自信、強化戰
《習近平談治國理政》第四卷集中展示了以習近平同志為核心的黨中央在百年變局和世紀疫情相互疊加背景下，如何更好地堅持和發展中國特色社會主義而進行的生動實踐與理論探索；對于新時代堅持和發展什么樣的中國特色社
在黨組織的關懷下，我有幸參加了區委組織部組織的入黨積極分子培訓班。為期一周的學習，學習形式多樣，課程內容豐富，各位專家的講解細致精彩，對于我加深對黨的創新理論的認識、對黨的歷史的深入了解、對中共黨員的
《習近平談治國理政》第四卷《共建網上美好精神家園》一文中指出：網絡玩命是新形勢下社會文明的重要內容，是建設網絡強國的重要領域。截至2021年12月，我國網民規模達10 32億，較2020年12月增長4
剛剛召開的中國共產黨第十九屆中央委員會第七次全體會議上討論并通過了黨的十九屆中央委員會向中國共產黨第二十次全國代表大會的報告、黨的十九屆中央紀律檢查委員會向中國共產黨第二十次全國代表大會的工作報告和《