本篇文章給大家談?wù)剆crapy做自動化測試，以及py自動化測試博客對應(yīng)的知識點，希望對各位有所幫助，不要忘了收***本站喔。 今天給各位分享scrapy做自動化測試的知識，其中也會對py自動化測試博客進(jìn)行解釋，如果能碰巧解決***現(xiàn)在面臨的問題，別忘了關(guān)注本站，現(xiàn)在開始吧！

1. scrapy是什么的縮寫？

1、scrapy是什么的縮寫？

1.Scrapy是蜘蛛爬蟲框架，我們用蜘蛛來獲取互聯(lián)網(wǎng)上的各種信息，然后再對這些信息進(jìn)行數(shù)據(jù)分析處理。

2.Scrapy的組成

引擎：處理整個系統(tǒng)的數(shù)據(jù)流處理，出發(fā)事務(wù)

調(diào)度器: 接受引擎發(fā)過來的請求，壓入隊列中，并在引擎再次請求的時候返回

下載器: 下載網(wǎng)頁內(nèi)容，并將網(wǎng)頁內(nèi)容返回給蜘蛛

蜘蛛: 蜘蛛是主要干活的，用來制定特定域名或網(wǎng)頁的解析規(guī)則

項目管***: 清洗驗證存儲數(shù)據(jù)，頁面被蜘蛛解析后，被發(fā)送到項目管***，并經(jīng)過幾個特定的次序處理數(shù)據(jù)。

下載器中間件: 位于引擎和下載器之間，處理引擎與下載器之間的請求及響應(yīng)

蜘蛛中間件:位于引擎和蜘蛛之間，處理從引擎發(fā)送到調(diào)度的請求及響應(yīng)

Scrapy是適用于Python的一個快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測和自動化測試，有時也稱為蜘蛛或蜘蛛機(jī)器人，通常簡稱為爬蟲。

是sorry h***y 的縮寫

到此，以上就是小編對于scrapy做自動化測試的問題就介紹到這了，希望介紹關(guān)于scrapy做自動化測試的1點解答對大家有用。