深圳建站公司模板網(wǎng)絡(luò)營銷公司排行
hello,大家好,這里是【玩數(shù)據(jù)的詭途】
接上回 <我的影刀故事>
今天給大家介紹一下整個采集的底層邏輯,包括業(yè)務(wù)流程自動化也是基于這一套基礎(chǔ)邏輯進行展開的,順便帶大家熟悉一下影刀,既然叫影刀系列了,那后續(xù)一些分享也理所當(dāng)然的基于影刀來進行
一、 影刀安裝
工欲善其事必先利其器,首先需要安裝一下影刀工具,直接 影刀官網(wǎng) 下載安裝即可,和你電腦里的其他軟件安裝一樣。官網(wǎng)也有一些介紹可以了解下
下載好的軟件,打開注冊登錄,這里可以看到有一些教程,可以跟著學(xué)習(xí)操作練習(xí),新建一個程序, 進入到如下開發(fā)面板,整體可以分兩個部分,右上方這兩個圈出來的地方,一個是【新建流程】,一個是【新建模塊】流程就是可視化的低代碼開發(fā),模塊就是Python模塊,可以直接寫python代碼,每個指令都有簡要說明,可以了解一下,學(xué)習(xí)中心是所有指令的集合,方便根據(jù)功能搜索
二、主流程介紹
開發(fā)的主要流程,一般工作內(nèi)容是采集/操作瀏覽器網(wǎng)頁,也會有一些客戶端交互案例,比如千牛客服,釘釘消息批處理等。更多的工作場景還是基于網(wǎng)頁進行的,所以我們還是以網(wǎng)頁交互為主。
在采集的過程中主要邏輯是先跟瀏覽器建立聯(lián)系,
在影刀中主要使用create
后續(xù)所有操作都是對網(wǎng)頁交互
所以我們后續(xù)頻繁使用的功能將是web下面的指令,可以重點了解
三、網(wǎng)頁交互
想要進行網(wǎng)頁交互,先要和瀏覽器建立連接,主要使用create、get_active這兩個函數(shù)進行連接
create(url, mode='cef', *, load_timeout=20, stop_if_timeout=False, silent_running=False, executable_path=None, arguments=None) -> xbot.web.browser.WebBrowser打開網(wǎng)頁
● @param url, 目標(biāo)網(wǎng)址
● @param mode, 瀏覽器類型● 'cef' 影刀瀏覽器,● 'chrome' Google Chrome瀏覽器● 'edge' Microsoft Edge瀏覽器● 'ie' Internet Explorer瀏覽器● '360se' 360安全瀏覽器● 'firefox' Firefox瀏覽器
● @param load_timeout, 等待加載超時時間, 默認超時時間20s, 如果網(wǎng)頁超時未加載完成則拋出 UIAError 異常● >0, 等待時間● 0, 不等待頁面加載完成,立即返回● -1, 無限等待,直到頁面加載完成
● @param stop_if_timeout, 網(wǎng)頁加載超時時是否停止加載網(wǎng)頁, 默認是 False 不停止加載
● @param silent_running, 是否啟用靜默運行, 默認是 False
● @param arguments, 命令行參數(shù), 必須是目標(biāo)瀏覽器支持的命令行, 可為空
● @return WebBrowser , 返回打開的網(wǎng)頁對象===
get_active(mode='cef', *, load_timeout=20, stop_if_timeout=False, silent_running=False) -> xbot.web.browser.WebBrowser獲取當(dāng)前選中或激活的網(wǎng)頁
● @param mode, 瀏覽器類型● 'cef' 影刀瀏覽器,● 'chrome' Google Chrome瀏覽器● 'edge' Microsoft Edge瀏覽器● 'ie' Internet Explorer瀏覽器● 'firefox' FIrefox瀏覽器
● @param load_timeout, 等待加載超時時間, 默認超時時間20s, 如果網(wǎng)頁超時未加載完成則拋出 UIAError 異常
● @param stop_if_timeout, 網(wǎng)頁加載超時時是否停止加載網(wǎng)頁, 默認是 False 不停止加載
● @param silent_running, 是否啟用靜默運行, 默認是 None 沿用之前的設(shè)定
● @return WebBrowser , 返回獲取到的網(wǎng)頁對象
建立連接之后,后面的就是跟網(wǎng)頁交互,從而獲取自己想要的數(shù)據(jù)或者自動化執(zhí)行的內(nèi)容,總結(jié)抽象出了三個主邏輯,所有的功能都是以【元素定位】、【目標(biāo)元素的屬性】,【與定位到的目標(biāo)元素進行交互】這三個主邏輯循環(huán)嵌套來實現(xiàn)的。具體怎么使用,將在下一期具體案例,帶大家代碼實操,一步步拆解每個模塊功能。
寫在最后
視頻版同步詳見
新鮮出爐的UP主,來當(dāng)未來百大的老粉吧
感謝大家關(guān)注,歡迎一鍵三連,求粉求關(guān)注