< > >
作者:Miao Xi和< >
> >强> 0 * 00;序>>>>>>>>>>>
任务: > >
使用脚本在搜索引擎的帮助下收集Web子域信息。
准备工具: > >
Python安装包,PIP,HTTP请求库:请求库,常规库:RE库。
子域名与网站的主域名相对应。例如,域名百度:baidu.com,这是一个顶级域名,在顶级域名的&;quot;。&;quot;不同性状的分离,例如,那么这是一个二级域名,主机名,同样,继续扩大域名如club.user.baidu.com,那是一个三级域名,依次类推。< > >
0x00文本<H2>
手工收集子域名的过程是什么? >
例如,例如,我们要收集qq.com,主域名,和所有子域,可以通过百度搜索引擎搜索。
>首先,使用搜索域名的语法来搜索~ > P >
搜索域语法:站点:
然后,在搜索结果中,我们有子域名信息,我们可以右击元素并复制它。
< > >
的开始: >
1。启动一个搜索http请求
请请求我们使用Python的第三方HTTP库,请请求 >
需要额外安装,和PIP可用于安装pipinstallrequests
请求基本上使用-例如:
帮助(请求)查看请求的帮助手册。
目录(请求)查看请求对象的所有属性和方法。
requests.get(&;# 39; HTTP:/ / www.baidu .com &;
>启动GET请求。
好的,添加基本知识,让我们开始请求并获取返回包的内容。
# *编码:UTF-8 *—
进口的要求#为请求图书馆
url = &;# 39; http://www.baidu.com/s?我的网站:QQ。COM &;# 39 ;#设置URL请求
响应= requests.get(URL)。内容# GET请求,内容是回到鲍正文
打印响应
返回包的内容太多,我们需要找到我们想要的子域,然后复制它。
从视图元素中,我们可以发现子域被封装在一段代码中,如下所示:
风格= &;quot;文字装饰:无;&;quot;&;gt;chuangshi.qq.com/ &;lt;/ &;gt;
2。正则表达式-。*?)初次登场:
正则规则:样式=“文本装饰:无”。*?)
正则表达式难吗?很难,是不是很复杂?这很复杂。
但是最简单的正则表达式,我们希望使用数据来表示。*?)< >
基本上使用示例: >
假定我们要从一个字符串的字符串&;# 39;123xxixx123xxlikexx123xxstudyxx &;# 39;拿出我的研究,我们可以这样写:
Eg = &;# 39;123xxixx123xxlikexx123xxstudyxx &;# 39;
printre.findall(&;# XX(39。*?)XX &;# 39,如;)
#打印结果
【&;# 39;我&;# 39;&;# 39;像&;# 39;&;# 39;研究&;# 39;
基于上面的例子,你也可以得到子域名依葫芦画瓢。
# *编码:UTF-8 *—
importrequests #进口要求图书馆
并复出#进口再图书馆
url = &;# 39; http://www.baidu.com/s?我的网站:QQ。COM &;# 39 ;#设置URL请求
响应= requests.get(URL)。内容# GET请求,内容是回到鲍正文
#焦点,集中在以下代码。
子= re.findall(&;# 39;风格= &;quot;文字装饰:无;&;quot;&;gt;/ &;(2?)39、#响应);
printsubdomain
结果:
[& #39; www.qq.com& #39; & #39; chuangshi.qq.com& #39; & #39; 1314.qq.com& #39; 1314.qq.com& #39;; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"; ";"
3。页面处理 >
p上获得的子域只是返回结果的第一页,以及如何获得所有页面的结果?
键=腾讯
#添加URL页面:
url = &,quot,< a href =,http://www.baidu.com.cn/s,WD =网站:% 22,目标=,_blank rel= nofollow,,,noopener,nofollow,E,C,C,C,C,C,C,C,C;
url = &,quot,< a href =,http://www.baidu.com.cn/s,WD =网站:% 22,目标=,_blank rel= nofollow,,,noopener,nofollow,E,C,C,C,C,C,
发表评论