将URL按一定的格式进行拆分
- 使用 urllib.parse.urlparse将url分为6个部分,返回一个包含6个字符串项目的元组:协议、位置、路径、参数、查询、片段
参照官方地址:https://docs.python.org/3/library/urllib.parse.html
import urllib.parse#urlparse将url分为6个部分url ="https://i.cnblogs.com/EditPosts.aspx?opt=1"url1 = "cheme://netloc/path;parameters?query#fragment"url_change = urllib.parse.urlparse(url)print(url_change)
输出结果为:
ParseResult(scheme='https', netloc='i.cnblogs.com', path='/EditPosts.aspx', params='', query='opt=1', fragment='')
其中 scheme 是协议 netloc 是域名服务器 path 相对路径 params是参数,query是查询的条件
- 使用 urllib.parse.urlsplit 将url分为5个部分,返回一个包含字符串项目的元组:协议、位置、路径、查询、片段
1 import urllib.parse2 #urlsplit将url分为5个部分3 url ="https://i.cnblogs.com/EditPosts.aspx?opt=1"4 url_change = urllib.parse.urlsplit(url)5 print(url_change)
输出结果为:
ParseResult(scheme='https', netloc='i.cnblogs.com', path='/EditPosts.aspx',query='opt=1', fragment='')
其中 scheme 是协议 netloc 是域名服务器 path 相对路径 ,query是查询的条件
对URL按照一定的规格进行拼接
- 使用 urllib.parse.urljoin将相对的一个地址组合成一个url,对于输入没有限制,开头必须是http://或者https://,否则将不组合前面的部分。
1 import urllib.parse2 host = "https://127.0.0.1"3 #host ="127.0.0.1"4 port = "8888"5 new_url = urllib.parse.urljoin(host,port)6 print(new_url)
输出结果为:
https://127.0.0.1/8888
如果 host ="127.0.0.1",则输出的只是: 8888
parse_qs 有几种实现
- urllib.parse.parse_qs 返回字典
- urllib.parse.parse_qsl 返回列表
import urllib.parse#urlparse将url分为6个部分url ="https://i.cnblogs.com/EditPosts.aspx?opt=1"url_change = urllib.parse.urlparse(url) # 将url拆分为6个部分query = url_change.query #取出拆分后6个部分中的查询模块querylst_query = urllib.parse.parse_qsl(query) #使用parse_qsl返回列表dict1 =dict(lst_query) #将返回的列表转换为字典dict_query =urllib.parse.parse_qs(query) #使用parse_qs返回字典print("使用parse_qsl返回列表 :",lst_query)print("将返回的列表转换为字典 :",dict1)print("使用parse_qs返回字典 : ",dict_query)# data = "test=test&test2=test2&test2=test3"# print(urllib.parse.parse_qsl(data)) #返回列表# print(urllib.parse.parse_qs(data)) #返回字典