关于源码的使用

  • 使用了request,bs4的库
  • 可以用来抓取网页中的超链接（可以设置规则）。并写入到url.txt中。
  • 我是用来抓创意工坊的mod超链接的。

只是做个笔记。方便寻找。

各路大佬也可以来指点指点。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from urllib.request import urlopen
from bs4 import BeautifulSoup
import ssl

ssl._create_default_https_context = ssl._create_unverified_context
url = urlopen('https://steamcommunity.com/app/563560/workshop/')  # 获取网页


bs = BeautifulSoup(url, 'html.parser')  # 解析网页
hyperlink = bs.find_all('a')  # 获取所有超链接
file = open('./url.txt', 'w')

for h in hyperlink:
    hh = h.get('href')
    if hh and '/sharedfiles/filedetails/' in hh and '#comments' not in hh:  # 筛选链接
        print(hh)
        file.write(hh)  # 写入到“urltxt”文件中
        file.write('\n')

file.close()