1. 所在位置
  2. 首页
  3. 经验笔记
  4. 正文

使用BeautifulSoup在Python中实现网页搜刮？

BeautifulSoup是python的bs4模块中的类。构建beautifulsoup的基本目的是解析HTML或XML文档。

安装bs4（简而言之Beautifulsoup）

使用pip模块很容易安装beautifulsoup。只需在命令外壳上运行以下命令即可。

pip install bs4

在终端上运行以上命令，将看到类似以下内容的屏幕-

C:\Users\rajesh>pip install bs4
Collecting bs4
Downloading https://files.pythonhosted.org/packages/10/ed/7e8b97591f6f456174139ec089c769f89a94a1a4025fe967691de971f314/bs4-0.0.1.tar.gzRequirement already satisfied: beautifulsoup4 in c:\python\python361\lib\site-packages (from bs4) (4.6.0)
Building wheels for collected packages: bs4
Building wheel for bs4 (setup.py) ... done
Stored in directory: C:\Users\rajesh\AppData\Local\pip\Cache\wheels\a0\b0\b2\4f80b9456b87abedbc0bf2d52235414c3467d8889be38dd472
Successfully built bs4
Installing collected packages: bs4
Successfully installed bs4-0.0.1

为了验证，BeautifulSoup是否已成功安装在您的计算机中，只需在同一终端中在命令下方运行-

C:\Users\rajesh>python
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from bs4 import BeautifulSoup
>>>

成功，太好了！

例子1 

从html文档中查找所有链接现在，假设我们有一个HTML文档，并且我们希望收集文档中的所有参考链接。所以首先我们将文档存储为以下字符串：

html_doc='''<a href='wwww.Nhooo.com.com'/a>
<a href='wwww.nseindia.com.com'/a>
<a href='wwww.codesdope.com'/a>
<a href='wwww.google.com'/a>
<a href='wwww.facebook.com'/a>
<a href='wwww.wikipedia.org'/a>
<a href='wwww.twitter.com'/a>
<a href='wwww.microsoft.com'/a>
<a href='wwww.github.com'/a>
<a href='wwww.nytimes.com'/a>
<a href='wwww.youtube.com'/a>
<a href='wwww.reddit.com'/a>
<a href='wwww.python.org'/a>
<a href='wwww.stackoverflow.com'/a>
<a href='wwww.amazon.com'/a>
<a href=‘wwww.linkedin.com'/a>
<a href='wwww.finace.google.com'/a>'''

现在，我们将通过在beautifulSoup的初始化函数中传递上述变量html_doc来创建汤对象。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

现在我们有了汤对象，我们可以在其上应用BeautifulSoup类的方法。现在，我们可以在html_doc中给定的属性中找到标记的所有属性和值。

for tag in soup.find_all('a'):
print(tag.get('href'))

从上面的代码中，我们试图通过循环获取html_doc字符串中的所有链接，以获取文档中的每个<a>并获取href属性。

以下是完整的代码，可从html_doc字符串获取所有链接。

from bs4 import BeautifulSoup

html_doc='''<a href='www.Nhooo.com'/a>
<a href='www.nseindia.com.com'/a>
<a href='www.codesdope.com'/a>
<a href='www.google.com'/a>
<a href='www.facebook.com'/a>
<a href='www.wikipedia.org'/a>
<a href='www.twitter.com'/a>
<a href='www.microsoft.com'/a>
<a href='www.github.com'/a>
<a href='www.nytimes.com'/a>
<a href='www.youtube.com'/a>
<a href='www.reddit.com'/a>
<a href='www.python.org'/a>
<a href='www.stackoverflow.com'/a>
<a href='www.amazon.com'/a>
<a href='www.rediff.com'/a>'''

soup = BeautifulSoup(html_doc, 'html.parser')

for tag in soup.find_all('a'):
print(tag.get('href'))

结果

www.Nhooo.com
www.nseindia.com.com
www.codesdope.com
www.google.com
www.facebook.com
www.wikipedia.org
www.twitter.com
www.microsoft.com
www.github.com
www.nytimes.com
www.youtube.com
www.reddit.com
www.python.org
www.stackoverflow.com
www.amazon.com
www.rediff.com

例子2

 打印来自网站的所有链接，其中包含链接中提到的特定元素（例如：python）。

下面的程序将打印来自特定网站的所有URL，该网站的链接中包含“ python”。

from bs4 import BeautifulSoup
from urllib.request import urlopen
import re

html = urlopen("http://www.python.org")
content = html.read()
soup = BeautifulSoup(content)
for a in soup.findAll('a',href=True):
if re.findall('python', a['href']):
print("Python URL：", a['href'])

结果

Python URL： https://docs.python.orgPython URL： https://pypi.python.org/
Python URL： https://www.facebook.com/pythonlang?fref=ts
Python URL： http://brochure.getpython.info/
Python URL： https://docs.python.org/3/license.html
Python URL： https://wiki.python.org/moin/BeginnersGuide
Python URL： https://devguide.python.org/
Python URL： https://docs.python.org/faq/
Python URL： http://wiki.python.org/moin/Languages
Python URL： http://python.org/dev/peps/
Python URL： https://wiki.python.org/moin/PythonBooks
Python URL： https://wiki.python.org/moin/
Python URL： https://www.python.org/psf/codeofconduct/
Python URL： http://planetpython.org/
Python URL： /events/python-events
Python URL： /events/python-user-group/
Python URL： /events/python-events/past/
Python URL： /events/python-user-group/past/
Python URL： https://wiki.python.org/moin/PythonEventsCalendar#Submitting_an_Event
Python URL： //docs.python.org/3/tutorial/controlflow.html#defining-functions
Python URL： //docs.python.org/3/tutorial/introduction.html#lists
Python URL： http://docs.python.org/3/tutorial/introduction.html#using-python-as-a-calculator
Python URL： //docs.python.org/3/tutorial/
Python URL： //docs.python.org/3/tutorial/controlflow.html
Python URL： /downloads/release/python-373/
Python URL： https://docs.python.org
Python URL： //jobs.python.org
Python URL： http://blog.python.org
Python URL： http://feedproxy.google.com/~r/PythonInsider/~3/Joo0vg55HKo/python-373-is-now-available.html
Python URL： http://feedproxy.google.com/~r/PythonInsider/~3/N5tvkDIQ47g/python-3410-is-now-available.html
Python URL： http://feedproxy.google.com/~r/PythonInsider/~3/n0mOibtx6_A/python-3.html
Python URL： /events/python-events/805/
Python URL： /events/python-events/817/
Python URL： /events/python-user-group/814/
Python URL： /events/python-events/789/
Python URL： /events/python-events/831/
Python URL： /success-stories/building-an-open-source-and-cross-platform-azure-cli-with-python/
Python URL： /success-stories/building-an-open-source-and-cross-platform-azure-cli-with-python/
Python URL： http://wiki.python.org/moin/TkInter
Python URL： http://www.wxpython.org/
Python URL： http://ipython.org
Python URL： #python-network
Python URL： http://brochure.getpython.info/
Python URL： https://docs.python.org/3/license.html
Python URL： https://wiki.python.org/moin/BeginnersGuide
Python URL： https://devguide.python.org/
Python URL： https://docs.python.org/faq/
Python URL： http://wiki.python.org/moin/Languages
Python URL： http://python.org/dev/peps/
Python URL： https://wiki.python.org/moin/PythonBooks
Python URL： https://wiki.python.org/moin/
Python URL： https://www.python.org/psf/codeofconduct/
Python URL： http://planetpython.org/
Python URL： /events/python-events
Python URL： /events/python-user-group/
Python URL： /events/python-events/past/
Python URL： /events/python-user-group/past/
Python URL： https://wiki.python.org/moin/PythonEventsCalendar#Submitting_an_Event
Python URL： https://devguide.python.org/
Python URL： https://bugs.python.org/
Python URL： https://mail.python.org/mailman/listinfo/python-dev
Python URL： #python-network
Python URL： https://github.com/python/pythondotorg/issues
Python URL： https://status.python.org/
基础教程
猜你喜欢

友情链接： json在线解析 通晓查询 糯晒黄历 姓名打分 风车动漫