【python简单爬虫代码】在当今信息爆炸的时代，网络数据的获取变得越来越重要。Python 作为一门功能强大且易于学习的编程语言，被广泛用于开发网络爬虫。本文将总结一些简单实用的 Python 爬虫代码示例，帮助初学者快速入门。
一、爬虫简介
网络爬虫（Web Crawler）是一种自动抓取网页内容的程序，可以按照一定的规则从互联网上提取数据。Python 提供了多种库来实现爬虫功能，如 `requests`、`BeautifulSoup`、`Selenium` 和 `Scrapy` 等。
二、常用工具与功能对比
| 工具名称 | 功能描述 | 是否需要浏览器支持 | 适合场景 |
| requests | 发送 HTTP 请求，获取网页内容 | 否 | 静态页面数据抓取 |
| BeautifulSoup | 解析 HTML 页面，提取所需数据 | 否 | 结构化数据提取 |
| Selenium | 模拟浏览器操作，支持 JavaScript | 是 | 动态加载页面或登录验证 |
| Scrapy | 强大的爬虫框架，适合大规模项目 | 否 | 复杂网站数据抓取 |
三、简单爬虫代码示例
示例 1：使用 `requests` + `BeautifulSoup` 抓取网页标题
```python
import requests
from bs4 import BeautifulSoup
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
提取网页标题
title = soup.title.string
print("网页标题:", title)
```
示例 2：抓取指定标签内容（如所有链接）
```python
import requests
from bs4 import BeautifulSoup
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
提取所有 标签的 href 属性
for link in soup.find_all('a'):
print(link.get('href'))
```
示例 3：使用 `Selenium` 打开动态页面
```python
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://example.com')
print(driver.title)
driver.quit()
```
四、注意事项
- 遵守网站规则：不要频繁请求，避免对服务器造成压力。
- 设置请求头：模拟浏览器访问，防止被识别为爬虫。
- 处理异常：添加 `try-except` 块，提高程序健壮性。
- 合理存储数据：可将抓取的数据保存为 CSV、JSON 或数据库。
五、总结
Python 的简单爬虫代码可以帮助我们快速获取网络上的结构化数据。通过结合 `requests` 和 `BeautifulSoup`，可以轻松完成静态网页的抓取任务；而 `Selenium` 则适用于需要处理 JavaScript 的动态页面。掌握这些基础技能，是进入网络数据挖掘的第一步。
如果你正在学习 Python 或对数据采集感兴趣，不妨从这些简单代码开始实践，逐步构建自己的爬虫项目。
