python爬虫代码翻页，python中输入错误不能删除吗

python中输入错误不能删除吗 " />

Python是一种解释型的高级编程语言，它的应用场景非常广泛。其中，爬虫是Python的重要应用之一，能够帮助我们从互联网上获取大量信息。在爬虫过程中，很多时候需要翻页获取更多的信息。那么如何进行翻页呢？

一、基础概念

在开始讲解翻页之前，我们先来了解一些基础概念。在爬虫过程中，有两种不同的请求方式：GET请求和POST请求。

GET请求：数据会通过URL以字符串的形式传送到服务器，这种方式适用于请求数据量较小的情况。

POST请求：数据会通过HTTP协议发送到服务器，适用于请求数据量较大或者需要保护数据安全的情况。

例如，在爬取一个电商平台的商品信息时，我们可以通过GET请求获取商品列表页面，然后通过POST请求获取每个商品的详细信息。

另外，我们还需要了解URL的结构。在URL中，参数通常以键值对的形式出现，并用“？”分隔URL和请求参数，用“&”分隔多个参数。例如，请求https://www.example.com/search?q=python&page=3中，参数q的值为“python”，参数page的值为“3”。

二、实现翻页

我们以爬取豆瓣电影为例，演示如何通过Python实现翻页。首先，我们需要分析豆瓣电影的URL结构。

https://movie.douban.com/subject/26935251/?from=showing

https://movie.douban.com/subject/26935251/cinema/?from=showing

https://movie.douban.com/subject/26935251/cinema/126123/?from=showing

在豆瓣电影中，每个电影详情页面的URL以“/subject/电影ID/”为前缀，不同页面的URL在其后添加不同的后缀。例如，“/cinema/”表示影院热映，后跟页码参数；“/cinema/126123/”，表示第126123个影院热映的信息。

我们可以通过观察URL的规律，来构造翻页请求。具体实现代码如下：

``` python

import requests

from bs4 import BeautifulSoup

url = 'https://movie.douban.com/subject/26935251/cinema/'

params = {

'from': 'showing',

'start': 0,

'sort': 'S'

}

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'

}

while True:

response = requests.get(url, params=params, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')

# 解析页面规则

yields = soup.select('#showing-list')[0].select('.cinema-title > a')

for yield_item in yields:

print(yield_item['href'], yield_item.text.strip())

# 检查是否还有下一页

if not soup.select('.next > a'):

break

params['start'] += 20 # 每页20个信息

```

在上述代码中，需要注意以下几点：

1. url为电影详情页面的URL前缀。

2. params为请求参数字典，包括‘from’（来源）、‘start’（起始位置）和‘sort’（排序方式）三个键。

3. headers为请求头信息，包括浏览器代理信息。

4. 然后在while循环中，不断发送get请求，将起始位置参数start增加20，以获取下一页的信息。如果没有下一页，则跳出循环。

三、避免输入错误

在实际爬虫过程中，我们经常需要输入一些信息，比如爬取数据的起始位置和结束位置。由于人工输入可能存在输错的情况，因此我们需要在代码中添加输入校验函数，避免因输入错误引发程序异常。

下面是一个输入校验函数的示例代码：

``` python

def input_check(message, error_message, type_check):

"""

输入校验函数

:param message: 输入提示信息

:param error_message: 错误提示信息

:param type_check: 类型检查函数

:return: 校验后的结果

"""

while True:

result = input(message)

if not result:

print(error_message)

continue

try:

result = type_check(result)

except ValueError as e:

print(error_message)

continue

else:

return result

```

在这个函数中，我们通过循环不断询问用户输入，直到用户输入符合要求。其中：

1. message为输入提示信息，例如“请输入起始位置：”。

2. error_message为错误提示信息，例如“输入的起始位置必须为整数！”。

3. type_check为类型检查函数，例如int()函数可以检查字符串是否为整数类型。

我们可以将上面示例代码中的params['start']改为input_check()函数的调用，避免用户输入非法的起始位置参数。

``` python

limit = input_check('请输入结束位置：', '输入的结束位置必须为整数！', int)

while True:

if params['start'] >= limit:

break

response = requests.get(url, params=params, headers=headers)

soup = BeautifulSoup(response.text, 'html.parser')

#解析页面规则

yield_items = soup.select('#showing-list')[0].select('.cinema-title > a')

for yield_item in yield_items:

print(yield_item['href'], yield_item.text.strip())

#检查是否还有下一页

if not soup.select('.next > a'):

break

params['start'] += 20 # 每页20个信息

```

四、总结

通过本文，我们了解了Python爬虫中的基础概念、实现翻页的方法和输入校验函数的应用。在实际爬虫项目中，还需要考虑反爬虫机制、数据清洗和存储等问题。因此，在开发爬虫项目时需要仔细分析数据源，进行数据提取和处理，并遵守网站的爬虫规则，实现高效稳定的爬虫程序。

壹涵网络我们是一家专注于网站建设、企业营销、网站关键词排名、AI内容生成、新媒体营销和短视频营销等业务的公司。我们拥有一支优秀的团队，专门致力于为客户提供优质的服务。

我们致力于为客户提供一站式的互联网营销服务，帮助客户在激烈的市场竞争中获得更大的优势和发展机会！