如何使用请求将某些内容转换为 json

迈克尔

长话短说,我想知道是否可以编码或显示 GET 请求的输出,以在 json 中以结构化方式显示。例如,如果我这样做:

wiki = requests.get('http://en.wikipedia.org/wiki/Star_Wars', headers={'Content-Type' : 'application/json'})

编码是“text/html; charset=UTF-8”,并且在使用print(wiki.text) 时显示为一大块文本。我知道 requests 库中有一个 json 方法,但这仅适用于已输出为 json 并将转换为 Python dict 的数据。

看过

最好的方法是使用现有的 Wiki API。它理所当然地适用于其他网站。

如果目标站点没有 API,您可以使用不同的 html 解析器。例如,Beautiful Soup在解析过程中,您将获得 json 格式的数据。

from bs4 import BeautifulSoup
from pprint import pprint
import requests

response = requests.get('https://en.wikipedia.org/wiki/Star_Wars')
soup = BeautifulSoup(response.text, 'html.parser')
header = soup.find('h1', class_='firstHeading').text
summary = soup.find('p', class_='').text

pprint({
    'header': header,
    'summary': summary
})

# {'header': 'Star Wars',
#  'summary': 'Star Wars is an American epic space-opera media franchise created '
#             ...}

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何将 servlet 请求转换为 JSON 请求

如何不使用Javascript将某些json元素转换为Number

如何将JSON数据从请求转换为Excel文件?

如何将类对象转换为 JSON 以供请求?

如何使用python3将http请求转换为json或dict或某种形式的数据

如何使用二进制数据内容将 XML 转换为 Json

使用别名属性将Java对象转换为Json请求

JavaScript:使用 .forEach 将 JSON 属性转换为 html 内容

将Guzzle请求的JSON转换为Eloquent

将发布请求转换为 JSON 文件

如何使用Json.NET将JSON转换为BSON

如何使用 Jolt 规范将 Json 转换为 Json?

如何使用golang将多行json转换为单行json?

使用JMETER CSV Date set config时如何将请求正文中的CSV文件中的数据转换为JSON

使用JSON将XML转换为PHP数组将删除某些元素上的属性

如何将(JSON转换为XML)请求和响应(XML转换为JSON)以调用外部Soap服务

使用Python将CSV变量内容转换为JSON变量内容

如何将 PHP 多维数组转换为 Json,使其作为 Json POST 请求工作?

如何使用 NSJSONSerialization 将 BOOL 转换为 JSON?

如何使用python将JSON转换为表格?

如何使用Gson将JSON转换为ArrayList?

如何使用Gson将JSON转换为HashMap?

如何使用gson将json转换为字符串

如何使用数组将csv转换为json

如何使用改造将解析对象转换为 json

如何使用Gson将json转换为嵌套地图

如何使用键{#PROCNAME}将bash输出转换为JSON?

如何使用goreq将json转换为struct?

如何使用GSON将List转换为JSON对象?