使用python请求从网页上抓取数据

亚历山大·西里奇（Aleksandar Ciric）

我正在尝试爬网域搜索页面（您可以在其中输入关键字，并获得一些随机结果），我在网络标签https://api.leandomainsearch.com/search?query=computer&count=all（针对关键字：计算机），但出现此错误

{'error': True, 'message': 'Invalid API Credentials'}

这是代码

import requests

r = requests.get("https://api.leandomainsearch.com/search?query=cmputer&count=all")
print(r.json())

安德烈·凯斯利（Andrej Kesely）

该站点需要您设置Authorization和RefererHTTP标头。

例如：

import re
import json
import requests


kw = 'computer'

url = 'https://leandomainsearch.com/search/'
api_url = 'https://api.leandomainsearch.com/search'

api_key = re.search(r'"apiKey":"(.*?)"', requests.get(url, params={'q': kw}).text)[1]
headers = {'Authorization': 'Key ' + api_key, 'Referer': 'https://leandomainsearch.com/search/?q={}'.format(kw)}
data = requests.get(api_url, params={'query': kw, 'count': 'all'}, headers=headers).json()

# uncomment this to print all data:
# print(json.dumps(data, indent=4))

for d in data['domains']:
    print(d['name'])

print()
print('Total:', data['_meta']['total_records'])

印刷品：

...

blackopscomputer.com
allegiancecomputer.com
northpolecomputer.com
monumentalcomputer.com
fissioncomputer.com
hedgehogcomputer.com
blackwellcomputer.com
reflectionscomputer.com
towerscomputer.com
offgridcomputer.com
redefinecomputer.com
quantumleapcomputer.com

Total: 1727

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。