Python 网络驱动程序

我试图从一家网上商店抓取产品，类似于Dropified从阿里快递中抓取商品的方式，

当前解决方案（它的设置方式只会尝试访问第一项）：

 from bs4 import BeautifulSoup
import requests
import time
import re

# Get search inputs from user
search_term = raw_input('Search Term:')

# Build URL to imdb.com
aliURL = 'https://www.aliexpress.com/wholesale?SearchText=%(q)s'
payload = {'q': search_term, }

# Get resulting webpage
r = requests.get(aliURL % payload)

# Build 'soup' from webpage and filter down to the results of search
soup = BeautifulSoup(r.text, "html5lib")
titles = soup.findAll('a', attrs = {'class': 'product'})


itemURL = titles[0]["href"]
seperatemarker = '?'
seperatedURL = itemURL.split(seperatemarker, 1)[0]

seperatedURL = "http:" + seperatedURL

print seperatedURL

IR = requests.get(seperatedURL)
Isoup = BeautifulSoup(IR.text, "html5lib")

productname = Isoup.findAll('h1')

print productname

此解决方案假设页面上的项目不需要 javascript，如果该项目需要，它只会在文档准备好之前检索初始页面。

我意识到我可以使用 python 网络驱动程序，但我想知道是否有任何其他解决方案可以解决这个问题，可以轻松实现网络抓取工具的自动化。