使用lxml和请求从XPath返回utf-8

我试图弄清楚我xpath是否正确使用了lxml的功能。这是我当前的代码，包括我们在一个相当大的抓取库中逐渐积累的所有解决方法，该库处理可怕的，可怕的输入：

import certifi, requests
from lxml import html
s = requests.session()
r = s.get(
    url,
    verify=certifi.where(),
    **request_dict
)

# Throw an error if a bad status code is returned.
r.raise_for_status()

# If the encoding is iso-8859-1, switch it to cp1252 (a superset)
if r.encoding == 'ISO-8859-1':
    r.encoding = 'cp1252'

# Grab the content
text = r.text
html_tree = html.fromstring(text)

因此，如果这一切都正常工作，则requests可以r.encoding用来确定调用时如何创建unicode对象r.text。伟大的。我们采用该unicode对象（text），然后将其发送到中ltml.html.fromstring()，它识别出它是unicode，并向我们返回ElementTree。

一切似乎都工作正常，但令人烦恼的是，当我这样做时：

html_tree.xpath('//text()')[0]

这应该给我树中的第一个文本节点，我得到一个字符串，而不是一个unicode对象，并且我发现自己不得不写：

html_tree.xpath('//text()')[0].decode('utf8')

糟透了

一开始我所做的所有工作的全部想法是创建Mythical Unicode Sandwich，但是无论我做什么，我都会得到二进制字符串。我在这里想念什么？

这是为您提供的概念证明：

import certifi, requests
from lxml import html
s = requests.session()
r = s.get('https://www.google.com', verify=certifi.where())
print type(r.text)  # <type 'unicode'>, GREAT!
html_tree = html.fromstring(r.text)
first_node = html_tree.xpath('//text()', smart_strings=False)[0]
print type(first_node)  # <type 'str'>, TERRIBLE!