访问需要基本HTTP身份验证的网页

我正在尝试对一个要求弹出凭据的网站进行网络抓取。

当网站需要HTTP身份验证时，会出现这种弹出窗口。

import requests 
r = requests.get('https://thewebsiteiwant.com', auth=('Myuser', 'Mypass'))
print(r.status_code) #This is now 401, however it used to be 200

我尝试过的事情：

1. 使用requests.Session()，然后首先发布到登录页面。从技术上讲，有一个登录页面，但是在尝试直接访问该页面时，根本不会显示该页面。
2. 从Chrome浏览器查看已保存的Cookie，并尝试在Python中重新创建它们。
3. 将网络请求复制为cURL，然后使用cURL到Python转换器。
4. 使用cookielib存储cookie。
5. 将用户代理添加到请求中。

硒不适用于该项目。该程序将在无头RPi上运行。