我想android使用笔记本电脑作为我的项目的本地服务器制作一个新闻聚合器应用程序。我计划在后端使用apache，php，mysql。我决定将简单的机器学习技术应用于此应用程序，因此该应用程序不仅能够收集文章，但也按主题对文章进行分类。
我已经实现了basic Scikit-learn Naive Bayes classifier。我想知道如何RSS在一定时间内自动爬网和存储服务器上多个站点的提要。我应该使用哪种库或技术来实现此目的？
我建议您使用Python上更常见且更常用的库来执行此任务，并使用Cron或Windows Task Scheduler（根据要使用的OS）运行脚本。
使用公共库可以使您轻松获得支持，在线阅读错误/教程时阅读出色的文档或查找许多页面。
我用于常规抓取和RSS的库是：
这是一个简单而最小的示例，它使用BeautifulSoup提取当前以太坊的价值，从而抓取了一个网站：
import urllib2
from bs4 import BeautifulSoup
opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
page = opener.open('https://ethereumprice.org/')
soup = BeautifulSoup(page, "lxml")
div = soup.find('span', id='ep-price')
ethereum_rate = div.contents[0]
print ethereum_rate
这是使用FeedParser的一个简单而最少的示例：
import feedparser
python_wiki_rss_url = "http://www.python.org/cgi-bin/moinmoin/" \
"RecentChanges?action=rss_rc"
feed = feedparser.parse( python_wiki_rss_url )
print feed
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句