如何使用 Scrapy 在可以选择加载更多帖子的网站上抓取数据？

我想使用scrapy从以下网站的所有帖子中获取标题和日期：https : //economictimes.indiatimes.com/markets/stocks/recos 我是scrapy的新手，无法理解如何加载更多帖子和废料他们。

这是我在教程之后编写的代码，但它只删除了前几篇文章。

import scrapy

class PostsSpider(scrapy.Spider):
    name="posts"

    start_urls=[
        'https://economictimes.indiatimes.com/markets/stocks/recos'
    ]

    def parse(self,response):
        for post in response.css('div.eachStory'):
            yield{
                'title': post.css('a::text').get(),
                'date' : post.css('time::text').get()
            }
            next_page=response.css('div.autoload_continue').get()
            if next_page is not None:
                next_page = response.urljoin(next_page)
                yield scrapy.Request(next_page, callback=self.parse)

我正在使用 .csv 格式将其打印出来scrapy crawl posts -o posts.csv。我不确定是否有可能完成所有帖子。任何帮助将不胜感激，提前致谢。