报废：如何使用bS4排除特定标签

Louis 发表于 Dev

路易

希望您一切都好，您知道如何在抓取中排除特定标签吗？

#Récupération des ingrédients
            try:    
                ingredientsdiv = soup.find("div", class_="c-recipe-ingredients")
                ingredientsbloc = ingredientsdiv.find("ul", class_="c-recipe-ingredients__list")
                ingredients = [re.findall(r'^(?:(\d+)\s([^\W\d_]*))?(.*)', item.text.replace("\n", "").strip()) for item in ingredientsbloc.find_all("li", {"class": ""})]
            except Exception as e:
                ingredients = None

这是HTML代码

<div class="c-recipe-ingredients"><ul class="c-recipe-ingredients__list" data-id="258101"><li>10 cl de lait de coco</li><li>1 cuillère à café de poivre vert</li><li>Huile de pépin de raisin</li><li>Fleur de sel</li><li>4 brins de menthe</li><li>2 c&amp;œligurs de laitue</li><li>4 citrons verts</li><li>12 tomates cerise</li><li>4 oignons nouveaux</li><li>600 g de filets de bar                                <span class="c-recipe-ingredients__item--sponso u-relative"><span><a target="_blank" href="https://www.pourdebon.com/bar-sauvage-d38?utm_source=750g&amp;utm_medium=autopromo&amp;utm_content=Top10_750g_Autopromo&amp;utm_campaign=750g_autopromo_recette" class="u-some-link u-color-pourdebon xXx" onclick="ga('send', 'event', 'autopromo-pdb-ingredient', 'clic', '600\x20g\x20de\x20filets\x20de\x20bar')">                                            En direct des producteurs sur
                                            <img src="/bundles/cuisinewebsite/img/partner/logo-pourdebon.png" alt="Logo Pourdebon" itemprop="logo"></a></span></span><script>
                                    document.addEventListener('DOMContentLoaded', function() {
                                        ga('send', 'event', 'autopromo-pdb-ingredient', 'view', '600\x20g\x20de\x20filets\x20de\x20bar', {
                                            nonInteraction : true
                                        });
                                    });
                                </script></li></ul></div>

有一个赞助商链接，像这样：

<a target="_blank" href="" class="u-some-link u-color-pourdebon xXx" onclick="ga('send', 'event', 'autopromo-pdb-ingredient', 'clic', '600\x20g\x20de\x20filets\x20de\x20bar')">                                            Lorem ipsum 
                                            <img src="/bundles/cuisinewebsite/img/partner/logo-pourdebon.png" alt="Logo Pourdebon" itemprop="logo"></a>

我想在我的抓取（json文件）中排除赞助商链接文本：)您有什么主意吗？

追

对于所有意图和目的，如果你想从相同的元素文本li而不是嵌套a和script元素（S） -你应该使用NavigableString

因此，除了.text-您应该使用此功能-

import bs4

...

def get_only_text(elem):
    for item in elem.children:
        if isinstance(item, bs4.element.NavigableString):
            yield item

然后在外部调用此函数，并加入整个生成器以获取最终的字符串-

ingredients = [re.findall(r'^(?:(\d+)\s([^\W\d_]*))?(.*)', ''.join(get_only_text(item)).strip()) for item in ingredientsbloc.find_all("li", {"class": ""})]

输出ingredients-

[[('10', 'cl', ' de lait de coco')],
 [('1', 'cuillère', ' à café de poivre vert')],
 [('', '', 'Huile de pépin de raisin')],
 [('', '', 'Fleur de sel')],
 [('4', 'brins', ' de menthe')],
 [('2', 'c', '&œligurs de laitue')],
 [('4', 'citrons', ' verts')],
 [('12', 'tomates', ' cerise')],
 [('4', 'oignons', ' nouveaux')],
 [('600', 'g', ' de filets de bar')]]

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。