Stáhněte si celý web do jednoho CSV se Scraping Camel

Petra Marková
25. 3. 2021
4 minuty čtení
Stáhněte si celý web do jednoho CSV se Scraping Camel

Chcete ze stránek či e‑shopů získávat data, která nejsou obsažena v XML feedu? K cenným informacím se dostanete jednoduše pomocí nové aplikace Scraping Camel. Využijte její funkce pro efektivnější tvorbu PPC reklam či SEO. Ukážeme vám, jak na to.

Chcete ze stránek či e‑shopů získávat data, která nejsou obsažena v XML feedu? K cenným informacím se dostanete jednoduše pomocí nové aplikace Scraping Camel. Využijte její funkce pro efektivnější tvorbu PPC reklam či SEO. Ukážeme vám, jak na to.

Mějte všechny potřebné informace v jednom souboru

Scraping Camel je vyvinutý firmou Shopitak, která se zaměřuje na vývoj aplikací pro ekosystém Mergada. Appka prochází HTML stránky webu a získává z nich libovolné informace, které uloží a vygeneruje jeden výstupní CSV soubor. Díky tomu je appka vhodná pro kvalitní datové analýzy produktů i kategorií.

Jaká data můžete ze stránek získat? Pomocí aplikace dostanete z webu jakékoliv informace, například Title, Meta Description, nadpisy H1 a H2, ID značky Google Analytics či Google Tag Manager.

Aplikace dokáže zpracovávat i weby, které nejsou e‑shopy. Jedná se například o různé katalogy (móda, cestovky apod.) či webové prezentace. Jejich data umí v Mergadu upravit pro PPC reklamu na Google Ads a obvyklé postupy pro e‑shopy zvládne dál zpracovat. V případě, že shopsystém uživatele negeneruje XML (či jiné) feedy, dokáže získat potřebné informace a dále s nimi pracovat v Mergadu.

Se Scraping Camelem aplikujete pracovní postupy feed marketingu z e‑shopů s XML feedem i na weby bez košíku. Data jsou průběžně automatizovaná a výstupy dostupné online pro další aplikace či datová napojení.

Jak funguje aplikace Scraping Camel

  1. Definujte si doménu, kterou má aplikace procházet.
  2. Proveďte její ověření, které je podobné jako u Google. Na výběr máte z vložení souboru na web, META značky do stránek či DNS záznamu. Cílem je dokázat, že nejde o cizí web.
  3. Vložte sitemap.xml, které je podmínkou pro fungování aplikace. Scraping Camel odsud bere URL stránky webu.
  4. Následně nastavte frekvenci procházení webu — příliš mnoho dotazů může web přetížit a málo naopak zpomalit zpracování celého webu.
  5. Dále zvolte, jaké elementy chcete získávat z cílových HTML stránek. Výchozí jsou title, meta description nebo si nadefinujte vlastní elementy (prostřednictvím regulárního výrazu nebo uvedením textu před a za hledanými informacemi).
  6. Nastavte si, jak se ve výstupním CSV mají jmenovat elementy se získanými informacemi.
  7. V závěru začne aplikace procházet cílový web. Až ho celý zpracuje, vygeneruje výstupní CSV a v administraci uvede jeho adresu.

Jak si nastavit Scraping Camel krok za krokem? Detailní postup najdete v této dokumentaci.

Jak použít aplikaci Scraping Camel?

Na testovacím e‑shopu vám ukážeme, jak jednoduše získáte SEO data a popis produktu.

    • Táto klávesová zkratka vám umožní vidět zdrojový kód webu, který potřebujete k nadefinování elementů. Anebo můžete kliknout na pravé tlačítko myši a takto zobrazit zdrojový kód stránky.
    • Pomocí klávesové zkratky CTRL+F (slouží na vyhledávání obsahu na dané stránce) zadejte požadovaný element, který chcete získat. V tomto případě chceme najít popis produktu, tedy: <h3>Detailní popis produktu</h3>

  • Do “Hodnoty před” zadejte: <h3>Detailní popis produktu</h3> a do “Hodnoty pod” zadáte </​div>. Vypadat to bude následovně:

  • Aplikace primárně neslouží na prohlížení dat, myslete na to. Doporučujeme, abyste data prohlíželi v jiném programu, například v Mergadu nebo Google Sheets. Stejný postup aplikujte i na ostatní prvky, které chcete z webu získat.

Scraping Camel pravidelně a automaticky kontroluje cílový web. Pokud najde novou stránku, ihned ji zpracuje a případné změny promítne ve výstupním CSV souboru.

Aplikaci využijí nejen e‑shopaři. Do CSV souboru dokáží načíst údaje o zboží či službě ze stránky bez feedu i marketéři, specialisté na SEO nebo PPC reklamu.

Jaké jsou rozdíly aplikace oproti jiným nástrojům? Programy jako Screaming Frog nebo Xenu fungují na jednorázovém principu a spuští se na lokálním zařízení. Scraping Camel pracuje přesně naopak – běží na serveru nonstop. Výstupy poskytuje ve strojově čitatelné podobě, které dokážete dále i strojově zpracovávat. Využijete ho tak k jednorázovým analýzam, kde data automaticky zpracuje další software.

Shrnutí

Výhody aplikace Scraping Camel: 

  • neustálý monitoring změn 
  • funguje na serveru (non-stop) 
  • možnost nahrát do Mergada jako vstupní soubor pro export a s tímto dále pracovat obvyklým způsobem 
  • neomezený počet webů na jeden účet 

Co byste měli vědět:

  • appka nevykresluje JavaScript, funguje pouze na základě HTML 
  • princip extrakce dat je na základě znaků, ne na základě elementů
  • podmínkou pro používání Scraping Camelu je funkční soubor sitemap a ověřená doména 

Vyzkoušejte si funkce Scraping Camel naplno na 30 dní zdarma a zúročte výhody kvalitně získaných dat.

Mohlo by vás zajímat:

Petra Marková

Slovenský trh a libozvučnou slovenštinu má v Mergadu na starosti copywriterka Petra. Textuje, bloguje, překládá a s vášní tvoří obsah na sociální sítě. A když zrovna nehledá ta správná slova, věnuje svůj čas své bytové džungli, pečení, kavárnám nebo cestování.