AWS zahajuje vyšetřování možného porušení pravidel kvůli Perplexity AI

Amazon Web Services (AWS) zahájil vyšetřování společnosti Perplexity AI kvůli podezření, že jejich web crawler nedodržuje Robots Exclusion Protocol. Tento standard umožňuje správcům webů určit, které části jejich stránek mohou být crawlerem prohledávány a které ne.

Bylo zjištěno, že virtuální server hostovaný na platformě AWS ignoruje instrukce z robots.txt, což vede k narušení obsahu na různých renomovaných mediálních stránkách, včetně The Guardian, Forbes a The New York Times. Tato aktivita vyvolává obavy z možného scrapování obsahu.

Pro ověření použití scrapovaného obsahu byly do chatbotu společnosti vloženy krátké popisy článků. Odpovědi chatbotu byly velmi podobné originálním textům, ale bez adekvátního citování zdrojů, což naznačuje možné porušení pravidel.

V reakci na tyto zjištění AWS uvedlo, že jejich podmínky služby zakazují jakékoli zneužívající nebo nelegální aktivity a že od svých klientů očekávají dodržování těchto pravidel.