Andrea är en vandringsguide och skapare av en blogg för att besöka Sierra de Gredos. I flera år har denna autonoma ägnats åt att förbereda detaljerade föremål på rutter, tips för turister och logi recensioner av området. Arbete som är avsett att Locka potentiella läsare och kunder till din webbplats För de utflykter du organiserar.
Under de senaste månaderna har han sett hur dessa besök kollapsar. Dess innehåll fortsätter att visas i topppositionerna när de söker på internet, men många användare når inte längre sin portal. Anledningen: AI: s deltagare och tjänster som, precis som Googles sammanfattningar, De erbjuder direkt svaren på samråden utan att gå igenom sidorna Från vilka dessa verktyg extraherar information.
Värre är att din server är belägrat av Bots som är begränsade till att kopiera kompletta poster för att mata språkmodeller. Detta fenomen är associerat med spridning av robotar associerade med konstgjord intelligensoch är redan kvantifierbar och accelererad. Således indikerar Internet -trafikanalys snabba ökningar i trackeraktiviteten (Crawlers) Och i närvaro av Bots avsedd för massiv extraktion av innehåll (Skrapa).
Alla autonoma eller små och medelstora företag som beror på synligheten på dess webbplats påverkas
Andreas fall är fiktivt, men återspeglar ett verkligt exempel på en mängd små företag som har upplevt mindre verklig användartrafik till sina sidor.
Och problemet är inte bara bloggare, utan påverkar Alla små och medelstora företag eller autonoma som beror på synligheten på sin webbplats Att fånga kunder.
- Proffs som publicerar ”frekventa svar” för att locka kunder, till exempel Skatterådgivare, advokater eller konsulter Det gör publikationer om tvivel och praktiska guider.
- Landsbygdshus och små hotell Det genererar sitt eget innehåll på rutter, gastronomi eller turistbesök för att positionera sig i sökmotorer.
- som publicerar recept eller rätter beskrivningar för att locka matgäster och reserver.
- Elektroniska handelsbutiker och Hantverkare som använder sina bloggar För att förklara processer, visa produkter och fånga organisk trafik.
- Digitala tidskrifter eller portaler Regioner som täcker evenemang och nyheter som vanligtvis inte finns i nationella medier.
- och kurser plattformar som erbjuder gratis tutorials som Hook.
I alla dessa fall, om en AI -assistent erbjuder svaret direkt eller en gård på Skrapare Kopiera innehållet på webben, verksamheten i fråga slutar få det besök som tidigare anlände från sökmotorn. Som översätter till mindre ifyllda formulär, mindre reservationer och lägre reklamintäkter eller prenumerationer.
Siffrorna på Bots av brådskande åtgärder är tydliga
Som sagt: flera senaste rapporter visar att närvaron av Bots I nätverket har det vuxit anmärkningsvärt på en kort sikt på bara några månader. Den mest framträdande kommer från CloudFlare, plattformen som serverar 20% av alla sidor på internet och övervakar enorma trafikvolymer.
Således mellan maj 2024 och maj 2025 har det upptäckt det Total trackers trafik växte med 18% (och upp till 48% om utvidgningen av kundbasen ingår). Specifikt Bot I samband med chatgpt (GPTBOT) ökade antalet applikationer under den perioden med 305%, koncentrerade under första halvåret i år.
I en sådan utsträckning har de ökat att enligt uppgifterna från den franska konsulten Thales återspeglas i hennes studie ’2025 Bad Bot Report’, trafik genererad av Bots I nätverket överskrider redan motsvarande människor I den globala beräkningen 2024. Med en annan oroande aspekt, ökningen av andelen skadliga robotar, det vill säga de som är avsedda att genomföra attacker på webbsidor.
Samtidigt har redaktörer och media registrerat känsliga fall i organisk trafik som kan hänföras till sammanfattningar av sökmotorer (som de ovannämnda Google AI -översikten). Med uppskattningar som talar om fall i storleksordningen 25 till 30% i olika oberoende medier. Detta påverkar direkt Affärsmodeller baserade på besök och reklam.
Dessa siffror visar att dynamiken i vem som ”konsumerar” innehållet har förändrats under de senaste månaderna: det är inte längre bara en människa som når en webbplats, utan en växande blandning (och i många fall majoritet) av Automatiserade program som extraherar, indexerar och återanvänder innehållet.
Hur fungerar dessa innehållstjuvar för AI?
En Skrapa antingen Krypare Det är ett program som cirkulerar på webben som imiterar beteendet hos en webbläsare, med syftet med att indexera sidor för sökmotorer. Det vill säga skapa ett innehållsindex för att veta vad som finns.
Tidigare följde de flesta reglerna som själva sidorna kan ange för dessa bots (genom den kända filen Robots.txt). Men nu använder många modeller och tjänster som erbjuder AI -svar dem direkt för att få stora volymer text och Träna eller mata dina svar.
Vissa identifierar sig som igenkännliga agenter (till exempel den ovannämnda GPTBOT), andra kamouflage; Vissa respekterar indikationerna på det Robots.txt, Och andra gör det inte. Resultatet: Innehåll som kopieras utan tillstånd, mindre verkliga besök och ytterligare belastningar på servrar.
Lösningar för självarbetslösa och små och medelstora företag genom CloudFlare
CloudFlare är en tjänst som fungerar som en mellanhand mellan en webbplats och de som besöker den; Och bland dess funktioner är Identifiera och hantera automatiserad trafik. Således har den lanserat och utökat flera verktyg som är utformade för att kontrollera Portales ägare online om vad Bots De kan komma åt sitt innehåll.
Dessa funktioner är utformade för att vara tillgängliga även för gratis planer, och deras rekommendationer inkluderar dessa steg:
- Kontrollera vilken trafik som når webbplatsen. Först är det användbart att få ett allmänt foto av trafiken, vilken procentandel kommer från människor eller robotar. CloudFlare erbjuder i sin statistikpanel ett specifikt avsnitt om dem (bot trafik) där den visar vilka agenter som begär och med vilken intensitet.
- Aktivera hanteringen av Bots. I kontrollpanelen Botsbland vilka är Bob Fight Mode, som inkluderar skapandet av automatiska regler som blockerar eller begränsar deras tillgång utan att påverka riktiga besökare.
- Hantera filen Robots.txt. Plattformen erbjuder möjligheten att hantera den för att endast blockera konkreta sektioner (till exempel skyddat innehåll eller sidor med annonser) och därmed tillåta indexering av det väsentliga med legitima sökmotorer.
- Övervaka och justera kontinuerligt. Om konfigurationen mot Bots Det är för restriktivt, det finns en risk att förhindra legitim indexering (som Google). Därför rekommenderas det att regelbundet granska mätvärdena och anpassa reglerna enligt resultaten.
Och eftersom de också varnar, inte allt Bot Det är dåligt. Internet har byggts tack vare dem. Det är därför, oskyldig blockering kan påverka sökmotorpositioneringen och legitima tjänster.
Å andra sidan fortsätter AI -tekniken varje dag. Därför är dessa tekniska åtgärder användbara idag, men långsiktigt skydd kommer också att genomgå juridisk efterlevnad (t.ex. EU: s lag), licenser och i vissa fall kräva ersättning eller förhandla om tillgång med stora leverantörer; som de välkända exemplen på Reddit eller Hurd.
Det som verkar tydligt är att med tanke på tillväxttakten för AI -bots, affärer online Vidta inte åtgärder kan se hur deras modell för locka kunder genom sin närvaro på internet Det skadas.
