Przez lata internet działał według dość prostego układu. Właściciele stron publikowali treści, wyszukiwarki je indeksowały, a w zamian kierowały użytkowników do źródła. Serwis zyskiwał ruch, czytelników i przychody z reklam, natomiast wyszukiwarka otrzymywała materiał potrzebny do tworzenia wyników. Rozwój generatywnej sztucznej inteligencji zachwiał jednak tą równowagą. Bot może dziś pobrać artykuł, wykorzystać zawarte w nim informacje do treningu modelu albo stworzenia gotowej odpowiedzi, a użytkownik nie musi już odwiedzać strony, na której treść pierwotnie opublikowano.
Dlatego coraz więcej wydawców, portali i właścicieli serwisów zaczyna ograniczać dostęp botom AI. Nie chodzi wyłącznie o wielkie redakcje i płatne bazy danych. Na blokowanie automatycznych robotów decydują się również mniejsze portale, blogi branżowe, sklepy, fora oraz serwisy utrzymujące się z reklam. Zaczyna się spór o to, kto może korzystać z treści dostępnych w sieci, na jakich zasadach i czy samo opublikowanie materiału oznacza zgodę na użycie go do budowy komercyjnego modelu.
Bot wyszukiwarki i bot AI nie robią tego samego
Na pierwszy rzut oka działanie klasycznego robota wyszukiwarki i bota AI może wyglądać podobnie. Oba odwiedzają stronę, pobierają jej zawartość i analizują tekst. Różnica pojawia się jednak w sposobie późniejszego wykorzystania danych.
Tradycyjna wyszukiwarka tworzy indeks i pokazuje użytkownikowi listę wyników prowadzących do konkretnych stron. Może wyświetlić krótki fragment tekstu, ale jej podstawowym zadaniem jest skierowanie odbiorcy do źródła. Wydawca otrzymuje dzięki temu wizytę, możliwość pokazania reklamy, zdobycia subskrybenta albo sprzedaży produktu.
System AI może natomiast wykorzystać pozyskane informacje do trenowania modelu, rozwijania jego możliwości albo wygenerowania bezpośredniej odpowiedzi. Użytkownik dostaje podsumowanie w oknie czatu i często nie ma już powodu, aby otwierać oryginalną publikację. Z punktu widzenia właściciela strony oznacza to, że jego materiał nadal tworzy wartość, ale ruch i przychody mogą pozostać po stronie dostawcy sztucznej inteligencji.
OpenAI rozróżnia obecnie między innymi GPTBot, wykorzystywanym w związku z rozwojem modeli, oraz OAI-SearchBot, który służy do pojawiania się stron w wynikach wyszukiwania oferowanych przez firmę. Administrator może zarządzać ich dostępem za pomocą dyrektyw w pliku robots.txt. Sam fakt, że powstają osobne roboty o różnych zastosowaniach, pokazuje, jak ważne staje się rozdzielenie indeksowania wyszukiwarki od pozyskiwania danych na potrzeby AI.
Dlaczego wydawcy zaczęli mówić „nie”?
Najważniejszym powodem jest ekonomia. Profesjonalna treść nie powstaje za darmo. Redakcje zatrudniają dziennikarzy, ekspertów, korektorów i fotografów, kupują dostęp do danych, utrzymują serwery oraz ponoszą koszty promocji. Jeśli bot pobierze setki tysięcy artykułów, a następnie wykorzysta ich zawartość do odpowiadania na pytania użytkowników, może osłabić model biznesowy, który umożliwił powstanie tych materiałów.
Wydawcy obawiają się zwłaszcza sytuacji, w której odpowiedzi generowane przez AI zastępują wejścia na strony. Im lepsze podsumowanie otrzyma użytkownik bezpośrednio w wyszukiwarce lub czacie, tym mniejsza szansa, że kliknie źródło. Dla portalu utrzymującego się z reklam nawet kilkunastoprocentowy spadek ruchu może mieć większe znaczenie niż sama obecność marki w odpowiedzi modelu.
Drugim powodem jest brak kontroli. Właściciel strony często nie wie, czy materiał został wykorzystany jedynie do stworzenia indeksu, do jednorazowej odpowiedzi, czy do treningu przyszłej wersji modelu. Nie ma też pewności, czy treść zostanie prawidłowo zinterpretowana, opatrzona źródłem i przedstawiona bez zniekształceń.
Trzeci problem dotyczy prawa autorskiego. W wielu państwach nadal nie ma jednej, ostatecznej odpowiedzi na pytanie, w jakim zakresie trenowanie modeli na publicznie dostępnych, ale chronionych materiałach jest dozwolone. Spory trafiają do sądów, a liczba postępowań dotyczących danych wykorzystywanych przez firmy AI stale rośnie. W 2026 roku nadal toczą się między innymi sprawy autorów, wydawców i organizacji medialnych przeciwko producentom modeli generatywnych.
Cloudflare zmienia zasady dostępu do treści
Ważnym sygnałem zmiany podejścia są działania Cloudflare, czyli firmy obsługującej znaczną część infrastruktury internetowej. Udostępnia ona właścicielom stron narzędzia pozwalające rozpoznawać oraz blokować znane boty AI, a także automatycznie tworzyć reguły robots.txt zabraniające takim robotom dostępu do treści.
Cloudflare rozwija też podział ruchu AI na trzy główne grupy. Pierwsza obejmuje roboty wyszukiwania, których zadaniem jest kierowanie użytkownika do strony. Druga dotyczy botów treningowych, pobierających dane na potrzeby rozwoju modeli. Trzecia obejmuje agentów AI, którzy mogą odwiedzać serwisy i wykonywać działania w imieniu użytkownika.
Od 15 września 2026 roku Cloudflare zapowiada nowe ustawienia domyślne dla nowych domen. Na stronach wyświetlających reklamy roboty zaliczone do kategorii treningu i agentów mają być domyślnie blokowane, podczas gdy boty wyszukiwania pozostaną dozwolone. Roboty o zastosowaniu mieszanym, które nie pozwalają jasno oddzielić wyszukiwania od treningu, również mogą zostać objęte blokadą.
To znacząca zmiana filozofii. Dotychczas właściciel strony musiał samodzielnie zdecydować, że nie życzy sobie pobierania treści. Teraz w części przypadków punktem wyjścia może stać się brak zgody, którą dopiero później można świadomie zmienić.
Czy boty zawsze respektują plik robots.txt?
Najprostszym sposobem ograniczenia robota jest wpisanie odpowiedniej reguły w pliku robots.txt. Administrator może wskazać nazwę bota i zablokować mu dostęp do całej strony lub wybranych katalogów. Takie rozwiązanie jest łatwe do wdrożenia, ale ma podstawową wadę: robots.txt jest instrukcją, a nie fizyczną zaporą.
Poprawnie działający i uczciwie skonfigurowany bot powinien uszanować zapisane reguły. Robot, który je ignoruje, nadal może próbować pobierać zawartość. Dlatego duże serwisy coraz częściej łączą plik robots.txt z regułami zapory sieciowej, analizą adresów IP, limitami zapytań oraz systemami wykrywającymi nietypowy ruch.
Sytuację komplikuje rozwój agentów AI, które mogą korzystać ze zwykłych przeglądarek i zachowywać się podobnie do człowieka. Badanie dotyczące siedmiu agentów przeglądających internet wskazało, że tradycyjne odciski przeglądarki nie zawsze wystarczają do ich rozpoznania. Bardziej pomocna okazała się analiza zachowania, między innymi sposobu przewijania, pisania i poruszania kursorem.
W praktyce oznacza to, że blokowanie AI nie będzie sprowadzało się do jednej linijki kodu. Im bardziej autonomiczne stają się narzędzia, tym trudniej jednoznacznie odróżnić robota od użytkownika, który rzeczywiście chce przeczytać stronę lub kupić produkt.
Pojawia się pomysł: nie blokować, lecz pobierać opłatę
Całkowita blokada nie zawsze jest najlepszym rozwiązaniem. Wydawcy mogą chcieć, aby ich materiały były widoczne w narzędziach AI, o ile otrzymają wynagrodzenie albo ruch prowadzący do serwisu. Stąd rozwój koncepcji płatnego dostępu dla robotów.
Cloudflare uruchomił eksperymentalne rozwiązanie Pay Per Crawl, w którym właściciel domeny może zezwolić botowi na darmowy dostęp, całkowicie go zablokować albo określić cenę za każde pobranie strony. Jest to próba stworzenia rynku, na którym dane nie są automatycznie traktowane jako darmowy surowiec, lecz jako zasób posiadający właściciela i konkretną wartość.
Nie wiadomo jeszcze, czy taki model upowszechni się w całym internecie. Firmy AI musiałyby zaakceptować dodatkowe koszty, a wydawcy ustalić rozsądne stawki. Potrzebne byłyby także standardy pozwalające odróżniać rodzaje wykorzystania treści. Inna powinna być zapewne cena za jednorazowe pobranie strony do stworzenia odpowiedzi, a inna za wykorzystanie tekstu przy treningu modelu oferowanego później milionom użytkowników.
Blokowanie botów może mieć również nieprzewidziane skutki
Ograniczenie dostępu nie jest pozbawione ryzyka. Jeżeli właściciel strony przypadkowo zablokuje robota odpowiadającego również za klasyczne wyniki wyszukiwania, może stracić widoczność w Google lub innym systemie. Problem dotyczy szczególnie robotów mieszanych, które wykonują więcej niż jedno zadanie.
Eksperci zwracają uwagę, że nowe ustawienia mogą prowadzić do pomyłek, jeżeli administratorzy nie sprawdzą, do jakiej kategorii został przypisany dany bot. W skrajnym przypadku próba ochrony treści przed treningiem AI może zakończyć się ograniczeniem ruchu organicznego, na którym portal zarabia.
Całkowite zamknięcie może również sprawić, że marka będzie rzadziej wymieniana w odpowiedziach generowanych przez sztuczną inteligencję. Jeżeli użytkownicy zaczną coraz częściej szukać produktów, usług i informacji za pomocą asystentów, nieobecność w ich źródłach może stać się podobnym problemem jak brak widoczności w tradycyjnej wyszukiwarce.
Dlatego decyzja nie powinna sprowadzać się do prostego wyboru „blokować albo wpuszczać”. Znacznie rozsądniejsze może być osobne traktowanie botów wyszukiwania, robotów treningowych oraz agentów wykonujących konkretne zadania.
Czy kończy się era darmowego trenowania AI?
Era swobodnego pobierania niemal całego internetu prawdopodobnie rzeczywiście dobiega końca. Nie oznacza to jednak, że firmy AI nagle utracą dostęp do danych. Zamiast jednego otwartego źródła powstanie bardziej złożony system licencji, umów, blokad, wyjątków i płatnych dostępów.
Duże platformy już zawierają umowy pozwalające wybranym firmom wykorzystywać ich zasoby. Reddit licencjonuje treści między innymi Google i OpenAI, a jednocześnie prowadzi spory z podmiotami, które jego zdaniem pozyskiwały dane bez wymaganej zgody. Pod koniec lipca 2026 roku amerykański sąd pozwolił na dalsze rozpatrywanie głównych zarzutów Reddita wobec Perplexity i firm zajmujących się pozyskiwaniem danych.
Możliwe więc, że internet podzieli się na kilka warstw. Część treści pozostanie otwarta dla wszystkich robotów. Część będzie dostępna wyłącznie dla wyszukiwarek kierujących ruch do źródła. Najbardziej wartościowe materiały mogą trafić za techniczne zapory, płatne interfejsy lub do prywatnych umów między wydawcami i firmami technologicznymi.
Dla rozwoju AI będzie to duże wyzwanie. Badanie obejmujące popularne serwisy wykazało, że ograniczenia dostępu nie rozkładają się równomiernie. Częściej blokują boty między innymi wysokiej jakości źródła informacyjne, podczas gdy strony o niższej wiarygodności mogą pozostawać otwarte. Autorzy wskazują, że taki układ może z czasem wpływać na strukturę zbiorów treningowych i zwiększać udział treści słabszych lub bardziej spolaryzowanych.
Spór o boty nie jest więc wyłącznie konfliktem między wydawcami a firmami AI. Dotyczy także jakości przyszłych modeli i informacji, które będą otrzymywać ich użytkownicy.
Internet szuka nowej umowy
Przez długi czas obowiązywała niepisana zasada: robot może czytać stronę, jeśli pomaga odbiorcom ją odnaleźć. Generatywna sztuczna inteligencja zmieniła ten układ, ponieważ potrafi przejąć część wartości treści bez przekazania użytkownika do autora.
Właściciele stron zaczynają więc domagać się większej kontroli. Chcą wiedzieć, kto pobiera ich materiały, w jakim celu je wykorzystuje i co otrzymają w zamian. Dla części serwisów odpowiedzią będzie blokada. Inne wybiorą licencjonowanie, płatny dostęp lub zgodę tylko dla wybranych robotów.
Nie kończy się zatem samo wykorzystywanie internetu do rozwoju sztucznej inteligencji. Kończy się raczej przekonanie, że każda publicznie dostępna treść może być bez ograniczeń traktowana jako darmowy materiał treningowy. Nadchodzący model będzie bardziej skomplikowany, ale też bardziej świadomy praw twórców i ekonomicznej wartości informacji.
