Branża turystyczna chce być widoczna w wyszukiwarkach i asystentach opartych na sztucznej inteligencji, ale jej strony często wysyłają botom sprzeczne sygnały albo nie wysyłają żadnych. Z przeglądu serwisu Skift, który objął 50 dużych witryn podróżniczych, wynika, że tylko 10 z nich wprost odnosi się do crawlerów AI w pliku robots.txt.
Co pokazał przegląd
Plik robots.txt to prosty dokument na serwerze strony, który informuje automatyczne programy (crawlery), czy mogą odwiedzać witrynę i które jej części są dla nich otwarte. W badanej próbie 40 serwisów nie wymieniło botów AI z nazwy. Zostawiły je pod ogólnymi regułami dla wszystkich robotów albo pod ustawieniami domyślnymi, pisanymi z myślą o czymś innym.
Ma to znaczenie także z powodu nowości. 30 października Anthropic, Google, Microsoft i OpenAI poparły propozycję, która pozwoliłaby jednym wpisem w robots.txt zrezygnować z wykorzystywania treści strony do trenowania modeli przez wszystkie cztery firmy. Działałoby to jednak tylko wtedy, gdy właściciel strony doda taki wpis wprost. Ogólne reguły go nie obejmą.
Kto otwiera drzwi, a kto je zamyka
Serwisy, które ustaliły własne zasady, częściej stawiają na widoczność niż na zgodę na trenowanie modeli:
- Expedia i Vrbo dają crawlerom wyszukiwarek AI szeroki dostęp.
- Tripadvisor blokuje crawlery służące do trenowania modeli, a część botów wyszukujących wpuszcza.
- Best Western i ITC Hotels wprost witają crawlera OpenAI do trenowania.
- Airbnb to jedyna większa zmiana w próbie. W sierpniu pozwalało GPTBot i ClaudeBot na wejście, a do października zablokowało je całkowicie.
Deklaracje to nie wszystko
Zapisy w robots.txt nie zawsze pokrywają się z praktyką. Osiem serwisów, głównie hotelowych, odpowiedziało na automatyczne zapytania Skift błędem 403 (dostęp zabroniony). Według analizy CraftedStays Marriott, Hilton, IHG, Hyatt i Four Seasons nie wymieniają żadnego bota AI na listach zablokowanych, a mimo to ich zabezpieczenia przed botami odrzucały pobieranie stron.
Dane Cloudflare pokazują też, że wśród żądań botów AI do stron turystycznych największy udział, 25,5%, miał crawler Meta. Nie byli to boty OpenAI ani Anthropic.
Stawka rośnie, bo podróżni coraz częściej szukają ofert przez AI. Adobe podało w lipcu, że wizyty z AI na stronach turystycznych wzrosły rok do roku o 119%. Analityk Adobe Vivek Pandya zwrócił uwagę, że duża część amerykańskich serwisów podróżniczych i handlowych jest dla maszyn nieczytelna. Gdy model nie może łatwo odczytać udogodnień, cen czy dostępności, potencjalny przychód przepada.
Co to oznacza w Polsce
Badanie dotyczy głównie dużych międzynarodowych marek, ale wnioski są uniwersalne. Robots.txt jest standardem opartym na dobrowolnym przestrzeganiu, więc nie chroni treści tak jak zabezpieczenia techniczne. Właściciel hotelu, pensjonatu czy biura podróży w Polsce może zajrzeć do własnego pliku (zwykle pod adresem nazwadomeny.pl/robots.txt) i sprawdzić, co w nim jest. Często dopisują go automatycznie systemy zarządzania treścią lub wtyczki, a właściciel nawet o tym nie wie.
W Unii Europejskiej dochodzi do tego kwestia praw autorskich. Przepisy o eksploracji tekstów i danych pozwalają twórcom zastrzec, że nie zgadzają się na takie wykorzystanie treści, a zastrzeżenie ma być czytelne dla maszyn. Robots.txt bywa uznawany za jedno z takich narzędzi, choć jego rola prawna nie jest przesądzona. Warto więc świadomie zdecydować, czy chcemy być w odpowiedziach asystentów AI, i dopilnować, by strona mówiła to samo, co firma.
Źródło: Skift – „Dear Robot: How Travel Is (and Isn’t) Talking to AI”
