Jak dawniej wyglądały inne strony ?

Huehuehue, stare jak świat.

Normalnie Amerykę odkryłeś...

A ja na przykład dowiedziałem się o tej stronce dopiero kilka dni temu.

Ach gdyby to jeszcze działało
Niestety - złe roboty pozabijały wszystkie najlepsze Sieciowe Pająki, jeśli wiecie co mam na myśli ;D
Niech w piekle smażą się twórcy robotów, a ich użytkownicy niech pokryją się kurzajkami od palców stopy do czubka nosa!

Może jednak powiedz co masz na myśli, bo chciałbym wiedzieć, a nie rozumiem.

Nawet jakbym ci dokładnie powiedział, to i tak byś nie zrozumiał bo to wiedza dla wtajemniczonych.
Sam do końca nie rozumiem bo nigdy nie nosiłem kapelusza. Zwłaszcza czarnego.
Ot takie schematyczne dziecko ze mnie było :D

@Sierściuch, Imak
Nie ma, że się nie da. Zautomatyzowany klient może dowolnie dokładnie symulować żądania użytkownika, do tego stopnia, że jego zachowanie jest nieodróżnialne. Jeśli żądania są proste, to używa się biblioteki klasy cURL. Jak bardziej złożone to jakiś httplib w języku skryptowym (np. Python). Jak jest ciężko-JS-owa (AJAX) to biblioteki sterującej przeglądarką (np. Selenium).

Captcha też nie jest świętością. Niedawno chłopaki z Pasadeny pochwalili się, że złamali google'owską recaptchę. Tak na prawdę nie złamali, ale znaleźli obejście dające im pewne prawdopodobieństwo odgadywania haseł. Niestety to zgłosili ;)

Zresztą, na captchę nie trzeba szukać haków. Można wynająć usługę, gdzie 24h na dobę biuro pełne hindusów będzie Ci na bieżąco spisywać captche ręcznie. Nawet nie jest to takie drogie jak się wydaje, o ile nie musisz korzystać z milionów takich żądań.

Tak więc, grzeczne pająki słuchają się robots.txt, a niegrzeczne i tak robią co chcą. To znaczy tyle, na ile zdolny/przewidujący/dokładny jest jego programista.

PS. Niech w piekle smażą się twórcy robotów, a ich użytkownicy niech pokryją się kurzajkami od palców stopy do czubka nosa!
To znaczy ja nie piszę złych robotów :D Zajmowałem się produkcją automatycznych testów naszych serwisów, często korzysta się z tych samych narzędzi.