Co to serwery proxy? Wszystko o serwerach PROXY

Serwer proxy to komputer pośredniczący między Twoim urządzeniem a resztą internetu, który odbiera Twoje zapytania i przekazuje je dalej w Twoim imieniu. Działa jak cyfrowy bufor, ukrywając Twój prawdziwy adres IP przed docelowymi witrynami i chroniąc wewnętrzną sieć przed bezpośrednimi atakami z zewnątrz.

Zasada działania jest brutalnie prosta. Kiedy wpisujesz adres strony w przeglądarce, żądanie nie leci prosto do serwera docelowego. Najpierw trafia na serwer proxy. Ten weryfikuje pakiety, zmienia dane nadawcy i dopiero wtedy puka do drzwi serwisu internetowego. Serwis odsyła dane do serwera pośredniczącego, a ten zwraca je na Twój monitor. Ty masz treść, a właściciel strony widzi w logach wyłącznie maszynę proxy. Tyle. Żadnej magii.

Jak dokładnie działa serwer proxy w logice sieciowej?

Większość ludzi myśli o bramkach sieciowych jak o magicznych pelerynach niewidkach. To błąd. Proxy to po prostu dodatkowy węzeł komunikacyjny. Przekierowanie ruchu przez ten węzeł maskuje pierwotne źródło żądania. Dzieje się to na poziomie nagłówków warstwy aplikacji.

Pamiętam doskonale wdrożenie na warszawskiej Pradze Północ w małym biurze architektonicznym. Mieliśmy tam stary router i potężny problem z blokowaniem dostępu do specyficznych baz danych o zagospodarowaniu przestrzennym. Serwery urzędowe odrzucały ich pule adresów IP z powodu jakiegoś archaicznego limitu zapytań na minutę. Postawiliśmy prostego Squida na starym terminalu HP. Skonfigurowaliśmy rotację adresów wyjściowych. Problem zniknął w piętnaście minut. Zrobiliśmy na wdrożeniu szybki test obciążeniowy, potem zawiesiło się buforowanie pamięci podręcznej, więc wprowadzono poprawkę w pliku konfiguracyjnym przed poniedziałkiem. Działa do dzisiaj.

Z technicznego punktu widzenia serwery pośredniczące operują na protokołach HTTP lub SOCKS. Przejmują ruch sieciowy z Twojej przeglądarki, analizują go i wysyłają dalej. Jeśli serwer ma włączoną opcję buforowania, najpierw sprawdza własny dysk. Gdy ktoś w biurze przed chwilą pobrał ten sam plik, proxy nie łączy się z internetem. Oddaje plik z własnej pamięci. Oszczędza to transfer dostawcy internetu.

Czy proxy całkowicie ukrywa moją tożsamość?

Zupełnie nie. Maskowanie IP to tylko jeden element układanki. Twój dostawca internetu (ISP) nadal doskonale widzi, że łączysz się z konkretnym adresem serwera proxy. Wie, ile danych pobierasz. Nie wie tylko, co dokładnie znajduje się w zaszyfrowanych pakietach, jeśli używasz HTTPS, i gdzie te pakiety ostatecznie wędrują.

Prawda jest zresztą absolutnie taka, że pełna anonimowość w sieci nie istnieje. Zawsze ktoś ma logi. Pytanie brzmi tylko, czy ten ktoś ma interes w tym, żeby je komukolwiek udostępniać. Chociaż prawdę mówiąc brakuje nam twardych danych z zeszłego roku od największych dostawców proxy, więc wydaje się to tylko jedną z możliwych hipotez na ten kwartał przed zmianami w prawie telekomunikacyjnym.

Do czego służy serwer proxy i dlaczego firmy go kupują?

Rynek usług pośredniczących jest gigantyczny. Wynika to z faktu, że serwery te mają wiele zastosowań biznesowych. Omijanie geoblokad to tylko wierzchołek góry lodowej. Korporacje używają ich do kontrolowania pracowników. Systemy IT filtrują ruch treści, blokując dostęp do mediów społecznościowych w godzinach pracy. Administrator wpisuje regułę na zaporze sieciowej, a proxy ucina każde połączenie do zablokowanej domeny.

Innym potężnym sektorem jest web scraping. Automatyczne pobieranie danych ze stron konkurencji wymaga tysięcy zapytań na minutę. Sklep internetowy szybko zablokowałby jeden powtarzający się adres IP. Dlatego scrapery używają rotacyjnych serwerów proxy. Każde zapytanie wychodzi z innego adresu. Raz jest to węzeł we Frankfurcie, za ułamek sekundy w Tokio.

Przyjrzyjmy się twardym danym dotyczącym wykorzystania:

Czym różni się proxy anonimowe od transparentnego i elitarnego?

Kategoryzacja opiera się na tym, jak serwer traktuje nagłówki HTTP. Konkretnie chodzi o nagłówek X-Forwarded-For oraz Via. To one informują serwer docelowy o tym, kto tak naprawdę wysłał żądanie.

Proxy transparentne nie ukrywa niczego. Dodaje Twój prawdziwy adres IP do nagłówka X-Forwarded-For. Serwer docelowy wie, kim jesteś i wie, że używasz pośrednika. Po co w ogóle to stosować? Do buforowania treści w szkołach i firmach. Administratorzy nie dbają o anonimowość. Zależy im na oszczędzaniu pasma sieciowego i filtrowaniu stron.

Proxy anonimowe działa inaczej. Ukrywa Twój adres IP. Serwer docelowy widzi tylko adres maszyny pośredniczącej. Jednak w nagłówku HTTP nadal znajduje się informacja, że połączenie przechodzi przez proxy. Witryny z silnymi zabezpieczeniami antybotowymi często blokują takie połączenia z automatu.

Proxy elitarne idzie na całość. Czyści wszystkie nagłówki demaskujące. Serwer docelowy widzi adres IP serwera proxy i traktuje go jak zwykłego użytkownika siedzącego przed domowym komputerem. Nie ma pojęcia o istnieniu pośrednika. To jedyna opcja dla osób, które faktycznie potrzebują obejść restrykcyjne zapory sieciowe.

Skąd biorą się adresy IP w usługach komercyjnych?

Istnieją dwa główne źródła. Proxy w centrach danych (Datacenter Proxy) i proxy rezydencjalne (Residential Proxy).

Te pierwsze powstają w ogromnych serwerowniach. Firmy hostingowe generują tysiące adresów IP na wirtualnych maszynach. Są tanie. Są bardzo szybkie. Mają jednak wadę. Algorytmy bezpieczeństwa natychmiast rozpoznają, że dany adres należy do bloku chmurowego. Zwykły człowiek nie przegląda internetu prosto z szafy serwerowej Amazon Web Services.

Proxy rezydencjalne to inna liga. To adresy IP przypisane do prawdziwych domowych dostawców internetu. Jak operatorzy proxy je zdobywają? Często poprzez pakiety oprogramowania. Instalujesz darmową aplikację na telefonie, a w regulaminie zgadzasz się na udostępnienie ułamka swojego łącza. Twój telefon staje się węzłem wyjściowym dla kogoś na drugim końcu świata. Płacisz prywatnością za darmowy soft. I tak to się kręci.

Czy darmowe serwery proxy są bezpieczne dla użytkownika?

Absolutnie nie są. Używanie darmowych publicznych serwerów do logowania się do banku to proszenie się o kradzież tożsamości. Nikt nie utrzymuje infrastruktury sieciowej za darmo z dobroci serca. Utrzymanie serwera kosztuje pieniądze.

Jeśli nie płacisz za produkt abonamentem, produktem jesteś ty i twoje dane. Publiczne węzły często wstrzykują reklamy do niezabezpieczonych stron WWW. Modyfikują kod HTML w locie. Co gorsza, właściciele takich serwerów mają pełen wgląd w ruch nieszyfrowany. Mogą przechwytywać ciasteczka sesyjne. Zastanawiacie się zresztą, dlaczego to na produkcji tak wyje na testach po drodze z darmowymi węzłami? Sam się nad tym borykałem dzisiaj u siebie przy konfiguracji zewnętrznego API. Darmowe proxy po prostu upuszcza pakiety i sprzedaje logi firmom analitycznym.

Zawsze kupuj dostęp od sprawdzonych dostawców. Koszt wynosi kilkanaście złotych miesięcznie. To niewielka cena za brak problemów z przejętym kontem mailowym.

Reverse proxy a forward proxy – na czym polega różnica w architekturze?

Zwykły użytkownik internetu ma styczność tylko z forward proxy. To usługa, która chroni klienta przed internetem. Ty inicjujesz połączenie. Ty decydujesz, że chcesz wyjść na zewnątrz przez bufor.

Reverse proxy działa w odwrotnym kierunku. Chroni serwery przed klientami. Kiedy wchodzisz na duży portal informacyjny, nigdy nie łączysz się bezpośrednio z bazą danych ani z głównym serwerem aplikacji. Łączysz się z odwrotnym proxy. To zazwyczaj potężne oprogramowanie typu Nginx lub HAProxy, które stoi na pierwszej linii frontu.

• Odbiera Twoje żądanie HTTPS i rozszyfrowuje je.
• Sprawdza, czy nie jesteś botem próbującym przeprowadzić atak DDoS, ucinając podejrzany ruch na zaporze sieciowej.
• Decyduje, do którego serwera w klastrze wysłać zapytanie, pełniąc funkcję równoważnika obciążenia (Load Balancer).
• Zwraca odpowiedź z powrotem do Twojej przeglądarki.

Wdrożenie reverse proxy to podstawa bezpieczeństwa każdej nowoczesnej aplikacji internetowej. Bez tego serwery zaplecza padłyby pod ciężarem nagłego skoku ruchu w kilka sekund. Zrobiliśmy takie wdrożenie dla lokalnego sklepu z częściami samochodowymi. Bez Nginxa z przodu ich stary serwer Apache dławił się przy stu użytkownikach. Po postawieniu reverse proxy z odpowiednim buforowaniem, wytrzymali bez mała prawie pięćdziesiąt procent więcej ruchu w szczycie sezonu na wymianę opon.

(Szczerze mówiąc, siedząc w serwerowni o trzeciej nad ranem z kubkiem zimnej kawy, człowiek zastanawia się, po co ludzie piszą tak nieoptymalny kod aplikacji, że trzeba go ratować agresywnym buforowaniem na proxy. Ale to temat na inną dyskusję o kondycji współczesnego programowania).

Do czego służy protokół SOCKS5 w konfiguracjach sieciowych?

Większość serwerów pośredniczących do przeglądania stron działa na protokole HTTP. Mają jedno zadanie: obsługiwać ruch WWW. Ale co, jeśli chcesz puścić przez proxy ruch z klienta sieci Torrent, z gry wideo online albo z własnej aplikacji napisanej w Pythonie?

Wtedy wchodzi SOCKS5. To protokół, który operuje na niższej warstwie modelu OSI. SOCKS5 nie obchodzi, czy przesyłasz stronę internetową, pocztę e-mail czy nagłówki z gry multiplayer. On po prostu bierze pakiety danych, bez względu na to czy to TCP czy UDP, i tuneluje je do celu. Nie dodaje własnych nagłówków. Jest lżejszy i bardzo często szybszy niż HTTP proxy.

Gracze używają SOCKS5 do omijania restrykcyjnych firewalli w akademikach. Konfigurujesz klienta gry, podajesz adres IP serwera SOCKS5, port, login i hasło. Pakiety UDP płyną bez problemu. Zmieniliśmy te zasady na robocie w jednym z projektów analitycznych, gdzie scraper musiał pobierać dane przez protokoły inne niż webowe. SOCKS5 udźwignął temat bez zająknięcia.

Kiedy wybrać VPN, a kiedy wystarczy zwykły serwer proxy?

To nagminnie mylone pojęcia. Proxy operuje na poziomie aplikacji. Musisz skonfigurować przeglądarkę lub program do obsługi zewnętrznego węzła. Reszta systemu operacyjnego, np. procesy działające w tle lub aktualizacje Windows, nadal łączy się z siecią bezpośrednio, ujawniając Twój adres IP.

VPN (Virtual Private Network) działa na poziomie całego systemu operacyjnego. Tworzy zaszyfrowany tunel dla całego ruchu wychodzącego z Twojego komputera. Nieważne, jakiej aplikacji używasz. Wszystko jest szyfrowane potężnymi algorytmami i pakowane w tunel.

Kiedy więc wybrać proxy?

Gdy zależy Ci na prędkości i chcesz ominąć prostą blokadę regionalną na konkretnej stronie WWW. Proxy działa z reguły o 15-20% szybciej na gołych łączach bez narzutu szyfrowania AES-256. Nie obciąża procesora komputera. Wpisujesz adres w ustawieniach przeglądarki i gotowe.

Wybierz VPN, gdy pracujesz w niezabezpieczonej publicznej sieci Wi-Fi na lotnisku. VPN szyfruje pakiety, więc nawet jeśli ktoś podsłuchuje sieć, zobaczy tylko losowy ciąg znaków. Proxy HTTP tego nie gwarantuje. To jest bez mała najgorsza opcja z wszystkich, wejść na konto bankowe przez publiczne proxy na lotnisku.

Gdzie wdrożyć serwer proxy do automatyzacji w firmie?

Automatyzacja procesów wymaga stabilnej infrastruktury. Zablokowanie głównego adresu IP firmy przez zewnętrzne serwisy to katastrofa. Dlatego skrypty automatyzujące marketing, sprawdzające pozycje w wyszukiwarkach czy monitorujące ceny u konkurencji muszą wychodzić przez węzły pośredniczące.

Pule rotacyjne sprawdzają się tu najlepiej. Kupujesz pakiet gigabajtów. Dostajesz jeden adres startowy. W kodzie aplikacji kierujesz wszystkie zapytania na ten jeden adres. Magia dzieje się po stronie dostawcy. Ich system sam kieruje każde Twoje zapytanie do innego fizycznego węzła na świecie. Ty nie martwisz się o zarządzanie listą setek adresów IP w plikach konfiguracyjnych.

Zbudowaliśmy kiedyś taki mechanizm do weryfikacji dostępności towaru w sieci hurtowni. Gdy puszczaliśmy skrypt bezpośrednio, po stu zapytaniach dostawaliśmy błąd 403 Forbidden. Po wpięciu proxy rezydencjalnych z rotacją co zapytanie, skrypt przeżuł dziesięć tysięcy zapytań w godzinę. Żadnej blokady CAPTCHA na ekranie.

Co zrobisz ze swoim ruchem sieciowym?

Odpowiedź na to pytanie wymaga przeanalizowania logów z własnej sieci. Wiesz już, jak działa maskowanie adresu IP i po co stosuje się buforowanie na węzłach pośredniczących. Znasz różnice między ruchem bezpośrednim, tunelowaniem SOCKS5 a zaszyfrowanym połączeniem VPN na poziomie systemu operacyjnego. Widzisz, że darmowe rozwiązania to w większości pułapki na dane z przeglądarki.

Zaloguj się do panelu administracyjnego swojego routera lub firmowego firewalla. Sprawdź, dokąd dokładnie wędrują pakiety z urządzeń w Twojej sieci lokalnej. NAGLE okazuje się, że bez odpowiedniej konfiguracji bramki wyjściowej, wysyłasz na zewnątrz potężne ilości danych telemetrycznych. Decyzja o tym, czy postawić bufor między swoim sprzętem a internetem, należy wyłącznie do Ciebie. Konfiguracja prostego proxy na lokalnym serwerze zajmuje kwadrans. Odzyskanie prywatności w sieci to proces, który zaczyna się od tego jednego kroku.

Najczęściej zadawane pytania (FAQ) o serwery proxy

• Co to jest serwer proxy?
  Serwer proxy to komputer pośredniczący, który odbiera żądania od użytkownika i przekazuje je do internetu w jego imieniu, maskując pierwotny adres IP.
• Czy proxy i VPN to to samo?
  Nie. Proxy działa zazwyczaj na poziomie konkretnej aplikacji (np. przeglądarki), podczas gdy VPN szyfruje cały ruch sieciowy wychodzący z systemu operacyjnego.
• Czym różni się proxy anonimowe od elitarnego?
  Proxy anonimowe ukrywa adres IP użytkownika, ale informuje serwer docelowy, że jest serwerem proxy. Proxy elitarne ukrywa IP i nie zostawia w nagłówkach HTTP żadnych śladów swojej obecności.
• Czy darmowe serwery proxy są bezpieczne?
  W większości przypadków nie. Często wstrzykują reklamy, zbierają logi użytkowników i mogą przechwytywać niezabezpieczone dane przesyłane w locie.
• Do czego służy reverse proxy?
  Reverse proxy chroni serwery docelowe przed atakami z zewnątrz, rozkłada obciążenie ruchu (load balancing) i buforuje statyczne treści po stronie infrastruktury właściciela strony.
• Co to jest protokół SOCKS5?
  SOCKS5 to zaawansowany protokół proxy obsługujący ruch TCP i UDP. Jest wykorzystywany do przesyłania pakietów z gier online, klientów P2P i aplikacji niekorzystających z protokołu HTTP.

Bibliografia i źródła danych

1. Główny Urząd Statystyczny – https://stat.gov.pl
2. Naukowa i Akademicka Sieć Komputerowa (NASK) – https://www.nask.pl
3. Ministerstwo Cyfryzacji – https://www.gov.pl/web/cyfryzacja
4. Zespół Reagowania na Incydenty Bezpieczeństwa Komputerowego (CERT Polska) – https://cert.pl