Co to jest zbieranie danych sieciowych

Automatyczne zbieranie danych w Internecie trwa mniej więcej tak długo, jak Internet istnieje. Chociaż zbieranie danych sieciowych nie jest nowym terminem, od wielu lat jest częściej określane jako screen scraping, data mining, web harvesting lub inne podobne wersje. Obecnie opinia publiczna wydaje się być bardziej skłonna do „zbierania danych w sieci”, ale czasami programy do gromadzenia danych w sieci nazywane są robotami sieciowymi (botami).

Teoretycznie zbieranie danych sieciowych jest sposobem zbierania danych sieciowych na różne sposoby, nie tylko poprzez interakcję z interfejsami API (lub bezpośrednio z przeglądarkami). Najpopularniejszą metodą jest napisanie zautomatyzowanego programu żądającego danych z serwera WWW (zwykle przy użyciu formularzy HIML lub innych plików WWW), a następnie przeanalizowanie danych w celu wyodrębnienia wymaganych informacji. W praktyce zbieranie danych w sieci obejmuje szeroki zakres technik i metod programowania, takich jak analiza danych i bezpieczeństwo informacji.