NOWE TECHNOLOGIE I CYBERBEZPIECZEŃSTWO

Tytuł:

Metody automatycznego pozyskiwania danych z Internetu dla celów biznesowych i cyberbezpieczeństwa

Autor:

Zespół Aigocracy Institute

Globalizacja oraz rozwój Internetu przyczyniły się do powstania nowego rodzaju gospodarki, w której dane i informacje stanowią czynnik produkcji, zasób, produkt, a przedsiębiorstwa wykorzystują informacje do budowy przewagi konkurencyjnej. Rozwój technologii informacyjnych przyczynił się do istotnych zmian modeli biznesowych opartych na zarządzaniu zbiorami danych oraz przetwarzaniu informacji, np. model infomediary (gromadzenie oraz dostarczanie klientom wyspecjalizowanych zbiorów danych) lub dostawcy treści (wytwarzanie nowych danych lub informacji i dostarczaniu ich klientom). Analiza omawia web scraping – pozyskiwanie danych tekstowych na stronach internetowych. Web scraping automatyzuje proces pozyskiwania danych z Internetu. Ręczne pobieranie danych jest czasochłonne i kosztowne, a możliwości są ograniczone. Web scraping przetwarza wiele stron jednocześnie, zachowując przy tym wysokie tempo pracy. Informacje dają przedsiębiorstwom pełniejszy obraz rynku i potrzeb klientów, pozwalają podejmować trafniejsze decyzje, a w konsekwencji budować zasoby wiedzy. W analizie omówiono metody przekształcania danych w informację poprzez nadawanie im kontekstu (wynikiem jest formułowanie wniosków). Pozyskiwanie danych z Internetu powiązane jest z pojęciem Big Data, które oznacza zbiory danych o zróżnicowanej i złożonej strukturze, dużym wolumenie oraz szybkim tempie przyrostu nowych danych. Analiza Big Data pozwala na odkrywanie ukrytych wzorców oraz korelacji. Wyniki są przydatną informacją dla firm i pozwalają na uzyskanie przewagi konkurencyjnej. Jest to znaczący trend technologiczny i ma potencjał do radykalnej zmiany sposobu, w jaki organizacje wykorzystują informacje dla poprawienia jakość obsługi klientów i przekształcić swoje modele biznesowe. Wiele danych zaliczanych do Big Data pochodzi ze strumieni generowanych przez urządzenia i mierniki oraz z Internetu. W przypadku sektora bankowego istotne jest szybkie identyfikowanie informacji, mogących w jakikolwiek sposób na niego wpływać. Celem raportu jest przedstawienie przypadków użycia źródeł danych dostępnych w Internecie do wsparcia procesów biznesowych, marketingowych oraz związanych z cyberbezpieczeństwem w sektorze bankowym. Raport omawia zagadnienia technicznego pozyskiwania danych, ujęcie ekonomiczne (uzyskania efekty skali, szacunkowe koszty wykorzystania wybranych źródeł) i prawne (bieżące rozwiązania legislacyjne, licencje źródeł danych). Struktura raportu obejmuje:

• przegląd potrzeb informacyjnych manifestowanych przez podmioty sektora bankowego,

• przedstawienie listy przykładowych źródeł danych, ich klasyfikacji oraz odwzorowania na zidentyfikowane potrzeby informacyjne,

• przedstawienie narzędzi służącym do automatycznego pozyskiwania danych ze źródeł internetowych. Omówiono również ograniczenia prawne i technologiczne takich procesów.

• przedstawienie przykładowych przypadków użycia wybranych narzędzi, ale różnych typów źródeł (stron w języku HTML, API oraz danych udostępnionych w plikach).

• rekomendacje związane z procesami automatycznego pozyskiwania danych z Internetu dla sektora bankowego.

Przewiń na górę