Zaczynasz od arkusza kalkulacyjnego zapisującego kilka leadów B2B na krzyż. Mijają lata. Biznes e-commerce skaluje się obłędnie. Pewnego czwartku twój Arkusz Google zamarza przy obrocie tysięcy komórek na krzyż, uniemożliwiając wręcz odświeżenie formuły. Dotknąłeś hard-limitu Google wynoszącego obecnie równe 10 milionów węzłów. Co dalej? Migracja i wdrożenie Google BigQuery.
Dlaczego BigQuery (Data Warehouse)?
BigQuery to w pełni funkcjonalna hurtownia danych klasy "Enterprise" zlokalizowana w Google Cloud Platform (GCP). W odróżnieniu od klasycznego podejścia do hostowania, nie wymaga od właścicielki firmy B2B ani utrzymywania stacjonarnego serwera z klimatyzacją przez informatyka, ani rezerwowania miesięcznych kosztów opłat instancji w chmurze AWS.
Posiada bowiem model rozliczeniowy (Pay-as-you-go - Płać za użycie). Nie wysyłasz potężnych procesów SQL? Nie zapłacisz Google ani złotówki w ciągu danego tygodnia. Wielu analityków pyta wprost: ile jest free tier na BQ? Według oficjalnego cennika Google Cloud, pierwsze 10 GB spoczywających danych wymrożonych na dyskach oraz przeprocesowanie aż 1 Terabajta zapytań SQL w kalendarzowym miesiącu jest całkowicie darmowe (tak, to właśnie tzw. "Free-Tier")! Daje to mniejszym firmom B2B i fundacjom de facto bezkosztowy, potężny ekosystem Big Data na długie lata.
Trzy kluczowe Filary BigQuery jako nowej ramy operacyjnej B2B
- Prędkość przetwarzania Terabajtów (Dremel Engine): W przeciwieństwie do weryfikacji 3 mln zapytań tablicy Pivot w Excelu trwającej często 20 minut ─ autorski silnik dystrybucji zapytań od Google jest w stanie przebrnąć przez tabelę liczącą 5 Miliardów zachowań Użytkowników GA4 w dosłownie kilkanaście sekund. Spada czas czekania by przygotować raport dla Zarządu. Jeśli martwisz się o budżet po stronie wywołań w chmurze, sprawdź krok po kroku jak analizować za darmo w BigQuery i kontrolować koszty zapytań.
- Połączenia Native Integrations: Z poziomu konta reklamowego Google Ads czy analityki Google Analytics 4 (GA4) wykonanie potężnego transferu hurtowego "na zaplecze BQ" następuje natywnym interfejsem odtworzonym na kilka kliknięć. Nie potrzebujesz setek kabli, licencji programistów do ściągnięcia danych. One tam spłyną autoamtycznie o północy.
- Światowy model (Serverless / Auto-Scaling): Gdy wyślesz jedno kolosalne zapytanie by sporządzić sprawozdanie finansowe roczne - BigQuery potrafi powołać do obsługi nawet setki potężnych maszyn procesowych równolegle, w ułamki sekund pożerając zapytanie by następnie uciąć to by nie generować dla ciebie niepotrzebnego utrzymania infrastruktury.
"Świat inżynierii dzieli się na architekturę "Excela z kolumnami spiętymi śliną" oraz "Tytułowe BigQuery". Koszty obu środowisk dla powiedzmy obrotu 100 milionów wierszy bywają identyczne - za to stopień zawału dla architekta firmy bezcennie spada po migracji na rzecz chmury. "
Bezpieczeństwo na poziomie CIA - IAM (Identity and Access)
Z BigQuery, administrator zyskuje kontrolę wręcz aptekarską. Koniec z hasłami "podawaj plik z załącznikiem bez sztywnych uprawnień" . Odgórnie ograniczysz nowym członkom zespołu odcięcie na Row-Level Security ─ czyli Junior Handlowiec wywoła identyczne polecenie tabeli co Prezes, ale silnik bazodanowy Google wyrenderuje JUNIOROWI np. wyłącznie sprzedaże przypisane pod Polskę Południową, zachowując tajemnice dochodu całkowitego oddziałów europejskich spółki.