Hadoop & Spark
Zasady współpracy
Szczegółowe zasady zaliczenia oraz reguły współpracy w ramach przedmiotu dostępne są w dokumencie 📄 PDF
Zasady współpracy podczas promowania pracy dyplomowej opisane są w dokumencie 📄 PDF
Slajdy i kody źródłowe
| # | Tematyka | Slajdy | Kod |
|---|---|---|---|
| 1 | Wprowadzenie do ekosystemu Apache Hadoop | 💻 cz.1 💻 cz.2 | |
| 2 | Ekosystem Apache Spark | 💻 kod | |
| 3 | Technologie przetwarzania danych | 💻 cz.1 💻 cz.2 | |
| 4 | Technologie automatyzacji | n/d | |
| 5 | Technologie składowania danych | 💻 kod | |
| 6 | Technologie administrowania | n/d | |
| 7 | Formaty plików | 💻 cz.1 💻 cz.2 💻 cz.3 | |
| 8 | Big data a hurtownia danych | n/d | |
| 9 | Analiza danych w czasie rzeczywistym | n/d | |
| 10 | Technologie real-time | 💻 cz.1 💻 cz.2 💻 cz.3 | |
| 11 | Bezpieczeństwo | n/d | |
| 12 | Ćwiczenia: formaty plików | n/d | |
| 13 | Ćwiczenia: flight delays | n/d | |
| 14 | Czyszczenie środowiska Databricks (QUOTA_EXCEEDED) | 🌐 html | n/d |
Dane z których korzystamy
| # | Zbiór danych | Plik | Źródło |
|---|---|---|---|
| 1 | Zgłoszenia incydentów na policję | 📦 police-department-incidents.zip | kaggle.com |
| 2 | Airline On-Time Performance and Causes of Flight Delays | 📦 delays.zip | bts.gov |