Marek Gagolewski

Przetwarzanie danych w językach R i Python 2018/2019
(Data Processing in R and Python)
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej, przedmiot obieralny, studia inż., kier. Informatyka

Informacje ogólne

Wykład: prof. nzw. dr hab. inż. Marek Gągolewski wt., 14-16, s. 103
Laboratoria: prof. nzw. dr hab. inż. Marek Gągolewski wt., 18-20, s. 218

Kurs omawia najbardziej przydatne techniki programowania w językach R i Python 3 w pracy inżyniera i analityka danych. W ramach zajęć student uzyskuje praktyczną umiejętność zbierania i przygotowywania danych do analizy, oraz stosowania i implementacji wybranych algorytmów maszynowego uczenia. Uczestnicy mają możliwość dogłębnego poznania technik programowania w tych językach, a także najbardziej popularnych i użytecznych bibliotek. W trakcie zajęć szczególną uwagę poświęca się sposobom przetwarzania i analizy ustrukturyzowanych zbiorów danych (filtrowanie danych, agregacja danych w podgrupach, złączenia).

Harmonogram zajęć

Wymagane oprogramowanie

Sugerowana literatura

R:
  1. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016
  2. Wickham H., Advanced R, Chapman & Hall/CRC, 2014
  3. Wickham H., Grolemund G., R for Data Science, O'Reilly, 2017
  4. Eddelbuettel, D., Seamless R and C++ integration with RCpp, Springer, 2013
  5. Chambers J.M., Programming with Data, Springer, 1998 (The Green Book)
  6. Venables W.N., Ripley B.D., S Programming, Springer, 2000
  7. Abelson H., Sussman J., Sussman G.J., Struktura i interpretacja programów komputerowych, WNT, Warszawa, 2002
Python:
  1. Gągolewski M., Bartoszuk M., Cena A., Przetwarzanie i analiza danych w języku Python, Wydawnictwo Naukowe PWN, Warszawa, 2016
  2. Lutz M., Learning Python, O'Reilly Media, 2013
  3. VanderPlas J., Python Data Science Handbook: Essential Tools for Working with Data, O'Reilly, 2016
  4. McKinney W., Python for Data Analysis. Data Wrangling with Pandas, NumPy, and IPython, O'Reilly Media, 2012
  5. Richert W., Coelho L.P., Building Machine Learning Systems with Python, Packt Publishing, 2013
  6. Bressert E., SciPy and NumPy, O'Reilly Media, 2012

Tydzień 1. (2019-02-19)

Wykład

  • Klasyfikacja typów danych w R
  • Podstawowe typy atomowe: Wektory i NULL
  • Operacje na wektorach atomowych: operatory arytmetyczne, logiczne i relacyjne

Laboratoria

  • Organizacja pracy w RStudio
  • Język Markdown
  • Tworzenie raportów przy użyciu pakietu knitr
  • Skrypty w plikach .R

Zwracamy uwagę na funkcję source(). Możemy wywoływać ją w plikach .R i dokumentach knitra.

Zachęcamy do pracy w stylu: każde „duże zadanie” (np. praca domowa) – osobne projekt w RStudio.

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Uwaga: należy „obserwować” (Watch) ww. repozytorium, gdyż inaczej nie będą Państwo otrzymywać wiadomości e-mail nt. aktualizacji, ogłoszeń itp. (sekcja Issues)

  3. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 1,2,13
  4. Dokumentacja RStudio (szczególnie warty przeczytania jest punkt skróty klawiszowe)
  5. Markdown intro
  6. Markdown basics @ GitHub
  7. RMarkdown basics @ RStudio
  8. RMarkdown output formats @ RStudio
  9. Pandoc
  10. knitr chunk options

Tydzień 2. (2019-02-26)

Wykład

  • Operacje na wektorach atomowych: zwektoryzowane funkcje matematyczne, filtrowanie danych, agregacja danych itp.

Laboratoria

  • Rozwiązywanie zadań z zestawu nr 1 (operacje na wektorach atomowych) – cz. 1

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 3, 4

Tydzień 3. (2019-03-05)

Wykład

  • Listy
  • Funkcje
  • Atrybuty obiektów

Laboratoria

  • Rozwiązywanie zadań z zestawu nr 1 (operacje na wektorach atomowych) – cz. 2

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 5, 6

Tydzień 4. (2019-03-12)

Wykład

  • Atrybuty specjalne, podstawy programowania obiektowego w stylu S3
  • Macierze

Laboratoria

  • Rozwiązywanie zadań z zestawu nr 2 (operacje na macierzach)

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 6,7

Tydzień 5. (2019-03-19)

Wykład

  • Czynniki (ang. factors)
  • Ramki danych
  • Wyrażenia warunkowe, pętle, obsługa wyjątków

Laboratoria

  • Rozwiązywanie zadań z zestawu nr 3 (operacje na ramkach danych)

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 7,8,9
  3. dplyr, tidyr i inne pakiety z rodziny tidyverse; por. też Wickham H., Grolemund G., R for Data Science, O'Reilly, 2017
  4. sqldf, RSQLite
  5. data.table
  6. Jak widzimy, w R można robić te same rzeczy niestety na kilka różnych sposobów. Opanowanie „bazowych” operacji jest bardzo ważne, bo dzięki nim jesteśmy przygotowani na obróbkę ramek danych w każdy możliwy sposób. Przy użyciu np. bardzo popularnego pakietu dplyr (który poznajemy w ramach pracy domowej) możemy wygodniej realizować wiele „codziennych” operacji, jednak (jak sam autor przyznaje) nie wszystkie. W każdym razie pakiet ten „wypada” znać, bo będą się nimi zapewne posługiwali pracujący w naszych zespołach analitycy-nie-informatycy.

Tydzień 6. (2019-03-26)

Wykład

  • Przetwarzanie napisów
  • Wyrażenia regularne – krótki acz wyczerpujący kurs

Laboratoria

  • Rozwiązywanie zadań z zestawu nr 3 (operacje na ramkach danych 2)

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 10,11
  3. regular-expressions.info
  4. Regular Expressions – ICU User Guide

Tydzień 7. (2019-04-02)

Wykład

  • Środowiska
  • Środowiskowy model obliczeń

Laboratoria

  • Rozwiązywanie zadań z zestawu nr 4 (operacje na ramkach danych 3)

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 17,18
  3. Wickham H., Advanced R, Chapman & Hall/CRC, 2014
  4. Abelson H., Sussman J., Sussman G.J., Struktura i interpretacja programów komputerowych, WNT, Warszawa, 2002
  5. rcpp.org
  6. Niestety (a może stety?) nie mamy czasu na omówienie technik programowania „obiektopodobnego” innego niż S3. Zainteresowani mogą sobie jednak poczytać więcej nt. klas S4, refClasses i R6 (zob. też rozdz. 19 mojej książki). Dwa ostatnie oparte są na poznanych podczas dzisiejszego wykładu środowiskach.

Tydzień 8. (2019-04-09)

Wykład

  • R – Niestandardowa ewaluacja
  • Rcpp – szybkie wprowadzenie dla zaawansowanych programistów C++
  • Python – wprowadzenie

Laboratoria

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Programowanie w języku R, Wydawnictwo Naukowe PWN, wyd. 2, Warszawa, 2016 – rozdz. 20
  3. Gągolewski M., Bartoszuk M., Cena A., Przetwarzanie i analiza danych w języku Python, Wydawnictwo Naukowe PWN, Warszawa, 2016 – rozdz. 2,3,4
  4. Built-in Types – Python3 Documentation
  5. Data Structures – Python3 Tutorial

Tydzień 9. (2019-04-16)

Wykład

  • Typy skalarne
  • Typy sekwencyjne i iterowalne
  • Słowniki i zbiory
  • Instrukcje sterujące
  • Obsługa wyjątków
  • Funkcje

Laboratoria

  • Jupyter – podstawy obsługi
  • Wprowadzenie do składni języka Python
  • Uruchamianie własnych skryptów i importowanie modułów

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Bartoszuk M., Cena A., Przetwarzanie i analiza danych w języku Python, Wydawnictwo Naukowe PWN, Warszawa, 2016 – rozdz. 5,6
  3. Modules – Python3 Tutorial
  4. More Control Flow – Python3 Tutorial
  5. JupyterLab Documentation
  6. Markdown Syntax
  7. Mastering Markdown @ GitHub
  8. Pweave
  9. Spyder

Tydzień 10. (2019-05-07)

Wykład

  • Numpy cz. 1

Laboratoria

  • Rozwiązywanie zadań (czysty bazowy Python: skalary, listy, słowniki)

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Bartoszuk M., Cena A., Przetwarzanie i analiza danych w języku Python, Wydawnictwo Naukowe PWN, Warszawa, 2016 – rozdz. 7
  3. NumPy – strona domowa
  4. NumPy – dokumentacja

Tydzień 11. (2019-05-14)

Wykład

  • Numpy cz. 2

Laboratoria

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Bartoszuk M., Cena A., Przetwarzanie i analiza danych w języku Python, Wydawnictwo Naukowe PWN, Warszawa, 2016 – rozdz. 7
  3. NumPy – dokumentacja
  4. SciPy – dokumentacja
  5. scikit-learn: Machine Learning in Python, zobacz także listę pozostałych SciKits
  6. pandas – strona domowa
  7. pandas cheat sheet

Tydzień 12. (2019-05-21)

Wykład

  • Pandas

Laboratoria

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Bartoszuk M., Cena A., Przetwarzanie i analiza danych w języku Python, Wydawnictwo Naukowe PWN, Warszawa, 2016 – rozdz. 8
  3. pandas – strona domowa

Tydzień 13. (2019-05-28)

Wykład

  • Programowanie obiektowe
  • Cython
  • Łączenie Pythona z C/C++

Laboratoria

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. Gągolewski M., Bartoszuk M., Cena A., Przetwarzanie i analiza danych w języku Python, Wydawnictwo Naukowe PWN, Warszawa, 2016 – rozdz. 16
  3. Classes – Python3 Tutorial
  4. Cython
  5. zob. też: numba
  6. Python/C API Reference Manual

Tydzień 14. (2019-06-04)

Wykład

  • TensorFlow cz. 1

Laboratoria

  • Praca domowa nr 3 – prezentacje cz. 1 (grupy dwuosobowe)

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie
  2. TensorFlow
  3. zob. też. PyTorch

Tydzień 15. (2019-06-11)

Wykład

  • TensorFlow cz. 2

Laboratoria

  • Praca domowa nr 3 – prezentacje cz. 2 (grupy dwuosobowe)

Materiały pomocnicze

  1. Kody z wykładu i lab oraz zestawy zadań znajdują się na GitHubie