SQL: Analiza zapytań

0:00W poprzedniej lekcji sprawdzałeś jak indeks

0:04wpływa na czas wykonania zapytania badając

0:08ten czas przed stworzeniem indeksu i po stworzeniu

0:12indeksu często jednak piszemy zapytania kiedy indeks

0:16już istnieje w jaki sposób w takim razie możemy sprawdzić czy

0:20wykorzystuje ten indeks czy nie w tej lekcji poznasz

0:25narzędzie które pozwoli ci na taką analizę zanim

0:30jednak przejdziemy do przedstawienia tego narzędzia spójrzmy na rozwiązanie

0:34do zadania z poprzedniej lekcji zadanie polegało na przyspieszeniu

0:39zapytania właśnie na stworzeniu indeksu który by przyspieszył

0:43takie zapytanie zapytanie wybierające wszystkie kolumny

0:48z tabeli big data gdzie wartości w kolumnie big number są

0:52pomiędzy zadanymi liczbami zobaczymy jak

0:56szybko uruchamia się to za pytanie w tej chwili trwała ona

1:04dwie sekundy ale jeżeli uruchomimy je jeszcze raz o

1:08to już lepiej 264 milisekundy czyli

1:12jak widać około 200 milisekund

1:16skąd to pierwsze uruchomienie jest dłuższe

1:21niż kolejne dlatego że przy pierwszym uruchomieniu baza

1:25zapamiętuje część danych tego zapytania w takiej specjalnej

1:29pamięci podręcznej i przy kolejnych uruchomienia korzysta z tych

1:33z tych danych wszystkie kolejne oprócz pierwszego są szybsze kiedy chce porównać

1:38czasy zapytań to porównuje te czasy po

1:42scache'owaniu dlatego że mogę je powtórzyć i zobaczyć

1:47właśnie średnia prędkość wykonywania tego zapytania poza tym

1:51ten czas wykonania pierwszego uruchomienia zapytania jest

1:55no można powiedzieć niepowtarzalny albo trudno powtarzalny dlatego

1:59będę się opierał na tych czasach z kolejnych uruchomień a teraz stworzymy

2:04indeks na kolumnie która tutaj jest używana

2:08do ograniczenia danych do warunku r tak wygląda syntax

2:12tworzenia indeksu przedstawiane na poprzedniej lekcji

2:18indeks się stworzył w dwie sekundy i w tej chwili już to zapytanie będzie

2:23trwało proszę bardzo 130 około 100 milisekund

2:27czyli 2 razy szybciej niż bez indeksu pięknie możemy teraz

2:31przejść do głównej części lekcji tym razem wezmę

2:35na warsztat proste zapytanie które wyciąga dane

2:39i ogranicza je na podstawie wartości kolumny

2:43identyfikatora czyli klucza głównego trwa ona

2:48około 800 milisekund ale ona nic nie mówi za bardzo co

2:52się dzieje pod spodem tu warto wiedzieć że wykonanie zapytania składa

2:56się z kilku faz więc pierwsza faza analizy leksykalnej czy

3:01zapytanie nie ma żadnych błędów jest druga faza przygotowania planu

3:05wykonania zapytania przez tak zwany planner który

3:09patrzy na zapytanie patrzy na konfigurację zasoby i

3:14planuje co trzeba zrobić żeby jak najlepiej wykonać to zapytanie

3:18jak najszybciej potem następuje już samo wykonanie zapytania odniesienie

3:22się do do danych bazy jeżeli jest to zapytanie

3:27select to ostatnia faza to jest wyciągnięcie i zwrócenie tych

3:31danych do klienta czyli na przykład tak jak tutaj mamy pg admina

3:35te dane są przekazane do aplikacji która je wyświetla

3:40żeby zobaczyć jak to zapytanie będzie

3:44wykonywane czyli co planer dla nas zaplanował

3:48używa się polecenia explain polecenie explain nie

3:52wykonuje zapytania tylko pokazuje jakie

3:56czynności będą wykonywane w ramach uruchamiania tego zapytania

4:00tutaj jest wynik tego

4:05explaina tylko dwie linijki natomiast o co

4:09tu chodzi seq scan oznacza nic innego jak sequential

4:13scan sequential scan znaczy tyle że cała tabela

4:18big data będzie przeglądana w poszukiwaniu rekordów

4:22które spełniają ten warunek czyli pobrane dane będą

4:26filtrowane przez ten warunek i zwracamy tak generalnie

4:31to oznacza od dużo odczytów z dysku

4:35w poszukiwaniu tych danych które które chcemy nic

4:39tutaj o żadnych indeksach nie ma no tak ale

4:43przecież jest indeks na kolumnie id prawda możemy zresztą

4:47sprawdzić tutaj o proszę bardzo jest klucz główny a

4:51wiadomo że na kluczu głównym zawsze jest założony indeks

4:56spróbuję teraz zmniejszyć to ograniczenie tak żeby wybierać

5:00tylko rekordy może nie większe a mniejsze od

5:061000 jest tam sporo ograniczeń zbiór danych który chcemy

5:10zwrócić i uruchamiam teraz tego explaina i proszę

5:14bardzo tym razem pięknie się nam pokazał index

5:18scan to znaczy że używając indeksu big data pkey na kluczu

5:23głównym wyciągane są te adresy rekordu który chcę pobrać

5:27i dla takiego warunku tak z indeksu są wybierane adresy

5:33rekordów które chcemy pobrać i baza tylko z tych rekordów odczytuje

5:38dane stąd to przyspieszenie tak bo nie ma skanu całej tabeli tylko

5:42wybieramy część danych dlaczego to

5:46tak wyglądało że przy dużej ilości danych indeks nie był użyty dlatego

5:51że planner wie że nawet jeżeliby by użył indeksu przy zapytaniu

5:56które zwraca dużą ilość danych z tablicy i tak musiałby

6:00odczytywać te wszystkie dane z dysku bo koniec końców chcemy pobrać

6:05te wszystkie dane więc po prostu nie opłaca się jeszcze sięgać

6:09do indeksu wczytywać ten indeks do pamięci i szukać w nim bo

6:14koszt byłby bardzo podobny znaczy nie przyspieszyłoby to

6:18znacząco pobierania danych na wydajność

6:22działania indeksów wpływa też to jakie dane trzymane są

6:26w kolumnie jeżeli chodzi o kolumnę identyfikatora na przykład

6:31tam są dane unikalne to znaczy każdy każda

6:35wartość przyporządkowana jest do pojedynczego rekordu

6:40na dysku dlatego planner mógł spokojnie odwołać

6:44się do indeksu i dokładnie wybrać te rekordy które

6:48wynikły z przejrzenia indeksu inaczej ma się jeżeli

6:53w kolumnie mogą być wartości zdublowane wtedy jest tak

6:57że dla pojedynczej wartości możemy mieć kilka

7:01rekordów które jej odpowiadają tak i wtedy już scan index

7:05zwróci nam zestaw rekordów niekoniecznie uporządkowany

7:09w przypadku wyciągania danych w przypadku wyciągania

7:14danych z kolumny identyfikatora jeżeli wybierzemy dane które są

7:18mniejsze niż 1000 no to index nam da po kolei wszystkie adresy na

7:22dysku natomiast jeżeli mamy wartość jakiejś kolumny która się

7:26powtarza no to dostaniemy kilka różnych niekoniecznie uporządkowanych

7:30tak a po to żeby wydajniej odczytywać z dysku

7:34najlepiej mieć te adresy uporządkowane przyjrzymy się w takim razie zapytaniu

7:39z poprzedniej lekcji to jest to zapytanie i teraz

7:43dorzucimy tutaj explain żeby zobaczyć co nam

7:47powie planner planner nam mówi że oczywiście tak użyję indeksu

7:52ale nie użyję go bezpośrednio tak jak w przypadku zapytania

7:57na kolumnie identyfikatora tylko najpierw zbierz adresy

8:01z indeksu a później je sobie poukładasz że tak powiem

8:05a później dopiero je wykorzystam do agregacji tak ale generalnie informacja

8:09dla nas ważna taka że został użyty indeks to przyspieszy zapytanie

8:13bo w większości przypadków użycia indeksu przyspiesza zapytania natomiast

8:19jest tutaj informacje też że że są tutaj dodatkowe czynności które

8:23muszą być wykonane które kosztują więcej czasu no właśnie jeszcze

8:27komentarz do do tych danych które są tutaj w nawiasach koszt

8:32który tutaj jest wyświetlany to jest koszt w cyklach procesora

8:37który planner zakłada że będzie potrzebny żeby wykonać dane

8:41operacje tak tu jest najpierw ten skan kosztuje to 1600

8:45jednostek tutaj to jest 4000 jednostek i

8:50na końcu już sama agregacja to jest prawie nic i tu przy

8:54okazji też jest informacja na jakim zbiorze danych jakby operacje

8:58są przeprowadzane tu już agregacja jest do jednego wiersza bo to jest tylko wartość

9:03średnia to jest tylko plan tak więc jak to będzie wykonane

9:07ostatecznie tego do końca nie wiadomo zakładamy że mniej

9:11więcej według planu jeżeli chcemy wiedzieć jak to zapytanie zostało

9:16zrealizowane do explaina dodajemy takie słowo kluczowe

9:20analyze jak odpalimy to

9:24zapytanie to dostajemy dodatkowe informacje po pierwsze jaki

9:29był czas planowania jaki czas egzekucji czy wykonania

9:33zapytania ale też oprócz tutaj tych kosztów jest actual time

9:37czyli ostateczny czas wykonania tych operacji tak tutaj jest

9:42ten czas jest w sekundach znaczy w milisekundach ile wierszy jakby

9:46każdy element zwrócił i ile powtórzeń danej operacji było

9:51zrobione bo czasami jest tak że tu jest operacja szybka

9:55i niewiele danych zwraca ale musi obrócić kilkaset tysięcy razy

10:01żeby wszystkie dane przetworzyć i wtedy się okazuje że

10:05jest kosztowna mimo że wydawałoby się że na małej ilości danych działa

10:09o tych danych mówię tak orientacyjnie żebyś wiedział z czym to się je i o

10:13co tutaj chodzi natomiast tak naprawdę w tej chwili najważniejsze jest to i chciałbym

10:17żebyś jakby wyniósł tą wiedzę czy indeks jest wykorzystywany

10:21przez dane zapytanie czy nie na tym poziomie jakby to powinno ci wystarczyć