Co może popsuć Twój system?

W trzecim odcinku Supporterów nasi prowadzący - Mateusz Szajek oraz Adam Kawski - opowiadają o tym, co naprawdę psuje systemy... i jak możesz tego uniknąć. 

Jeśli chcesz wiedzieć, czy system naprawdę „psuje się sam”? A może problem zaczął się dużo wcześniej – po aktualizacji, zmianie certyfikatu, modyfikacji plików albo jednym niepozornym mailu - zapraszamy do odsłuchania! 

Transcript

SPEAKER_01 0:00

Dzień dobry, witamy w trzecim odcinku supporterów. Ja jestem Mateusz.

SPEAKER_00 0:04

Ja jestem Adam.

SPEAKER_01 0:05

I opowiemy Wam dzisiaj, co może wam popsuć systemy.

SPEAKER_00 0:08

Dokładnie tak, omówimy sobie najczęstsze problemy, z którymi zmagaliśmy się w ostatnich miesiącach i jak możecie ich uniknąć.

SPEAKER_01 0:19

Pierwszym punktem naszego dzisiejszego odcinka będą aktualizacje.

SPEAKER_00 0:23

Tak, aktualizację, a tak naprawdę jakie problemy możemy naprawić tymi aktualizacami? I w sumie w wiele ostatnimi czasy dużo jest przypadków, gdzie po prostu przychodzą do nas klienci z jakimś błędem dla przykładów błędy z raportami, błędy z pobieraniem poczty, gdzie niektóre załączniki nie są procesowane, błędy z SAMLEM, gdzie użytkownicy nie mogą się prostować do aplikacji, czy wiele błędów synchronizacji zostały po prostu naprawione aktualizacami?

SPEAKER_01 0:53

Dokładnie, wiele z tych problemów nie potrzebuje stricte naszej analizy, bo zostało to wykryte czy w wielu przypadkach klienckich, czy w wielu środowiskach i została, tak jak mówisz, wydana aktualizacja. Ale czy powinniśmy tę aktualizację wgrywać na ślepo?

SPEAKER_00 1:13

Moim zdanie nie, nie powinniśmy. Zawsze pamiętajcie, że nigdy nie aktualizujemy tego samego dnia, jak została wydana paczka. Zawsze musimy przeanalizować dokładnie, co zostało wpisane w Real Note. Wydaje mi się, że możemy to nawet podzielić na kroki. Krok pierwszy weryfikacja realiznie zostało naprawione i rzeczywiście rzeczy, które was interesują, już są w tej najnowszej pacce.

SPEAKER_01 1:36

Dokładnie rzeczy, którymi w ogóle wy operujecie na co dzień, a mogły zostać w tej wersji zmienione, bo to też nie zawsze jest tak, że aktualizacja tylko rozwiąże nam problem, który powstał na aktualnej wersji, ale mogło być też bardzo dużo zmian, jak chociażby widoki w dashboardach, które też zostały zmienione.

SPEAKER_00 1:57

Tak, widoki w dashbordach czy dodatkowe pola. To jakby wiecie, wiązała się aktualizacja, gtualizować system, a zmieniło wam się podejście do, nie wiem, do cał CMDB i skrypty, które posiadacie, przestały działać.

SPEAKER_01 2:13

Więc zawsze pierwszym krokiem jest właśnie weryfikacja releasów na serwerze testowym, który możecie utworzyć mając licencję na środowisko produkcyjne.

SPEAKER_00 2:25

Dokładnie tak. To też warto dodać, że wszelkie aktualizacje przed wgraniem na produkcję wgrywajcie na testówki. Wydaje mi się, że w tym momencie klienci coraz częściej już mają gdzieś te środowiska testowe, ale zdarzają się jeszcze instancje, gdzie po prostu tych środowisk testowych nie macie i to potem jest też cięższe do nas, bo wiadomo, że jeżeli jakaś kluczowa funkcjonalność posypie się na instancji testowej, no to może mamy czas, żeby to naprawić i nie jest to, nie wadzi to biznesowi, ale jak już to wprowadzimy na produkcję, no to.

SPEAKER_01 2:58

Dokładnie, a bardzo często utrzymując aktualny status środowiska testowego względem produkcyjnego, jest bardzo duża szansa, że ten błąd, który wystąpił na serwerze testowym, wystąpi również na serwerze produkcyjnym. Więc to też nam daje więcej czasu do tego, żeby przygotować się do aktualizacji na waszym po prostu systemie produkcyjnym.

SPEAKER_00 3:20

Dokładnie tak. No i dalej mamy krok trzeci, czyli backup przede wszystkim. Albo snap. Albo snap, tak. Myślę, że nawet snazt jest chyba lepszą formą zabezpieczenia się niż baky.

SPEAKER_01 3:33

Dużo wygodniejszy, dużo łatwiej też potem przywrócić tą poprzednią wersję, którą mieliśmy, na której potencjalnie wszystko działało.

SPEAKER_00 3:42

Dokładnie tak. Jakby możecie wyrzeć lub nie, ale zdarzają się sytuacje, gdzie po prostu aktualizacja się wysadziła, a ktoś nie zrobił znaprzodu, no i wtedy trzeba się cofać. Jeśli jest back, powiedzmy z poprzedniego dnia, no to jeszcze jest nie takie duże boom, no bo cofniemy się, jest ten, ale są przypadki, gdzie ktoś ma backup ostatnich sprzed kilku miesięcy.

SPEAKER_01 4:02

No nie przypadkowo jest grupa ludzi, którzy robią backup regularnie i którzy dopiero zaczną je robić, jak przyjdzie potrzeba.

SPEAKER_00 4:12

Dokładnie tak. Wyślę, że to są takie trzy kroki, no i później już aktualizacja. Ja myślę, że całego procesu aktualizacyjnego nie będziemy tutaj przedstawiać, bo to tak naprawdę jest wszystko do wyklikania z kreatora.

SPEAKER_01 4:26

No wiadomo, jak pojawi się błąd z aktualizacjami, no to przychodzicie do nas, ale większość kroków to i tak wygląda na potwierdzenie po kolei każdego komunikatu, który przychodzi i po prostu czekamy, aż plik aktualizacyjny się wgra. Dokładnie tak. Przechodząc płytnie z tematu aktualizacji, mamy temat zmian w plikach konfiguracyjnych.

SPEAKER_00 4:48

Tak, znaczy zmian w plikach konfiguracyjnych albo ogólnie rzeczy, które mogą spowodować, że aktualizacja się nie uda albo nie przejdzie. I tutaj jak wspomniałeś o zmianach w plikach konfiguracyjnych, ostatnio spotkałem się z KASE, gdzie po prostu klient zrobił sobie zmiany w plikach lip aplikacji. I jakby nie wiedział, że mu coś to zepsuło w aplikacji, tylko przyszedł do nas z jakimś problemem z pocztą i wchodzimy do katalogu Loks, a tam pusto. Ostatnie logi zmarca. Ja mówię czemu, co się dzieje? Nie mogliśmy w ogóle zweryfikować, dlaczego logi się nie pojawiają. Dopiero później udało nam się dojść, że były robione jakieś zmiany w Libie. Ponieważ gdzieś tam jakieś podatności wyszły w którejś wersji właśnie w Libie, i przez to klient musiał sobie to zmieniać. I teraz tak, jakby wiadomo, mogą się zdarzyć takie przypadki, gdzie podatności wystąpią, ale musicie pamiętać, żeby przyjść wtedy z tym do nas i my na to zaradzimy.

SPEAKER_01 5:46

Bez jakby naszej zgody nie radzimy ingerować w pliki konfiguracyjne aplikacji, bo to jest bardzo dobry przykład. Mamy czerwiec. Logi przestały działać w marcu. To jest bardzo długi czas, kiedy tak naprawdę nawet osoba, która była odpowiedzialna za tę zmianę, może już w tym miejscu nie pracować. I nie będziemy w stanie nawet tak szybko dojść do tego, co to mogło spowodować, chociażby dlatego, że nie mam absolutnie żadnych śladów w vlogach.

SPEAKER_00 6:18

Dokładnie tak. I dopiero gdzieś tam po drugiej, trzeciej sesji dopiero się zorientowaliśmy, że rzeczywiście była robiona zmiana w plikach lip, więc nie zmieniajcie nic jakby w plikach w plikach bez tutaj naszego wsparcia. Kolejnym takim krokiem, co może gdzieś tam wywalić aktualizację, ostatnio też się spotkałem, że zmiany w Udate menaderze mogą to wywołać. Jak myślę pamiętacie, w poprzednich wersjach nawet w instrukcji producenta było napisane, że można sobie w Update Manaderze dodawać parametry do pomijania backu. I aktualnie, jeżeli robicie jakieś duże zmiany w Update Manaderze, no to on też potrafi wwalić cały update. I to jeszcze nie na takiej zasadzie, że ten update się nie zaczyna, tylko on ostatnio na walidacji plików się wysypał i mówimy, no dobra, walidacja plików to podmienimy plik i zadziała. Nie zadziałało, bo trzeba przywracać znowu całą aplikację ze Snapshota i dopiero wtedy na czystym update menaderze update poszedł.

SPEAKER_01 7:17

Przy dodawaniu parametru do pominięcia backupu, też ważna sprawa. To jest dość nieczytelnie opisania na stronie, ale przed słowem deskip jest taki malutki myślnik, który jeżeli nie dodasz, to nie uruchomi Wam nawet procesu aktualizacji. Ale tak na dobrą sprawę, to też mogą być na przykład dodane widoki na bazie. Tak. Kogą popsuć nam aktualizację.

SPEAKER_00 7:42

Jak przy każdej aktualizacji te widoki muszą być usunięte. Pamiętajcie, żeby sobie zrobić kopię danych zapytań SQLowych, które macie na widoki. No i potem musicie taki widok usunąć i dodać go ponownie po aktualizacji.

SPEAKER_01 7:56

No i jeszcze możemy przejść na przykład do aplikacji Epoint Central, gdzie bardzo często otrzymujemy od producenta coś takiego jak QuickFix, który jest taką szybką aktualizacją dostosowaną pod dane środowisko, który na przykład trzeba usunąć przed jakby dużą aktualizacją wypuszczoną przez producenta, bo również nam ten proces aktualizacji nie wyjdzie.

SPEAKER_00 8:23

Tak, no bo najczęściej już jakby ta aktualizacja jak jest robiona, no to ona najpewniej ma w sobie ten quick fix, więc one potem się mogą ze sobą gryć, więc też trzeba pamiętać, że jeżeli gdzieś w na przestrzeni danej wersji aplikacji mieście jakiegoś fiksa, w ten punkt centralny, no to też zawsze przed update'em go usuńcie, żeby też nie powodować jakichś problemów podczas aktualizacji.

SPEAKER_01 8:43

Dokładnie. Podsumowując, jakby najgorsze są te zmiany, o których nikt nie wie, jakby jeżeli będziecie próbowali coś zmieniać w swoim środowisku, warto się z nami skonsultować, czy jest na to oficjalna rekomendacja, bo jakiekolwiek zmiany, czy to na plikach, czy na bazie danych na przykład, mogą powodować naprawdę masę różnych problemów.

SPEAKER_00 9:07

I często może być to po prostu bomba z opóźnionym zapłonem, że na początku tego nie zauważycie, a przyjdzie, czy to aktualizacja, czy nawet sam restart aplikacji, ona się po prostu nie uruchomić.

SPEAKER_01 9:17

Dokładnie. Kolejnym punktem na naszej liście, którą dzisiaj sobie omówimy, są certyfikaty. Certyfikaty SSL, czy jakiekolwiek dowolne certyfikaty, które mogą wygasnąć, które trzeba odnawiać i wgrywać na nowo.

SPEAKER_00 9:34

Tak, ja myślę, że przy każdej zmianie certyfikatu musicie mieć na uwadze, czy inne aplikacje, które są zintegrowane z waszymi systemami, mają dostęp do tych certyfikatów. Na przykładzie serwis deska, gdzie mamy integrację z Anpoint Centralem, z Analytiksem, czy z jakimiś waszymi dodatkowymi aplikacje, które macie spjęte, zmiana certyfikatu SCL może powodować, że ta synchronizacja się po prostu wysypie.

SPEAKER_01 10:00

Dokładnie. Zmieniając certyfikat i wchodząc na konsolę, widzimy, że działa, ale to nie znaczy, że wszystko, co jest pod tym certyfikatem, będzie działać. Wystarczy, że chociażby zmieniła się delikatnie adresacja, która została użyta w certyfikacie, to żadna funkcja niestandardowa może nie zadziałać. Tak jak wspominała tam, nie zadziałają nam integracje, więc warto uważać na to, jak podmieniamy te certyfikaty.

SPEAKER_00 10:29

Tak, też nawet jak się zmieni wystawca, no to wtedy certyfikat Serwis des ma też swój jakby system, który weryfikuje zgodność certyfikatów do integracji. I na przykład, jeżeli do Analytica podegraliście certyfikat, który jest przez innego wystawce, no to serwis des też musi móc zaufać. Wtedy w tym przypadku zawsze wysyłamy wam instrukcję do Gensertu. Jest to gdzieś tam dodatkowy taki plicek binowy, który wykonujecie, który dodaje do Kistora Serwis desku jakby dodatkowe certyfikaty, którym on ma ufać.

SPEAKER_01 11:02

Dokładnie. Możemy również wspomnieć o Edpoint Centralo, który mimo tego, że wgrywamy jeden certyfikat SSL, to wykorzystuje on swój własny certyfikat do zaufania agentom, który też może nie działać po podmianie.

SPEAKER_00 11:17

Tak, jakby w tym w ogóle certyfikata jest ciekawa zależność, bo może się zgadzać wszystko. Gdzieś się zgadza nazwa, wydawca, adresy, wszystko się zgadza, ale jest inny fingerprint w certyfikacie, no i wtedy on nawet nie pozwoli w grać. O tyle dobrze, że on po prostu nie pozwala w grać takiego certyfikatu, jeżeli są jakieś urządzenia w NDMie, ale jeżeli ich nie ma, no to sam agent jeszcze sobie gdzieś tam podegra te informacje z certyfikatu, ale już urządzenia w MDMie niestety tego nie potrafią.

SPEAKER_01 11:50

Warto po prostu po wymianie certyfikatu zweryfikować coś więcej niż tylko, czy główna strona przeglądarki działa. Bo to też potencjalnie zawęzi nam poszukiwania błędu, gdyby się okazało, że sam certyfikat był poprawny, a coś było po stronie aplikacji. Aczkolwiek raczej przy certyfikatach, tu czasami większość problemów wynika, z braku pośredniego certyfikatu, coś nie zostało poprawnie zbudowane.

SPEAKER_00 12:22

Myślę, że najlepszą praktyką jest po prostu co roku odnawianie certyfikatu w taki sam sposób i od tego samego wystawcy, jeżeli rzeczywiście gdzieś u was to zmienia lub zmieniają się adresy, no to też warto wtedy przyjść do nas i zweryfikować, czy na przykład dana aplikacja będzie miała potem problem, żeby rozmawiać z innymi zintegrowanymi, czy na przykład agenty będą mogły ze sobą współpracować, więc to też jest zawsze rzecz, na którą warto zwrócić uwagę.

SPEAKER_01 12:48

Ostatnim punktem, który przygotowaliśmy dla Was na dzisiaj, są problemy z pocztą. Wszelakie problemy z pocztą. To może być pobieranie czy tworzenie zgłoszeń, to może być wysyłka powiadomień, to mogą być harmonogramy z raportów i każda z nich dotyczy zupełnie innego obszaru w tej poczcie.

SPEAKER_00 13:07

Dokładnie tak. I jakby wydaje mi się, że większość problemów z pocztą opiera się jednak o konfigurację końcową lub o różne zmiany, które wykonuje.

SPEAKER_01 13:16

Zdecydowanie tak, warto tutaj powiedzieć o tym, że w przypadku problemów z pocztą mamy dwa mechanizmy, które mogą te problemy trochę zniwelować. Pierwszy z nich to jest oczywiście konfiguracja wiadomości z błędem, czyli w momencie, kiedy skrzynka pocztowa napotka wiadomość, która chociażby ma zły załącznik, ma nie ten format tekstu czy cokolwiek innego co Outlook, czy jakakolwiek poczta, którą macie skonfigurowane, stwierdzi, że nie pasuje to do serwis deska, przerzuca to do folderu z błędem, dzięki czemu ta poczta się nie zatrzymuje. Ale tutaj mam też case do opowiedzia, bo w jednej z niedawnych wersji serwis deska wyższych był taki problem, że aplikacja co prawda wyłapywała wiadomości z błędem, natomiast zamiast przenosić je do folderu z błędem, zatrzymywała po prostu całą kolejkę pocztu.

SPEAKER_00 14:16

Tak, no i tutaj myślę, że też możemy się odnieść do pierwszego punktu, który poruszaliśmy, że tak naprawdę tylko aktualizacja rozwiązała ten problem. Jakby wspomniałeś o wiadomościach z błędem, to jest też o tyle fajne, że możemy tam skonfigurować limit, ile takich wiadomości może wpaść. No bo wiadomo, czasami to może nie być, że zły załącznik, tylko rzeczywiście może być coś nie tak z pocztą i jeżeli macie ten limit na 100, to wtedy 100 wiadomości pójdzie wam do tego folderu, no i nie będą one przyjmowane z serwizeska, ale można go też ustawić na 10. Wtedy przy 10 poczta się zatrzyma, no i będzie wtedy alarm, że trzeba coś robić. Też chyba przy każdej wiadomości z błędem możecie włączyć powiadomienie dla technika, że taka wiadomość tam wpadła.

SPEAKER_01 14:57

Dokładnie. To też jest fajny mechanizm do tego, że zdajemy sobie sprawę, że nie każdy będzie kontrolował na bieżąco skrzynkę pocztową, bo zakłada, że ta wiadomość zostaje przyjęta, przeciągnięta do serwizka i to działa, dopóki te maile wpadają. No to rzadko kiedy ktoś to będzie sprawdzać, więc warto to też monitorować. Limit 10 wiadomości z błędem to też jest szybka możliwość zareagowania na to, co się wydarzyło.

SPEAKER_00 15:28

To jest taka dobra chyba praktyka i ja też zawsze tak sugeruję klientom, żeby mieć to ustawione na 10 więcej moim zdaniem to może powodować różne problemy, a mniej to po prostu się może szybko zapchać. Ale jeśli nie macie skonfigurowanego tego folderu z błędami, często najczęstszym rozwiązaniem, żeby po prostu przywrócić działanie poczty, gdy niech schodzi z kolejki, jest po prostu usunięcie ostatniej wiadomości na skrzynce pocztowej.

SPEAKER_01 15:54

Albo ponowne zapisanie ustawień konfiguracyjnych, to też warto tu wspomnieć przy okazji tych wiadomości z błędem, że na samej górze ustawień pocztowych pokazuje się też licznik. Jeżeli ten licznik rośnie, a nie spada mimo ustawienia odświeżania wiadomości mailowych, no to wiemy, że też coś się z tą pocztą zdarzyło.

SPEAKER_00 16:13

Tak, i wtedy nawet jak klikniecie ten guzik od pobierania ostatniej wiadomości mailowej, no to się pokaże wiadomość, która powoduje ten błąd, która jest ostatnia w kolejce, więc wtedy musicie sobie zweryfikować na skrzynce, jaka to jest wiadomość i czemu może być problematyczne, ewentualnie ją usunąć.

SPEAKER_01 16:29

Warto też wspomnieć, że poczta skonfigurowana w serwis desku jest bardzo wrażliwa na zmiany zewnętrzne. Chociażby możemy mieć ustawionego grafa, czy NTR i coś po stronie grafa i entry zostanie zmienione, to my też to powinniśmy odzwierciedlić w poczcie, bo czasami zgłoszenie brzmi, poczta nie działa, a pod zdaniem poczta nie działa jest bardzo dużo elementów, które może się pojawić. Bo to tak jak wspominaliśmy na początku, to może być problem z przychodzącą pocztą. To może być problem z wychodzącymi powiadomieniami, czy tak jak przed chwilą wspominałem, z konfiguracją. Warto też doglądać zmian po stronie dostawców poczty.

SPEAKER_00 17:17

Dokładnie tak, po prostu może token wygasnąć i trzeba odświeżyć token i zapisze się ponownie i działa. Co ważne, upewnijcie się, że macie w przeglądarce ustawione wyskakujące okienka, czy nie są one blokowane. Bo często się zdarza, że klienci zapisują pocztę, a tu się nic nie zmienia i nadal nie działa i.

SPEAKER_01 17:37

I przychodzi zgłoszenie pod tytułem Nie mogę zapisać ustawej poczty, a okazuje się, że po prostu przeglądarka blokowała wyskakujące, wyskakujące okno, przepraszam. No to jakby. Taki jest proces.

SPEAKER_00 17:51

Tak, oprócz samej konfiguracji, i jak podajecie token, wszystko uwierzytniający, no to i tak trzeba się zalogować do entry. No tutaj mówimy na przykład grafa. No właśnie dlatego wtedy w tym oknie też należy się zalogować na konto pocztowe, żeby po prostu pobieranie lub wysyłanie działa.

SPEAKER_01 18:09

Omówiliśmy sobie dzisiaj parę przydatnych praktyk, które warto sobie w swoim środowisku wdrożyć. Podsumujmy może, co jest z takimi najważniejszymi punktami, o których zawsze powinniśmy pamiętać.

SPEAKER_00 18:22

Czyli tak, sprawdzajcie release nocy, róbcie backupy lub snapsy, sprawdzajcie, czy macie wolne miejsce na dysku. To też często może się zdarzyć. Sprawdzajcie weryfikujcie certyfikaty, czy na pewno jest wystawione przez tego samego dostawcę i no co, w razie problemów przychodźcie do nas.

SPEAKER_01 18:40

Tylko pamiętajcie, najlepszy suport to nie jest tylko gaszenie pożarów. To jest budowanie wzorcy i odpowiednich praktyk, które od naprawdę wielu problemów są w stanie Was ochronić.

SPEAKER_00 18:54

Zgadza się. Dziękujemy bardzo za uwagę i zapraszamy do kolejnego odcinka.