Prawie rok temu trafił mi się temat budowy aktualnej bazy sklepów/firm które mają podpisaną umowę z NFZ na Nefrostomię (sprzęt nefrostomijny).
Temat wydaje się ciekawy, bo nie ma obecnie nigdzie aktualnej listy takich podmiotów. W sieci jest lista na stronie www.nefrostomia.pl , ale jest ona bardzo nieaktualna. Niby dane na tej stronie są dostarczane przez ABC Medica oraz Welland Medical , ale dane adresowe odbiegają bardzo od poprawności i aktualności.
Wymagania jakie stawiałem przed tym projektem było stworzenie automatu, który będzie pobierał, aktualizował i uzupełniał dane.
Punktem wyjścia było zebranie danych z wyszukiwarki NFZ. Skupiłem się na zbudowaniu systemu, który będzie pobierał kawałki strony internetowej i je odpowiednio parsował. Wynik będzie zapisywany do bazy danych SQL w celu łatwiejszego zarządzania rekordami.
W bazie pobierałem następujące dane:
- województwo
- sklep czy apteka
- czy to firma czy osoba fizyczna
- nazwa firmy
- adres email
- miasto
- adres
- kod pocztowy
- numer/numery telefonu
Do sierpnia 2019 w bazie jest ponad 3600 firm, które mają w swojej działalności Nefrostomię.
Porównałem swoje dane z wartościami z ww.nefrostomia.pl . Poniżej kilka wykresów porównawczych.
Jak widać analizując powyższe wykresy ilość sklepów/firm które się zmieniły jest znaczna. Liczba zmian przekroczyła ponad 3 tysiące, a projekt nie jest jeszcze skończony.
W dalszej części rozwoju projektu, chcę wykorzystać podejście zwielokrotnienia ilości końcówek, które będą przeszukiwać informacje oraz usprawnić proces. Do przeszukiwania informacji wykorzystuję: Raspberry Pi 3B+ oraz NanoPi NEO v1.31.
Chciałbym stworzyć mechanizm bazujący na kolejkach aby nody pobierały żądania i zwracały do mastera wyniki. Pozwoliło by to na elastyczne podejście do ilości nodów oraz skalowalność.
Jeśli masz pytania lub chcesz pozyskać bazę w innym formacie niż XLS i PDF zapraszam do kontaktu.
