Ściąganie danych z innych stron - najwydajniejszy sposób

[Mistrzu dragon OP]

Mój pierwszy i ostatni program z wyciąganiem danych to było stworzenie czegoś co wyciągnie pare danych z 2 stron i wpakuje je do bazy danych , przemieli i wyswietli gotowy kod na forum zrobiłem to wszystko za pomocą preg_match (_all) i działa , ale dziś przeczytałem to :

Cytat został ukryty, ponieważ ignorujesz tego użytkownika. Pokaż cytat.

Cytat został ukryty, ponieważ ignorujesz tego użytkownika. Pokaż cytat.

ile Ci zajmuje aktualizacja tego? xD

30 minut~ przy 100mb internecie

50~ minut przy niestabilnej radiówce 10mb

I... szok. Kod wykonuje się tyle czasu wyciągając dane z 530 stron (pętla frunie 265 razy , bo tyle użytkowników jest aktualnie w tym rankingu) z każdej wyciąga od 2 do 7 danych i upycha je do bazy danych MySQL , wszystko postawione na Xampie.
Czy to jest normalne że na zwykłym pc trwa aż to tyle czasu? Jaki inny język poradzi sobie z tym znacznie szybciej? (nie pogardzę nazwami gotowych bibliotek)

[Bazan]

Tak, moze to tyle trwac. Jedno z rozwiazan? Pobierac rownolegle. Jak? Javascript - jQuery + Ajax.

Ja tak robilem jak robilem skrypt sprawdzajacy czy postac jest online w tibii i jaki ma lvl. Dla 40 postaci skrypt robil sie jakies 3minuty, jak zrobilem to w javascript, calosc trwa z 15s.

Najdluzszy w tym wypadku jest czas oczekiwania na wczytanie strony, + zapytania sql.

Nie wiem jak robisz zapis do bazy, ale z tego co sie naczytalem (na razie praktycznego doswiadczenia nie mam) to w porownaniu do wykonywania php, wykonywanie zapytac do mysql trwa dlugo.

Wiec zamiast zapisywac do mysql co petle, moglbys zapisac najpierw caly wynik do jakiejs tablicy, i w jednym zapytaniu zapisac wszystkie dane. Ale to tylko koncepcja, nie zdziwie sie jak gowniana :P

Tez jest ciekaw jak to sie powinno poprawnie zrealizaowac, trzeba czekac na jakiegos mastaha :D

[Mistrzu dragon OP]

Zrobiłem tak że zamiast ładować każdy wynik na bieżąco do bazy to zapisuje go do zmiennej a na końcu pętli ładuje wszystko do bazy jednym UPDATE.
Wynik?

Test na 12 osobach (24 strony) - 10 mb net :

Stary kod :
Time taken = 113.51 secs

Poprawiony kod :
Time taken = 68.75 secs

Wzrost wydajności : 39%

Nieźle jak na początek. Spróbuje zrobić to w js (mimo że nie napisałem w tym języku nawet hello world xd)
Jakieś wskazówki czym to ściągać? funkcja regex się nada?

[Kusterek]

a mam takie pytanko, ja bede potrzebował pobierania ze strony dokladnie 4 liczb typu float? Duzo to bedzie czasu zajmowalo? (za kazdym odpaleniem programu ma tak robic, chyba ze nie ma polaczenia do neta)

btw. koduje w C#

[Absherr]

Zależy od połączenia internetowego, wielkości strony i implementacji. Najlepiej napisz i sprawdź.

[Mistrzu dragon OP]

Dobra , pociąłem ten kod i wyszło że ściągniecie całej strony przez (file_get_contents) która ma 23k linijek kodu zajmuje nawet 90% (!) całego czasu wykonywania. Wyciąganie danych trwa tyle co nic.
temat do zamknięcia