Obecny czas: 14 Maj 2025, 12:39
Widok do druku | « Poprzedni temat | Następny temat »
Temat
-
Wysłany: 13 Lut 2006, 00:15
Witam. Mam zamiar w swojej modyfikacji zorbić Cache'owanie zapytań SQL tak bay zmniejszyć ilośc pobieranych danych z Bazy. No i praktycznie rzecze biorąc wszystko już działa, ładnie zapisuje do pliku i odczytuje z niego.
No właśnie. Czy ktoś wie, ma, widział plan relacji między zapytaniami w plikach? No bo tego jest od za i jeszcze troche. Trzeba porobic zapytania w pary, trójki, czwórki itd.
Prosiłbym o pomoc w tej kwestii bo tego jest za dużo jak na jedną osobę...
PS. Nie wiedziałem gdzie umieścić ten temat, a te miejsce wydawało się odpowiednie...
Jak nie to nie, łaski bez...
Odpowiedzi
-
Wysłany: 13 Lut 2006, 13:57
Przede wszystkim cache'ujesz zapytania razem z czasami wykonania i czasem modyfikacji danych. Potem wybierasz najnowsze, sprawdzasz, czy nie zmienił się czas, kasujesz starsze a w razie czego wykonujesz zapytanei jeszcze raz. Albo włączasz cache MySQL'a.
[ Dodano: 13.02.2006 14:02:06 ]
BTW, relacje, tzn? Jeżeli w zapytaniu łączysz kilka tabel to musisz przechowywać modtime ostatnio zmodyfikowanej, ujeżeli to kilka zapytań to możesz przechowywać oddzielnie... 
-
Wysłany: 13 Lut 2006, 17:49
Tzn. tak... Cachowanie mam już zrobione. Działa to na takiej zasadzie, że w plikach przed zapytaniem uruchamiam cachowanie z wasną nazwą pod jaką mają się te dane zapisać. Potem to zamykam.
Słowo relacje miałem na mysli iż zapytania... tj. Jedno zapytanie pobiera dane z tabeli x, a drugie do niej pakuje. i takie relacje mi są potrzebne...
Chyba że masz jakiś pomysł na troche inne cachowanie, bo moje sie opiera na ręcznym włączaniu i wyłączaniu...
Jak nie to nie, łaski bez...
-
Wysłany: 13 Lut 2006, 18:38
Przykład cache:
Piszę zapytanie. Hashuję je, zapisuję czas.
Potem sprawdzam, czy są nowe dane w odp. tabelach.
Nie ma? Pobieram dane z cache, jeżeli jest nowszy niż czas modyfikacji tabeli.
Jeżeli jest starszy - wykonaj zapytanie "normalnie".
Ogólnie rzecz biorąc, część rzeczy jest sens cache'ować, części nie.
Na przykład IMHO nie ma sensu robienie czegoś takiego jak cache forum, które ciągle się zmienia...
-
Wysłany: 24 Lut 2006, 22:54
Wiesz najlepiej by bylo zrobić to na klasach albo coś.
Relacje masz na myśli laczenie danych w tablice z roznych tablic?
Powiedzmy ze napiszesz klase glowna i potem dla odpowiedniej tabeli albo cos bedziesz pisal roższerzenie klasy z funkcją która będzie odpowiednio tasowala tablice.
Sama aktualizacja to najlepiej funkcja do usuwania cacheu przy modyfikacjach rekordów i już. Jak dab wspomnial nie wszystko możemy cachoewać.
-
Wysłany: 07 Mar 2006, 16:23
Cytuj:Wiesz najlepiej by bylo zrobić to na klasach albo cośPo co, żeby było wolniejsze? ;P
Po pierwsze - nie ma sensu cachować wszystkiego lub w jakikolwiek sposób próbować pobierać ze zcachowanych plików część danych lub tworzyć relacje. Od tego jest MySQL który dane zapisuje do plików. Cachujemy tylko proste zapytania, które często się powtarzają. W przeciwnym razie szybko się przekonamy, że nasze cachowanie działa wolniej niż normalnie wykonywane zapytania ponieważ PHP działa wolniej od skompilowanego kodu którym jest MySQL.
Będziemy mieć też problem, gdy będziemy chcieli stworzyć automatyczne odświeżanie cachu, czyli porównywanie daty pliku/utworzenia cachu z datą ostatniej aktualizacji danych w tabeli. Gdy w skrypcie dorobimy takie sprawdzanie okaże się, że całość działa wolniej niż bez cachowania.
Najlepiej jest zrobić odświeżanie cachu "ręcznie" czyli w każdym momencie gdy skrypt zmienia zawartośc tabeli czyści cache, natomiast tam gdzie jest zapytanie SQL pobierające dane z tabeli przed pobraniem będzie sprawdzać czy cache istnieje, jak nie to wykona zapytanie i utworzy cache.
Ja zrobiłem taki system cachowania w mojej modyfikacji phpBB i całość działa szybciej niż bez cachowania.
To co napisałem nie jest tylko moją teorią, jest podparte testami wydajności, które robiłem. 
-
Wysłany: 07 Mar 2006, 17:37
http://webcity.pl/webcity/artykuly.php/t/51
Polecam ten artykuł który pokazuje także praktyczne zastowanie. Nie widzę także problemu podpięcia go pod classy phpbb
-
Wysłany: 07 Mar 2006, 18:09
hehehe, to jest dokładnie to, co kiedyś Damianmyst mi proponował abym zrobił do swojej modyfikacji
Powodzenia życzę z tym cachowaniem. Robiłem testy jego wydajności i niestety nie były zadowalające, głównie z powodu file_get_contents() za każdym razem, czyli otwieranie pliku, odczytywanie danych i wpisywanie do zmiennej, zamykanie pliku. O ile przy bardzo obciążających i duzych wynikach zapytań lub duzych tabelach takie cachowanie będzie znacznie szybsze od wyniku z SQL, o tyle przy małych zapytaniach ta różnica będzie znikoma.
Może sie komus przyda moje cachowanie prostsze i tym samym szybsze:Kod:function sql_cache($mode, $file, $data = '')
{
global $phpbb_root_path, $phpEx;
$cache_dir = $phpbb_root_path . 'cache/';
$filename = $cache_dir . $file . ".$phpEx";
if ( !(@is_writable($cache_dir)) )
{
return false;
}
if ( $mode == 'check' )
{
$file_exists = @file_exists($filename);
if ( $file_exists && filesize($filename) > 30 )
{
return $filename;
}
else
{
if ( $file_exists )
{
return 0;
}
else
{
return false;
}
}
}
else if ( $mode == 'write' )
{
if ( !($fp = @fopen($filename, 'w')) )
{
return false;
}
@flock($fp, 2);
$data = ($data) ? "<?php\n \$$file = unserialize('" . str_replace("'", "\'", str_replace('\\', '\\\\', serialize($data))) . "');\n?>" : "<?php\n?>";
if ( !(@fwrite($fp, $data)) )
{
@flock($fp, 3);
return false;
}
@fclose($fp);
unset($data);
return true;
}
else if ( $mode == 'clear' )
{
if ( strpos($file, 'multisqlcache_') !== false )
{
$dir = opendir($cache_dir);
while($filename = readdir($dir))
{
if ( strpos($filename, $file) !== false )
{
@unlink ($cache_dir . $filename);
}
}
closedir($dir);
}
else
{
@unlink($filename);
}
return;
}
}
Wykorzystanie poprzez:Kod:if ( $check_cache = sql_cache('check', 'board_config') )Czyszczenie poprzez:
{
include($check_cache);
}
else
{
$sql = "SELECT *
FROM " . CONFIG_TABLE;
if ( !($result = $db->sql_query($sql)) )
{
message_die(CRITICAL_ERROR, 'Could not get config data');
}
while ( $row = $db->sql_fetchrow($result) )
{
$board_config[$row['config_name']] = $row['config_value'];
}
sql_cache('write', 'board_config', $board_config);
}Kod:sql_cache('clear', 'board_config');
-
Wysłany: 07 Mar 2006, 18:17
Nie wczytuję się w całość, ale sam początek mi się rzuca w oczy:
Przemo napisał(a):if ( !(@is_writable($cache_dir)) )
{
return false;
}
Po co powtarzać takie wywołanie przy każdym wykonaniu funkcji? Optymalizacja to optymalizacja, wystarczy sprawdzić to na początku...
[ Dodano: 07.03.2006 18:19:20 ]
PS. Wiem, że się czepiam, ale to mi z C++ zostało.
-
Wysłany: 07 Mar 2006, 18:19
Że tak spytam, da się zastosować wspomniane metody odciążające serwerki na zwykłym phpBB? Tak, pytanie głupie, bo da się na pewno Ale jak? Może ktoś zadba i o tych na zwykłym phpbb?
-.-
shake your boom boom
-
Wysłany: 07 Mar 2006, 18:26
Dabroz, podałem to jako przykład, nie mam w tej chwili czasu na prezentowanie wszystkich opcji działania, u siebie przy pierwszym wywolaniu cachu w common.php jesli funkcja zwróci false, tworzona jest zmienna która później blokuje wielokrotne sprawdzenie katalogu is_writable():Kod:$sql_work = true;Jest jeszcze kilka innych udogodnień jak ktos będzie chciał zastosowac to cachowanie niech napisze, udostepnie cala instrukcje.
I nizej:
$sql_work = sql_cache('write', 'board_config', $board_config);
W funkcji sql_cache na samym poczatku jest:
global $sql_cache_enable, $sql_work;
if ( !$sql_cache_enable || !$sql_work )
{
return false;
}
Podczas testów wywołanie zapytania w pętli trwało 0.7 sekundy, na cachowaniu z artykulu na webcity 0.5 a na moim 0.3
CFC to nie ma znaczenia na jakim phpBB Aplikacja do zwykłego phpBB nie powinna zająć więcej niż godzinę-dwie razem z napisaniem instrukcji dla wszystkich
-
Wysłany: 07 Mar 2006, 22:08
roadway u siebie zastosowałem właśnie tamten system cacheowania, ale przemo zapodał coś innego.
Zastosuje Przemo'wskiego i zobacze jak to działa.
Jak nie to nie, łaski bez...
-
Wysłany: 07 Mar 2006, 22:18
Przemo, ta
![:]](http://www.phpbbhelp.pl/forum/images/smilies/icon_smile5.gif "Smile")
Tu bez obrazy dla nikogo... ale trzeba byc idiotą zeby cacheować coś co 5 minut się zmienia. I kto powiedzial ze cos ma byc caly czas file_get_contestem pobierane?
Jedyny z pomyslow jaki przychodzi mi do glowy na usuwanie cacheu to kasowanie pliku przy modyfikowaniu rekordu przy db, lub co jakis czas profilaktycznie. Inaczej się zresztą nie da
Poza tym, bez obrazy Przemo ale sposób twojego zastosowania jest "troszeczke" karygodny dla użytkowników czystego phpBB. Przy czym ty tworzysz swoją modyfikacje i możesz wszystko przepisywać tak jak chcesz to dla nas którzy czytamy instrukcje takei coś może na początku zrazić. Czas podmienia może trwać bardzo dlugo
Co do tego co Ci proponowalem... nie przesadzalbym... wyniki byly dobre, jak na czasy w którym ci to dalem
( tak to bylo bardzo dawno temu )
Co do klas... nie bede dyskutowal na ten temat... bo my sie w tej kwesti napewno nie dogadamy
Pozdrawiam
-
Wysłany: 07 Mar 2006, 22:42
Damianmyst napisał(a):Jedyny z pomyslow jaki przychodzi mi do glowy na usuwanie cacheu to kasowanie pliku przy modyfikowaniu rekordu przy db, lub co jakis czas profilaktycznie.
Popieram twoje rozwiazanie Damianmyst, jest ono najbardziej efektywne Własnie starałem sobie przemyslec w jaki sposob mozna by sprawdzac czy wynik zapytania sie nie zmienił, a rozwiazanie było takie proste 
Wiec chyba nic nie zostało jak tylko przebudowac funkcje sql_query w phpbb i sprawdzac tresc zapytania chociazby jakims eregiem jesli insert update drop itd to zapisywanie nowego pliku a jesli select to tylko czytanie z pliku
-
Wysłany: 07 Mar 2006, 22:45
Oto wlasnie chodzi road. Przebudowa klasy od db. To zakladal moj skrypt. I ingerowanie czymś z zewnątrz jest zbyteczne.
Dobra, nie wytrzymam...wtrące o klasach
Jak klasy mogą obciązać? PHP jest pisane w języku którego zalozeniem jest obiektówka? C++ to 99,99% obiektówka. NIE rozumiem jak można twierdzić ze klasy są be, skoro tyle wnoszą do czytelności kodu
Kto jest na forum
Użytkownicy przeglądający to forum: Brak zarejestrowanych użytkowników oraz 0 gości
- Nie możesz zakładać nowych tematów na tym forum
- Nie możesz odpowiadać w tematach na tym forum
- Nie możesz edytować swoich postów na tym forum
- Nie możesz usuwać swoich postów na tym forum
- Nie możesz dodawać załączników na tym forum