|
| Дата |
|
USD/RUB | 88.4375 | BTC/USD | 68098.4442 |
|
|
|
Скрипты, программы и технические решения Обсуждаем скрипты, программы и новые технологии. |
19.10.2012, 17:56
|
Start Post: Выдрать все кеи из liveinternet
|
Mamber
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,169
Бабло: $478630
|
Здрасте. Есть ли какой софт\скрипты выдрать все кеи из liveinternet? Буду благодарен
|
|
|
19.10.2012, 21:06
|
#12
|
Ебланнед
Регистрация: 02.12.2010
Сообщений: 123
Бабло: $54065
|
Цитата:
Сообщение от Popobawa
А за весь период можно как-нибудь?
|
за весь период там не будет нормально в любом случае. У ли.ру только последний месяц статистики подробно хорошо отражается, а чем дальше от текущего месяца смотришь, тем меньше ключевых слов, причем на порядок
|
|
|
19.10.2012, 22:15
|
#13
|
Mamber
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,169
Бабло: $478630
ТС -->
|
ТС
спасибо, но хероного, что тока за последний месяц=((
|
|
|
19.10.2012, 23:20
|
#14
|
Member
Регистрация: 04.11.2008
Сообщений: 95
Бабло: $22365
|
Стесняюсь спросить - если ресы свои, то почему не использовать свой же httpd_log ? Зачем эти сложности? С паблик счетчиков принято парсить чужие кеи.
|
|
|
20.10.2012, 03:28
|
#15
|
Senior Member
Регистрация: 29.04.2011
Сообщений: 379
Бабло: $111700
|
PHP код:
<?php
set_time_limit(0);
ini_set('max_execution_time',0);
ini_set('set_time_limit',0);
function curlget($url, $ref, $cookie) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_REFERER, $ref);
curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
curl_setopt($ch, CURLOPT_MAXREDIRS, 5);
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.10) Gecko/20100504 Firefox/3.5.10 (.NET CLR 3.5.30729)");
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$result = curl_exec($ch);
curl_close($ch);
return $result;
}
function curlpost($url, $ref, $postinfo, $cookie) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_REFERER, $ref);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_MAXREDIRS, 5);
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_POSTFIELDS, $postinfo);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.10) Gecko/20100504 Firefox/3.5.10 (.NET CLR 3.5.30729)");
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
$result = curl_exec($ch);
curl_close($ch);
return $result;
}
#Config
$li_name = 'li_name';
$li_pass = 'li_pass';
$cf = getcwd().'/li_cook.txt';
$result_file = getcwd().'/li.ru.'.$li_name.'.txt';
#
$page_tmp = curlget('http://www.liveinternet.ru/stat/', 'http://www.liveinternet.ru/stat/', $cf);
preg_match('#<input[^>]*name=rnd\svalue="([^"]+)"#is', $page_tmp, $rnd);
$login_data = 'rnd='.$rnd[0].'&url='.$li_name.'&password='.$li_pass.'&keep_password=on&ok=+OK+';
curlpost('http://www.liveinternet.ru/stat/', 'http://www.liveinternet.ru/stat/', $login_data, $cf);
$page_count = curlget('http://www.liveinternet.ru/stat/'.$li_name.'/queries.html?period=month&per_page=100&ok=+OK+', 'http://www.liveinternet.ru/stat/', $cf);
preg_match_all('#(?<=queries.html\?period=month;page=)[\d]*#ms', $page_count, $result);
$last = $result[0][count($result[0])-2];
for($i=1; $i<=$last; $i++) {
$dump = '';
$keyz = '';
$dump = curlget('http://www.liveinternet.ru/stat/'.$li_name.'/queries.html?period=month;page='.$i, 'http://www.liveinternet.ru/stat/'.$li_name.'/queries.html', $cf);
preg_match_all('#(?<=>).*(?=</a></label>)#', $dump, $keyz);
foreach($keyz[0] as $k){
file_put_contents($result_file, $k."\n", FILE_APPEND);
}
}
unlink($cf);
?>
|
|
|
20.10.2012, 09:05
|
#16
|
Mamber
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,169
Бабло: $478630
ТС -->
|
ТС
Цитата:
Сообщение от Exelenz
Стесняюсь спросить - если ресы свои, то почему не использовать свой же httpd_log ? Зачем эти сложности? С паблик счетчиков принято парсить чужие кеи.
|
хм, а где в httpd_log реферер? у меня на серврере каждый день он обновляется.
|
|
|
20.10.2012, 09:49
|
#17
|
Mamber
Регистрация: 28.12.2010
Адрес: Green Street
Сообщений: 3,169
Бабло: $478630
ТС -->
|
ТС
krob, он тоже тока первый месяц парсит?
|
|
|
21.12.2012, 17:51
|
#18
|
коплю на феррари
Регистрация: 03.07.2008
Сообщений: 1,246
Бабло: $148195
|
Цитата:
Сообщение от mamba
krob, он тоже тока первый месяц парсит?
|
Логи тоже долго не хранятся, обычно максимум месяц. Если стоит isp manager - вроде 10 дней по дефолту
|
|
|
|