Skript # which-forum.pl # (c) 2010 Alexandr A Alexeev, http://site/
používat přísné;
# komentované řádky - pro přesnost # pokud je úkolem shromažďovat statistiky motoru, nechte to tak, jak je # pokud vytvoříte seznam fór - odkomentujte
moje $data ; $data .= $_while (<>
)
;
# zkontrolujte, kolik bylo Powered by phpBB bez odkazu v patičce vytisknout "phpbb \n" if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?phpbb\.com\/?"[^>]*>phpBB/i nebo # $data =~ /viewforum\.php\?[^""]*f=\d+/i nebo $data =~ /phpBB\-SEO/i nebo $data =~ /)
;
tisknout "ipb \n" if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?invision(?:board|power)\.com\/?[^"]*"[^>]*> [^<]*IP\.Board/i
nebo $data =~ /]+href="[^"]*http:\/\/(?:www\.)?invisionboard\.com\/?"[^>]*>Invision Power Board/i nebo $data =~ /
/i nebo $data =~ /index\.php\?[^""]*showforum=\d+/i)
;
tisknout "vbulletin \n" if ($data =~ /Powered by:?[^<]+vBulletin[^<]+(?:Version)?/i
nebo $data =~ /)
;
tisknout "smf \n" if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?simplemachines\.org\/?"[^>]*>Založeno na SMF/i nebo $data =~ /index\.php\?[^""]*board=\d+\.0/i)
;
tisknout "punbb \n" if ($data =~ /]+href="[^"]*http:\/\/(?:(?:www\.)?punbb\.org|punbb\.informer\.com)\/?"[^>]*> PunBB/i); #nebo # $data =~ /viewforum\.php\?[^""]*id=\d+/i); tisknout "fluxbb \n" # if($data =~ /viewtopic\.php\?id=\d+/i or if ( $data =~ /]+href="http:\/\/(?:www\.)fluxbb\.org\/?"[^>]*>FluxBB/i)
;
tisknout "exbb \n" if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?exbb\.org\/?"[^>]*>ExBB/i); # nebo # $data =~ /forums\.php\?[^""]*forum=\d+/i); tisknout "yabb \n" if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?yabbforum\.com\/?"[^>]*>YaBB/i nebo $data =~ /YaBB\.pl\?[^""]*num=\d+/i ) ; tisknout "dleforum \n" if ($data =~ /\(Založeno na fóru DLE\)<\/title>/i nebo $data =~ /]+href="[^"]+(?:http:\/\/(?:www\.)?dle\-files\.ru|act=copyright)[^"]*">Fórum DLE<\/a>/i)
;
tisknout "ikonboard \n" if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?ikonboard\.com\/?[^"]*"[^>]*>Ikonboard/i nebo $data =~ /\n" if ($data =~ /\n" # if($data =~ /forums\.php\?fid=\d+/i nebo # $data =~ /topic\.php\?fid=\d+/i nebo if ($data =~ /]+href="http:\/\/(?:www\.)?flashbb\.net\/?"[^>]*>FlashBB/i)
;
tisknout "stokesit \n" # if($data =~ /forum\.php\?f=\d+/i nebo if ($data =~ /]+href="http:\/\/(?:www\.)?stokesit\.com\.au\/?"[^>]*>[^\/]*Stokes IT/i)
;
tisknout „pódium \n" # if($data =~ /topic\.php\?t=\d+/i or if ($data =~ /]+href=[""]?http:\/\/(?:www\.)?sopebox\.com\/?[""]?[^>]*>Podium/i)
;
tisknout "usebb \n" # if($data =~ /forum\.php\?id=\d+/i nebo if ($data =~ /]+href="http:\/\/(?:www\.)?usebb\.net\/?"[^>]*>UseBB/i)
;
tisknout "wrforum \n" # if($data =~ /index\.php\?fid=\d+/i nebo if ($data =~ /]+href="http:\/\/(?:www\.)?wr\-script\.ru\/?"[^>]*>WR\-Forum/i)
;
tisknout "yetanotherforumnet \n" if ($data =~ /Yet Another Forum\.net/i or $data =~ /default\.aspx\?g=posts&t=\d+/i)
;
Tento a další skripty uvedené v příspěvku najdete v tomto archivu.
Skript which-forum.pl prozkoumá kód HTML stránky, aby zjistil, zda obsahuje podpisy modulu fóra. Při definování WordPressu a Joomly jsme použili podobnou techniku, ale existuje několik rozdílů. Za prvé, skript sám nenačte kód stránky, ale načte jej ze standardního parametru nebo souboru předaného jako argument. To vám umožní stáhnout si stránku jednou, například pomocí wget, a poté ji spustit několika analyzátory, pokud jich máme více. Za druhé, v tomto skriptu je přítomnost podpisu 100% znakem enginu. Naposledy přítomnost podpisu pouze přidala na hmotnosti odpovídající motoru a motor s největší hmotností „vyhrál“. Rozhodl jsem se, že v tomto případě by takový přístup jen zbytečně zkomplikoval kód.
Abych skript otestoval, provedl jsem průzkum. Sestavil jsem seznam několika tisíc fór a každé z nich jsem prošel svým skriptem, čímž jsem určil procento odpovědí programu a popularitu různých enginů.
K získání seznamu fór jsem použil svůj analyzátor Google. Do vyhledávače byly odeslány dotazy jako tento
a tak dále. Kompletní kód generátoru dotazů najdete v souboru gen-forumsearch-urls.pl. Kromě zone.ru byly použity také .su, .ua .kz a .by. Naposledy bylo obtížné provést takovou studii, protože weby WordPress a Joomla takové podpisy v URL nemají. Katalogy jako cmsmagazine.ru/catalogue/ neposkytují dostatečnou velikost vzorku. Co je 600 Drupal webů?
Musím přiznat, že výsledky experimentu mě zklamaly. Z 12 590 studovaných míst byl motor úspěšně identifikován pouze na 7 083, tedy pouze v 56 % případů. Možná jsem nevzal v úvahu nějaký motor? Byla opravdu pravda, že polovina fór měla nainstalovaný Bitrix? Nebo jsem měl strávit více času hledáním podpisů? Obecně je zde vyžadován další výzkum.
Mezi 56 % úspěšně identifikovaných motorů byly podle očekávání nejoblíbenější IPB (31 %), phpBB (26,6 %) a vBulletin (26,5 %)
S velkým zpožděním je následují SMF (5,8 %) a DLEForum (5,3 %). Můj oblíbený punBB byl až na 6. místě (1,64 %). Nedoporučoval bych těmto číslům moc věřit (říká se, že každé třetí fórum na RuNetu běží na IPB), ale určité závěry lze samozřejmě vyvodit.
Například, pokud máte v úmyslu vytvořit stránku na fóru a plánujete upravit fórum, řekněme, zaplatit uživatelům 0,01 $ za každou zprávu s automatickým výběrem prostředků jednou týdně, měli byste si vybrat jeden ze tří nejoblíbenějších nástrojů. Čím je fórum populárnější, tím větší je šance na nalezení programátora, který se v něm dobře vyzná.
Pokud se v motoru neočekávají žádné výrazné změny, pak může mít smysl zvolit méně oblíbený motor, například SMF nebo punBB. Snížíte tak počet hackerských útoků na vaše fórum a množství automaticky zasílaného spamu.
Skripty pro vyhledávání/identifikaci fór mohou také najít mnoho praktických aplikací. První, co mě napadlo, bylo roztřídit identifikovaná fóra podle TIC a přidat na prvních sto příspěvků odkazy na jednu z mých stránek. Stovky odkazů na fórum dofollow však nijak neovlivnily TCI (prošly 2 aktualizace), takže je lepší neztrácet čas zde, pokud vás přechody nezajímají.
Je jasné, že zmíněné použití skriptů není zdaleka jediné. Myslím, že snadno zjistíte, jak jinak je můžete použít.
Pořádá Botmaster Labs, neplánováno. Nemám čas, video je potřeba do soutěže, jako nový trend, i když všechno se dá snáze vysvětlit dobrými screenshoty (můj IMHO) a vlastně se mi nic točit nechce. Zůstalo velmi málo výdělečných témat, pitomý spam už nevládne vůbec, tady je potřeba přemýšlet a témata nikdo točit nebude, pokud se ty zastaralé nezkusíte dát do krásného obalu a trochu je přepudrovat. :) Ale to není o nás. Obecně se myslím, že tato 3 „nemusí“ se v podstatě stala překážkou účasti v soutěži pro většinu potenciálních účastníků. Je to jako opravit auto ze tří: levně, kvalitně, rychle – služba může splňovat pouze 2 podmínky současně. posaďte se a vyberte si, co je vám bližší. :) Stejně tak je to se soutěží: Mám čas, vím, jak natočit video, ale není téma, nebo vím, jak natočit video, téma existuje, ale nemám čas na všechny, nebo mám volno a je tam malé téma, ale video je děsivé. To je ale dobré, pokud jsou splněny 2 podmínky zároveň. Dobře, zahodíme texty. Budu pokračovat pro sebe. Neplánoval jsem, to znamená, že jsem se zúčastnil soutěže, dokonce jsem si vybral, pro který článek budu hlasovat. Ať říkáte cokoli, Doz zná software velmi dobře a ví, jak jej velmi inteligentně používat. Dnes jsem se ale dozvěděl, že se v soutěži objevily intriky. Ukázalo se, že nebudu moci hlasovat a budou to moci udělat pouze nováčci, kteří si software zakoupili v roce 2011, a pro ně je určena soutěž. Trochu mě to překvapilo, ale majitel je gentleman. Soutěž je reklamní kampaní a Alexander ví lépe, jak ji provést. Obecně jsem se pak rozhodl vložit článek, psát se o něco snáze, když je jasné, pro koho to vlastně za celé JZD není možné. Dlouhý úvod je u konce, nyní k věci. Co potřebuje začátečník, když si pořídí takovou superkombinaci, kterou je komplex Xrumer + Hrefer? To je pravda, naučte se na tom pracovat a zahoďte iluzi, že můžete vydělávat peníze tím, že začnete spamovat listy. Pokud si to myslíte, raději hned věnujte své peníze na charitu. Musíte se naučit, jak používat nástroje komplexu, nejlépe je ostřit pro sebe. Doba „vzít více – hodit dále“ je pryč. Kvantita ustupuje kvalitě. To znamená, že si sestavíme základnu pro sebe, pokud se to nenaučíte, zaostanete za vlakem. Khrefer nám s tím samozřejmě pomůže. Pokud plánujete propagovat své zdroje na Googlu, musíme také vyhledávat dárcovské stránky prostřednictvím Googlu. Myslím, že je to pochopitelné a logické. Google ale stejně jako paní měděné hory své bohatství nerozdává všem. Potřebujete k tomu přístup. Rád bych hned řekl, že nedoufejte, že na základě znaků, které najdete na veřejnosti, budete moci něco shromáždit. Důvod, proč jsou veřejně dostupné, je ten, že jsou bezcenné. Nebudu téma dále rozvíjet. Je lepší vám říci, jak to správně sestavit, abyste viděli výsledek, zbytek si můžete vyřešit sami, hlavní věcí je pochopit princip. Musíme sbírat ty správné na základě charakteristik konkrétních motorů, které potřebujeme, a ne na základě charakteristik fór obecně. To je hlavní chyba začátečníků – nesoustředit se na konkrétní věc, ale snažit se obsáhnout vše v celku. A také, pokud chcete analyzovat víceméně normální databázi, přestaňte používat operátory v dotazech. Žádné "inurl:", "site:", "title" atd. Google okamžitě zakáže hledače, jako jste vy. Pečlivě proto studujeme motory, se kterými Khrumer v současnosti pracuje:
Běží na php-Fusion
Ve verzi Kroomer 7.07 je program trénován na několika nových motorech:
forumi.biz, forumb.biz, 1forum.biz, 7forum.biz atd.
phpBB-fr.com, téma Solaris phpBB
A proces učení se novým věcem je nepřetržitý. Obecně musíme připravit správné dotazy pro analýzu Hreferem. Vezměme si jako příklad fórum dizhok. SMF fóra. A začneme to rozebírat na náhradní díly pro parsování. Náš milovaný Google nám s tím pomůže. Zadejte dotaz do Googlu SMF fóra- ve výsledcích vyhledávání je spousta smetí, přetočíme se na nějakou 13. stránku a vybereme libovolný odkaz. Narazil jsem na tento: http://www.volcanohost.com/forum/index.php?topic=11.0. Pojďme to otevřít a studovat to. Potřebujeme na stránce najít něco charakteristického, co lze použít při hledání dalších stránek na tomto enginu. V zápatí si všimneme následujícího nápisu Běží na SMF 1.1.14, citovat a zadat do Googlu, ukazuje nám, že pro tento dotaz zná asi 59 milionů možností. Rychle projdeme odkazy, přidáme k tomuto klíčovému slovu několik dalších možností, např. "Powered by SMF 1.1.14" topol nebo "Powered by SMF 1.1.14" viagra. Dbáme na to, aby byl požadavek velký, výsledkem jsou pouze fóra a téměř žádné odpadky.
Navíc nás nezajímá kvantita, ale kvalita, jak jsem řekl výše. Pokračuj. Ze stejného fóra přebíráme další frázi ze zápatí: , také jej citujeme a dodáváme do Googlu. V reakci na to prozrazuje, že zná více než 13 milionů výsledků. Opět rychle prohlížíme výsledky, přidáváme další slova a kontrolujeme s nimi výsledky. Dbáme na to, aby byl požadavek výborný a také tam nebyly téměř žádné odpadky. Obecně jsou již 2 požadavky na železo. Doporučuji prozatím nechat první fórum na pokoji a pokračovat ve shromažďování požadavků z jiných fór. Naštěstí máme Google otevřený na požádání. 2006-2008, Simple Machines LLC. Z výsledků vyhledávání bereme například tato fóra: http://www.snowlinks.ru/forum/index.php?topic=1062.0 a http://litputnik.ru/forum/index.php?action=printpage ;topic=380.0 v patičkách z nich přebíráme tyto dotazy: “Powered by SMF 1.1.7” a “Powered by SMF 1.1.10” (dotazy na Hrefer doporučuji vždy zadávat v uvozovkách, protože potřebujeme především kvalitu Všechno). Myslím, že je jasné, co děláme, nakonec budeme mít určitou databázi dotazů pro vyhledávání fór na SMF enginu (byl vybrán jako příklad, stejně jako u jiných enginů). Bude to vypadat nějak takto:
"Powered by SMF 1.1.2"
"Powered by SMF 1.1.3"
"Poháněno SMF 1.1 RC2"
"Powered by SMF 1.1.4"
"Powered by SMF 1.1.8"
"Powered by SMF 1.1.7"
"2006-2008, Simple Machines LLC"
A to není vše. Při shromažďování verzí motorů na některých fórech SMF najdeme v zápatí nápis „2001-2006, Lewis Media“. Tento požadavek prověřujeme, také nám plně vyhovuje. Najdeme podobný požadavek: „2001-2005, Lewis Media“. Když se dále podíváme do zápatí, najdeme následující požadavek: „SMFone design by A.M.A, ported to SMF 1.1“. Kontrolujeme - skvělé. A tak dále. Půl hodiny práce a máte nádhernou databázi dotazů na engine a Google vám za tyto dotazy banuje mnohem méně často, než když v nich používáte operátory. A zároveň bude vaše databáze mnohem čistší, než když použijete dotazy jako „index.php?topic=", protože zde Google dá nejen fóra, která potřebujeme, ale také mnoho levicových zdrojů, kde to bylo možné zanechte odkaz na téma fóra. Můžete namítnout, co je na tom špatného? Ostatní nechali odkaz, takže můžeme také. Ale! Odkazy může zanechat nejen Khrumer, ale i jiné programy. Navíc mohou být speciálně přizpůsobeny pro zanechání komentářů k určitému zdroji, takzvanému vysoce specializovanému softwaru, plus takové odkazy lze zanechat ručně. Znovu opakuji, není pro nás důležité množství odpadků, ale kvalita, databázi budeme sbírat se správnými požadavky. Výhodou této metody je, že prakticky nebudete muset konfigurovat síto -filtr
, můžete jednoduše vypnout, protože Google vám odpadky prakticky nedá.
Myslím si, že naučit se správně používat Hrumer v počáteční fázi je velmi důležité, protože jakmile se to naučíte, můžete pro Hrumer vždy najít využití, bez ohledu na to, jak se situace změní. Ochrany jsou stále komplikovanější, a pokud na některých typech motorů byla ochrana posílena a Khrumer si s tím momentálně neví rady, pak nemá smysl utrácet prostředky na shromažďování těchto odkazů a pak na nich pracovat s Khroomerem. je lepší soustředit síly na to, co dává výsledky. A zároveň, pokud tým Botmaster Labs naučil Khroomera něco nového, můžete rychle vypreparovat nového pacienta a připravit základnu pro Khroomera, dokud je pacient ještě teplý. Čas jsou peníze; zdroj již nemusí být relevantní, když si koupíte základnu. shromážděné někým. Kromě toho správný sběr základů pro sebe výrazně rozšiřuje „bílé“ použití Khrumeru. A přesně tady se vše hýbe, ať se nám to líbí nebo ne, a proces bělení či šedivění probíhá. Černá prostěradla se stávají ve všech směrech minulostí. Všechny ostatní technické aspekty práce s Hreferem si můžete prohlédnout v nápovědě a nemá smysl se jimi zdržovat, všechny cíle, body, vteřiny se experimentálně nastavují pro každý vůz individuálně. Jako bonus sem zveřejním šablonu pro analýzu čínského vyhledávače Baidu, onehdy se mě na to zeptali, tak jsem to udělal nenuceně, omluvte slovní hříčku. :)
Zkoušel jsem je otestovat, žádný zákaz nebyl, Khrefer rychle shromáždil zdroje, všechny dotazy na analýzu byly podobné jako u Googlu, ale bylo tam hodně čínských zdrojů s vysokým PR a kromě toho bylo mnoho míst, kde žádné Evropan někdy vkročil. Je lepší analyzovat čínské dotazy. S tím vám pomůže Google překladač, zadejte seznam klíčových slov v ruštině a přeložte to do čínštiny. Pravda v " Slova„Hrefer slova nelze v čínštině přidat, je třeba je překódovat. Místo čínštiny:
伟哥 - Viagra
吉他 - kytara
其他 - odpočinek
保险公司 - pojištění
Vložte tyto nahrazující kódy do souboru Words:
%E4%BC%9F%E5%93%A5
%E5%90%89%E4%BB%96
%E5%85%B6%E4%BB%96
%E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8
Pokud propagujete pojišťovací web, pak umístěním odkazu do svého profilu na tématickém (!) i čínském fóru nalezeném na vyžádání " Fórum SMF" 保险公司 bude to velmi dobré. Na závěr bych rád řekl, že jsem nikdy nerozuměl lidem, kteří si stěžovali, že se Khrefers vaří špatně nebo špatně; v reakci na to jsem vždy chtěl říct, že prostě nevíte, jak je vařit. Žádný analyzátor nedokáže shromáždit výsledky lépe než reference; požadavky prostě musí být správné. Hrefer je auto: dobré, pevné, německy vyrobené, ale řídí ho člověk a vše záleží na tom, jak se s ním jezdí, nemůžete auto donutit, aby jelo současně vpravo i vlevo. Samostatné téma je čištění databází, to jsem kdysi dělal před 3 lety u předchozí soutěže. Z velké části je tam vše stále relevantní, ale nyní můžete odmítnout zkontrolovat 200 OK, tento proces se mi opravdu nelíbil, byly tam velmi velké chyby, bylo odfiltrováno mnoho zbytečných věcí. Nyní to lze provést téměř automaticky během provozu Khrumer, i když tento proces není úplným analogem kontroly „200 OK“. Každopádně k věci: nedávno se v Khrumeru objevila úžasná příležitost – okrást informace ze zdrojů v době běhu projektu. Vypadá to takhle. Zadáte šablonu, která bude zpracována během operace, a informace shromážděné ze šablony budou vloženy do souboru xgrabbed.txt ve složce Logs. Tuto funkci využijete na cokoliv, úlet fantazie je obrovský. Tuto funkci používám jednou týdně k odstranění odkazů z mé fungující „prošlé“ databáze. Není žádným tajemstvím, že fóra každý den vymírají, aby naši databázi vyčistili od takových zdrojů, a nástroj „Autograbbing“ nám v tomto případě pomůže. Ostatně musíte uznat, že když často zadáváme např. http://www.laptopace.com/index.php, vidíme, že tato doména je již např. dobrák, který prodává peníze, ale neexistuje fórum tamtéž. Abychom tedy tuto škváru vyhodili ze základny, budeme loupit. :) Otevřete zdrojový kód stránky a podívejte se tam na tento záznam:
laptopace.com
Pro uchopení to transformujeme do
[...]
Nyní nám budou všichni „mrtví muži“ z goudaddi známi jménem. Zde je malý výběr pro nástroj Autograbbing, pokud chcete vymazat databázi různých „vypršelých“ domén:
Živý deník
Facebook
Cvrlikání