Načine za izogibanje začasne prepovedi Google za pogost dostop do podatkovne baze - Dobiček Hunter

* Gostujoča objava

Ta objava je namenjena posebnostim dela s skriptom nTrendsMaster, množičnemu preverjanju Googlovega izhoda za število tekmecev za potrebne poizvedbe in Googlovem časovnem zastoju na splošno. Objava je zelo dobra v smislu širjenja obzorij (nisem imel pojma o mnogih stvareh, ki so tu napisane prej) in na nek način pojasnjuje vzroke težav, ki jih lahko imate pri uporabi Google skriptov in programov (vključno s tržnim samurajem ).

Post je kompilacija komentarjev in korespondence z internetnim podjetnikom Oleg Savchenko in je objavljen z njegovim dovoljenjem.

-----

Poravnava je naslednja (v vsakem primeru imam):

  • zaganjamo skript in mu damo 100-200 besed - vse deluje brez težav ...
  • ga spet začnemo z enakim zneskom ... in več ... če ne stojite med zagoni zakonca vsaj pol ure, potem dobesedno po treh zagonih (to je po 400-600 preverjenih besedah) napake pri preverjanju konkurenčnih strani ; - ((
  • Ko sem takoj poskusil poiskati nekaj v Googlu, vidim captcha. Skript je bil sprožen iz Denverja, tako da captcha pravi, da je moj aypishnik začasno zapustil ban To je v ročnem načinu Lahko vnesem kodo te slike še nekaj časa, da tiho uporabljam Google, vendar se lahko za približno 5-6 ur večkrat zgodi, da se ta isti captcha naključno pojavi med katerimkoli od mojih klicev v Googlu (ali se morda ne prikaže). uporaba skripta z istega naslova ne bo delovala, ker ne bo mogel prepoznati slike ali pogona v kodi ...

    Kaj vidim rešitve:

    1. Povečane premore med Googlovimi zahtevami v skriptu . Ampak ne samo povečanje premora, temveč tudi njihova randomizacija. Veliko namiznih aplikacij ( KRA PRO , IBP in drugih) ne spada pod prepoved Googla iz tega razloga. Vendar pa med vsakim zahtevkom položijo od 7 do 30 sekund odmor !!! Če ste nastavili 5 (7, 10, 15) sekund in naredili vse pavze enake, Google vse enako prekine avtomatizacijo in poda captcha; - ((

    Zakaj je ta pot slaba? vendar pa obstajajo pluse: v tem trenutku še vedno ne preverjate, ampak nekaj drugega, to je „dolgo, vendar brez vas“, zato ima možnost, da obstajajo. Verjetno ne uspe, verjetno zato, ker vlečem strani s curlom (funkcijo kot curl v PHP-ju), ali pa morda potrebujem več To (obstajajo tudi takšne knjižnice, ki bolj ali manj natančno dovoljujejo, da posnemajo brskalnik), skratka, še vedno je nekaj, o čemer bi lahko pomislili ...

    Uporaba ključev od google . Google uradno ne podpira več SOAP API-ja, vendar priporoča vsem, da preklopijo na API AJAX, opazil pa sem, da so rezultati v tem primeru zelo različni od iskanja v ročnem načinu (včasih in celo desetkrat !!!). (http: // www. google. com / search? hl = sl. varno = izklop. q = ajax + google + api + estimatedResultCount) boste videli, da je ta problem povsod prisoten ... Zato zelo priporočam, da ne uporabljate novega API-ja za kakršnekoli raziskave SEO.

    Kot pri stari metodi, z uporabo Google SOAP Search API, je vse v redu: rezultati se razlikujejo »v razumnih mejah« (tudi na različnih Googlovih strežnikih se razlikujejo, tako da je vse v redu). daje uporabnikom te iste "stare" API-shnye ključe. Torej pisanje scenarija, ki bo javno, je preprosto nemogoče.

    Ljudje na gladinah so razlikovali med starimi in novimi ključi in odšli v trgovino s starimi. Toda na forumih. digitalpoint. com so prav takšna dodeljena cena. Z enim ključem lahko naredimo le 1000 zahtevkov na dan. Takšno mejo so vedno imeli. To pomeni, da moraš imeti enega ključa in scenarij, porabiti 10 dni na osnovi 10.000. No, ali kupite 10 ključev, vendar ne vredno sveče. Prosti scenarij, ki zahteva dodatnih 250 $ za lastne ključe, ni resen ...

    Vendar pa za tiste, ki imajo, tako kot jaz, stare zaloge ključev, je smiselno, da se pozornost posveti tej možnosti. Ampak to ni za javno objavo ... Alas ...

    Poleg tega, nakup online ne zagotavlja, da hkrati niste kupili nekaj ducat kupcev iz istega prodajalca ;-)) in potem ta ključ postane na splošno neuporaben. To pomeni, da morate kupiti samo od preverjenih oseb, ki lahko zagotovijo edinstvenost prodaje. In kam jih vzeti?

    3. Kombinacija prvega z delom preko proxyja . Ustvarite lahko več istočasnih tokov (iz različnih posrednikov, tj. Z različnih naslovov ip, pridejo do googlea), od katerih bo vsaka vzdržala razumne premore, nato pa se bo hitrost celotnega skripta povečala tolikokrat, kot so ti tokovi vključeni.Tu je težava v iskanju delavcev in hkrati resnično anonimnih pooblaščencev, ki ne bi natančno zasenčili pravega naslova IP pred Googlom. Med desetini, stotinami in celo tisoči brezplačnih proxy seznamov, ki so na voljo na internetu po preverjanju, ostajajo delni odstotki. Včeraj sem preizkusil več kot 2.000 proxy programske opreme - samo približno sto jih je delovalo, anonimnih 20 kosov je delovalo ... Skript mora biti opremljen tudi s komponento, kot je oprijemanje seznamov pooblaščencev in redno preverjanje uspešnosti. In to je ločena pošast. Poznam takšne delovne sisteme, celo uporabljam plačan scenarij, vendar ga ne morem neposredno integrirati v ta scenarij - samo z uvozom-izvozom. Vendar pa je ta problem rešen, toda zopet je mogoče pozabiti na masovni značaj uporabe v tem primeru. Zakaj sem vse to? Poleg tega, da je skript "zase" povsem realen, potrebujete samo lasten proxy checker ali kupljene proxyje. Oba stanejo denar.

    4. Alternativa "za manijake" . 5-6 gostovanje je kupljeno z delovnimi odprtimi povezavami za skripte PHP (to ne dovoljuje vsaka storitev gostovanja, tj. PHP skripti so zdaj univerzalno dostopni, vendar morajo ti skripti imeti »cesto« za vzpostavitev povezav z zunanjimi strežniki, Potem pa je napisana skripta, ki deli, recimo, 1000 besed na 5 delov po 200 in jih razširi na 5 gostiteljev, kjer se brez kakršnihkoli sprememb tiho preverijo kot običajno. 200 besed, običajno vse prehaja ... In nd ti pokvari rezultate nazaj v "osrednji" scenarij, ki ste in zagotavlja enotno sliko. To je kot proxy in ne proxy hkrati 😉 Ampak cena je 5 ponudnikov gostovanja - saj veste ... in mesečno ... Lažje je kupiti proxy checker in izvesti vse iz Denverja ...

    5. Uporaba podatkov iz Wordtrackerja ali druge podobne storitve . Ponavadi imajo konkurenti precej blizu podatkov Google za Združene države. Priljubljenost ključnih besed nas ne zanima, tukaj imamo pomoč pri Googlovih trendih, samo podatke o konkurentih ... Toda, spet finančna stran vprašanja ...

    Tukaj je dogovor. Ponavljam. To pomeni, da v samem scenariju izklopi nafig pregled tekmecev. In preganjajte vse, da najdete pravo število zahtevkov. In poslali bomo "konkurente" (zavračamo vse, kar iščemo preveč redko ali prepogosto), da bi preverili naše tekmece. Edina stvar, ki se izkaže za kombinacijo z več prehodi, vendar pa bi rad "vse naenkrat", vendar za zdaj ta možnost se mi zdi precej privlačna ( ob upoštevanju dejstva, da je še vedno zaželeno, da se naroči na Wordtracker ali katero koli drugo podobno storitev). Toda, če beseda ni dostopna - potem so možnosti razvrščene na naslednji način:

  • s starimi ključi (ni primerno za vse),
  • s proxyji in izvedbo večnitnih poizvedb (težko narediti, vendar resnično
  • z več gostitelji (cena je lahko primerljiva s ceno Wordtrackerja).
  • Sorodne objave:

    • Celotna resnica o skrivanju
    • Kako hitro izvedeti, kako vdreti blog
    • Kako je dobiček Hunter preveril, da je prejel
    • Povečajte pretvorbo spletne trgovine

    Ali imate radi članke? Naročite se na glasilo!

    Iskanje

    povezani članki