Orduithe Linux & Scileanna Bhlaosc
wget: An Íoslódálaí nach gcodlaíonn choíche
Is curl é wget le haghaidh jabanna a thomhaistear in uaireanta: scátháin, cartlanna, tarraingtí athfhillteacha, agus baisceanna cron a ritheann nuair nach mbíonn aon duine ag faire. Athfhillteann sé, tugann sé ómós do robots.txt, athchromann sé aistrithe idirbhriste de réir réamhshocraithe, agus luasann sé é féin le teorainneacha rátaí agus tréimhsí feithimh, rud a fhágann curl dea-bhéasach don ghlaoiteoir. Idir an dá uirlis tá an deighilt glan: wget le haghaidh mórchóir agus foighne, curl le haghaidh cruinneas, agus is annamh a bhíonn tríú suiteálaí ag teastáil ó fhoireann a bhfuil a fhios acu araon.
Príomhphointí
- Líne amháin atá sa scáthánú: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; fág ar lár --no-parent agus éiríonn go ciúin le cartlann dhoiciméid a shracfhéachaint ar gach rud atá os a chionn.
- Lean ar aghaidh agus bain triail eile as saor in aisce: roghnaíonn wget -c aistriú idirbhriste cúltaca, agus --tries = 10 --waitretry = 5 marcaíocht ar fhreastalaithe a imíonn i lár an mhórchóir seachas an post a theipeann ar an gcéad phlocóid.
- Tá bratacha ag an dea-bhéasa: --limit-rate=200k, --wait=1, agus --random-wait coinnigh scáthán ó thurais teorainneacha ráta in aghaidh an tsrutha nó clásal um mhí-úsáid freastalaí comhroinnte; Is cairdeas gearr é óstáil roinnte móide crawler neamhthrottled.
- tá meas ag robots.txt de réir réamhshocraithe; Sáraíonn -e robots=off é d’aon ghnó, agus is é an bealach a dhéantar ticéid teagmhais a úsáid chun an sáraíocht sin a úsáid i gcoinne shuíomh táirgthe duine éigin eile.
- wget -O /dev/null -nv https://host/health is taiscéalaí monatóireachta aon-líne é a n-iompraíonn a gcóid imeachta an diagnóis: teip líonra 4, is earráid fhreastalaí é 8, agus buaileann an dá cheann cron ciúin.
- Tá cúrsaí comhshó i ndiaidh an scéil: --convert-links athscríobhann sé suíomh scáthánaithe le haghaidh nascleanúint as líne, agus --coigeartaigh-síneadh sábhálann sé leathanaigh a ghintear le CMS faoi síntí ar féidir le huirlisí áitiúla freastal orthu.
- Faigheann bulcphostanna in cron comhaid ghlais, nó scríobhann ritheanna forluiteacha isteach i gcomhaid leathchríochnaithe a chéile agus síneann --waitretry an jab go ciúin thar a fhuinneog; Níl aon mutex inmheánach ag wget.
- Bíodh an teorainn ar eolas agat: baineann foirmeacha, seisiúin thromchúiseacha fianán, agus críochphointí API le curl, agus is ionann na leathanaigh a tógadh le JavaScript agus sliogáin fholmha toisc go leanann wget naisc, ní scripteanna.
Nóta allamuigh
Chuaigh scáthán amháin gan --no-tuismitheoir isteach i daichead ghigibheart de leabharlann meán an chliaint thar oíche agus beagnach líonadh an diosca. Socraítear na bratacha dea-bhéasa uair amháin agus déantar iad a chóipeáil go deo ina dhiaidh sin.
Ceisteanna coitianta
Cén fáth nach bhfuil ach leathanach amháin i mo scáthán?
Bratacha Scóip a rinne an obair a bhí i gceist ag duine a chealú: srianta robots.txt, --no-parent, teorainn doimhneachta, nó an suíomh á rindreáil le JavaScript. wget seo a leanas naisc is féidir é a fheiceáil; seiceáil -o wget.log roimh an milleán a chur ar an uirlis.
Cathain ba chóir dom wget a phiocadh thar curl le haghaidh íoslódáil amháin?
I gcás aon rud in-athshuite nó cron-iontaofa: -c má leanann leanúint ar aghaidh, athiarracht ionsuite, agus stampáil ama (--stampáil ama) is féidir rogha réise íseal-aire a thabhairt do wget; Tugann curl an rud céanna duit ach amháin má chruinníonn tú é féin.
An bhfuil sé dlíthiúil nó dea-bhéasach a bheith mar scáthán ar shuíomh poiblí?
Cinneann an t-úinéir dlíthiúil, déanann robots.txt agus ualach cinneadh dea-bhéasach: tabhair onóir don chomhad robots, throttle go ráta daonna-ish, agus is fearr le heaspórtáil oifigiúil nó API an nóiméad a thairgeann an sprioc ceann.
Cén fáth a dtugann suíomhanna áirithe 403 ar ais go gnáth-wget?
Scagadh gníomhaire úsáideora, de ghnáth d'aon ghnó; --user-agent=Tugann 'Mozilla/5.0' tríd tú, ach ciallaíonn 403 scagtha freisin go bhfuil an t-oibreoir ag faire, mar sin is é dialóg nó API an chéad chéim eile is fearr.
Conas a chabhraíonn Kinetikatech le orduithe linux & scileanna bhlaosc
Rinneadh sin na céadta uair againn: Na horduithe agus na nósanna scriptithe a chinneann an n-oibríonn riarthóir freastalaí nó an ndéanann sé troid: cuardach, claochlú, aistriú, agus maoirsiú a dhéanamh ar théacs agus ar phróisis leis na huirlisí a chónaíonn i ngach bonn a shuiteáil. Le Slándáil Freastalaithe Linux agus Bainistíocht Freastalaithe faigheann tú an lúb iomlán: déanaimid measúnú, cuirimid i bhfeidhm, leanaimid gan stad agus idirghabhaimid laistigh de 30 nóiméad nuair is gá.