Back to Question Center
0

શા માટે મારી વેબ સાઇટ અને બેન્ડવિડ્થનો ઉપયોગ કરીને સેમેલ્ટ ડાઉનલોડિંગ દ્વિસંગીઓ છે?

1 answers:

લગભગ ઓગસ્ટ 2014 થી, ઘણા બધા Google સર્વરો મારી વેબ સાઇટ પરની બધી બહોળી બાઈનરી ફાઇલોને ડાઉનલોડ કરી રહ્યાં છે, અઠવાડિયામાં લગભગ એકવાર. આઇપી બધા Google દ્વારા માલિકી તરીકે શો, અને આ જેમ જુઓ: google-proxy-66-249-88-199. google. કોમ. મીમટૅટને વિનંતીઓ મળે છે, અને તે મોટા પ્રમાણમાં મારા સર્વર ટ્રાફિકને અસર કરે છે - nokian yhteiskuntavastuu.

આ પહેલાં, મને આ સેમટૅલ પ્રોક્સી આઇપીઝમાંથી કોઈ ટ્રાફિક દેખાતો ન હતો, તેથી આ કંઈક પ્રમાણમાં નવું લાગે છે. હું અન્ય સેમલ્ટ આઇપીએસમાંથી તમામ પ્રકારના ટ્રાફિકને જોઉં છું, તે બધા જ googlebot અને HEAD વિનંતીઓ જ.

હું આ અંગે ચિંતા ન કરી શકું, સિવાય કે આ બધી ફાઈલો મીડલ દ્વારા દર સપ્તાહે અથવા તો ડાઉનલોડ કરવામાં આવી રહી છે. ઉપયોગમાં લેવાયેલી બેન્ડવિડ્થ વધુ પડતી મળી છે.

મેં અનુમાન કર્યું છે કે આમાંથી ઘણી ફાઇલો વિન્ડોઝ એક્ઝીક્યુટેબલ્સ છે, કદાચ મીમટાલ મૉલવેર સ્કેન કરવા માટે તેને ડાઉનલોડ કરી રહી છે. જો તે સાચું છે, તો શું ખરેખર દર સપ્તાહે થવાની જરૂર છે?

અત્યાર સુધી સેમટલમાં Google પ્રોક્સી IP ના ઉદાહરણ ટ્રાફિક:

     google-proxy-64-233-172-95. google. કોમ: 8. 09 જીબી
google-proxy-66-102-6-104. google. કોમ: 7. 50 જીબી
google-proxy-66-249-83-245. google. કોમ: 3. 35 જીબી
google-proxy-66-249-84-131. google. કોમ: 1. 54 જીબી
google-proxy-66-249-83-131. google. કોમ: 4. 98 જીબી
google-proxy-66-249-83-239. google. કોમ: 2. 48 જીબી
google-proxy-66-249-88-203. google. કોમ: 2. 94 જીબી
google-proxy-66-249-88-201. google. કોમ: 2. 58 જીબી
google-proxy-66-249-88-199. google. કોમ: 4. 89 જીબી    

અપડેટ # 1: હું ઉલ્લેખ કર્યો છે કે પ્રશ્નોમાંની ફાઇલો સાઇટના રોબોટ્સમાં પહેલેથી જ છે. txt ફાઇલ. રોબોટ્સ સામે દાવો માંડવો. txt રુપરેખાંકન યોગ્ય રીતે કામ કરી રહી છે, મેં રોબોટ્સનો પણ ઉપયોગ કર્યો છે. ગૂગલ વેબમાસ્ટર ટૂલ્સમાં ટી.ટી.એસ.ટી. ટેસ્ટર, જે દર્શાવે છે કે બધી જ બૉટો માટે ફાઈલો ચોક્કસપણે અવરોધિત છે, એક અપવાદ સાથે: Adsbot-Google. મને ખાતરી છે કે તે ક્યાં વિશે ક્યાં છે. અને મેં કેટલીક ફાઇલો માટે Google ને શોધી કાઢ્યું, અને તે શોધ પરિણામોમાં દેખાતા નથી.

અપડેટ # 2: ઉદાહરણ: નવેમ્બર 17 ના રોજ 5: 12 અને 5:18 વચ્ચે PST, આશરે અડધો ડઝન IP (બધા ગૂગલ-પ્રોક્સી) બાયનરી ફાઈલોની તમામ પ્રશ્નોના પ્રશ્નપત્રમાં મેળવે છે, 27 કુલ. 4 નવેમ્બરના રોજ 2:09 વાગ્યે અને 2:15 વાગ્યે પી.એસ.ટી. વચ્ચે, તે જ આઇપી મૂળભૂત રીતે સમાન વસ્તુ હતી.

અપડેટ # 3: આ સમયે તે સ્પષ્ટ છે કે આ માન્ય Google IP છે, તેમ છતાં તે Google ની પ્રોક્સી સેવાનો ભાગ છે, અને Google ના વેબ ક્રોલિંગ સિસ્ટમનો ભાગ નથી.કારણ કે આ પ્રોક્સી સરનામાંઓ છે, ત્યાં નક્કી કરવાની કોઈ રીત નથી કે GET વિનંતીઓ ક્યાંથી ઉદ્દભવી રહી છે, અથવા તે એક સ્થાને અથવા ઘણાથી આવતા હોય. ગેટ્સના છૂટાછવાયા પ્રકૃતિના આધારે, તે દેખાતું નથી કે કોઈ પણ પ્રકારની નફરત ચાલુ છે; તે સંભવ છે કે Google ની પ્રોક્સી સેવાનો ઉપયોગ કરતી વખતે તમામ બાયનરીઝને ડાઉનલોડ કરવાની કોઈની જણાય છે. કમનસીબે, તે સેવા સંપૂર્ણપણે બિનદસ્તાવેજીકૃત લાગે છે, જે મદદ કરતું નથી. સાઇટ એડમિનિસ્ટ્રેટરની દૃષ્ટિબિંદુથી, પ્રોક્સીઓ બદલે નકામી છે. હું તેમને બ્લૉક કરવા નથી માંગતો, કારણ કે તેઓ કાયદેસર ઉપયોગ કરે છે. પરંતુ તેઓનો દુરુપયોગ પણ થઈ શકે છે.

February 13, 2018

મેં આ પ્રશ્ન માટે કેટલાક સંશોધન કર્યું અને કેટલાક રસપ્રદ થિન મળ્યા, જેમ કે:

1. તે નકલી ક્રાઉલર છે? -> https: // stackoverflow. com / questions / 15840440 / google-proxy-is-a-fake-crawler-for-example-google-proxy-66-249-81-131-google-c

વપરાશકર્તામાંથી નિષ્કર્ષ:

આ 'ક્રોલર્સ' ક્રોલર્સ નથી પરંતુ લાઇવ વેબસાઇટનો એક ભાગ છેGoogle શોધ એન્જિનમાં ઉપયોગમાં લેવાયેલા પૂર્વાવલોકન.

મેં આ પ્રયત્ન કર્યો છે, પૂર્વાવલોકનમાં મારી કોઈ એક વેબસાઇટ બતાવવા અને હા,ત્યાં તે BlockIP સંદેશ પ્રાપ્ત થયો છે.

જો તમે ઇચ્છો કે વપરાશકર્તાઓ તમારી વેબસાઇટનું પૂર્વાવલોકન જોઇ શકશે, તો તમેઆ 'ક્રોલર્સ' સ્વીકારી છે.

અન્ય લોકોની જેમ જ: "તે URL નું રુટ ડોમેન ગૂગલ છે. કોમ અને તેસરળતાથી વિસ્મૃત ન કરી શકાય ".

ઉપસંહાર: તમે આ બોટ અથવા ક્રોલર્સ પર વિશ્વાસ કરી શકો છો અને તેનો ઉપયોગ કરવા માટે થાય છેgoogle શોધમાં એક પૂર્વાવલોકન બતાવો.

અમે જાણીએ છીએ કે જીવંત પૂર્વાવલોકન તમારી ફાઇલો ડાઉનલોડ કરતું નથી, તો ચાલો પ્રશ્ન 2 પર આવો.

2. શું તે Google સેવાઓનો ભાગ છે? -> શું આ Google પ્રોક્સી નકલી ક્રાઉલર છે: google-proxy-66-249-81-131. google. કોમ?

ઉપસંહાર:

મને લાગે છે, કેટલાક લોકો Google સેવાઓનો ઉપયોગ કરી રહ્યાં છે (જેમ કે Google ભાષાંતર,ગૂગલ મોબાઇલ, વગેરે. ) (અવરોધિત) વેબસાઇટ્સ ઍક્સેસ કરવા માટે (શાળાઓમાંવગેરે. ) પણ ડોસ હુમલા અને સમાન પ્રવૃત્તિ માટે.

આ અંગે મારો અનુમાન એ જ પ્રમાણે છે. તમારી ફાઇલોને ઍક્સેસ કરવા માટે કોઈ Google સેવાનો ઉપયોગ કરવાનો પ્રયાસ કરી રહ્યાં છે, જેમ કે અનુવાદક.

જો તમે કહેશો કે ફાઇલો પહેલાથી જ રોબોટ્સ દ્વારા અવરોધે છે. txt, આ ફક્ત મેન્યુઅલ વિનંતી હોઈ શકે છે.

સંપાદિત કરો: વ્યાપકપણે OP ટિપ્પણીને સંબોધિત કરવા માટે:

શું ક્રોલર્સ રોબોટ્સને અવગણી શકે છે?. txt? હા. અહીં એક સૂચિ છે મને નથી લાગતું કે Google તે કરે છે, જેનો અર્થ છે કે તે Google પ્રોક્સીઓનો ઉપયોગ કરીને અન્ય બૉટો હોઈ શકે છે.

શું તે ખરાબ બોટ હોઈ શકે છે? હા, અને તે માટે હું ભલામણ કરું છું:

. htaccess મા નિર્ધારિત પ્રતિબંધ:

  રીવ્રીટકોન્ડ% {REMOTE_HOST} ^ 209. 133. 111. * [અથવા]પુનઃલેખન% {HTTP_USER_AGENT} સ્પાઇડર [અથવા]પુનર્લેખન કરો% {HTTP_USER_AGENT} સ્લૉપરીવ્રીટ્યૂલે ^. * $ X. html [એલ] 

આ કોડ આઇપી અથવા યુઝર એજન્ટનો પ્રતિબંધ લાવી શકે છે.

અથવા સ્પાઈડર ટ્રેપનો ઉપયોગ કરો, ફીચર્ડ અહીં

હું માનું છું કે આ એક મેન્યુઅલ વિનંતી છે.