একটি ক্রলার কি? ক্রলার টুল "ইয়ানডেক্স" এবং গুগল

ইন্টারনেটে প্রতিদিন নতুন উপকরণ বিপুল পরিমাণ একটি ওয়েবসাইট পুরানো ওয়েব পৃষ্ঠাগুলি আপডেট তৈরি করতে, ফটো এবং ভিডিও আপলোড নেই। সার্চ ইঞ্জিন থেকে লুকানো ছাড়া, ওয়ার্ল্ড ওয়াইড ওয়েব মধ্যে খুঁজে পাওয়া যাবে না এই দস্তাবেজগুলি কেউই। যেকোনো দেওয়া সময়ে রোবোটিক প্রোগ্রাম মত বিকল্প কোন অস্তিত্ব নেই। কি একটি সার্চ রোবট কেন আপনি তা প্রয়োজন কিভাবে অপারেট হয়?

একটি সার্চ রোবট কি

ক্রলার সাইট (সার্চ ইঞ্জিন) - এটি একটি স্বয়ংক্রিয় প্রোগ্রাম যা ওয়েব পেজ লক্ষ লক্ষ দেখার জন্য, দ্রুত কোনো অপারেটর হস্তক্ষেপ ছাড়াই ইন্টারনেটের মাধ্যমে নেভিগেট সক্ষম হয়। বট ক্রমাগত স্থান স্ক্যান হয় ওয়ার্ল্ড ওয়াইড ওয়েবের, নতুন ওয়েব পেজ খুঁজে পেতে এবং নিয়মিতভাবে ঘুরে দেখা ইতিমধ্যে ইন্ডেক্স। ওয়েব ক্রলার মাকড়সা, ক্রলার, বট এর জন্য অন্যান্য নাম থাকবে না।

কেন সার্চ ইঞ্জিন স্পাইডার হয়

প্রধান কার্যাবলী করে যা অনুসন্ধান ইঞ্জিন স্পাইডার সঞ্চালন - ওয়েব পেজ ইন্ডেক্স, সেইসাথে টেক্সট, ছবি, অডিও এবং ভিডিও ফাইল যে তাদের রয়েছে। বট রেফারেন্স, মিরর সাইট (কপি) এবং আপডেট চেক করুন। রোবট বিশ্ব সংস্থা, যা ওয়ার্ল্ড ওয়াইড ওয়েবের জন্য বিকাশ এবং প্রয়োগ প্রযুক্তিগত মান নিয়ম মেনে চলা মান জন্য HTML-কোড নিয়ন্ত্রণ সঞ্চালন।

ইন্ডেক্স কী এবং কেন এটা প্রয়োজন হয়

ইন্ডেক্সিং - হয়, আসলে, সার্চ ইঞ্জিন দ্বারা একটি নির্দিষ্ট ওয়েব পৃষ্ঠা পরিদর্শন প্রক্রিয়া। প্রোগ্রাম এই সাইটে পাঠ্য পরীক্ষা করে, চিত্র, ভিডিও, আউটবাউন্ড লিংক, তারপর পৃষ্ঠা অনুসন্ধান ফলাফলে প্রদর্শিত হবে। কিছু কিছু ক্ষেত্রে, সাইটটি স্বয়ংক্রিয়ভাবে স্ক্যান করা যাবে না, তাহলে এটি নিজে ওয়েবমাস্টার সার্চ ইঞ্জিন যোগ করা যেতে পারে। সাধারণত, এই অনুপস্থিতিতে ঘটে বাহ্যিক লিঙ্কের একটি নির্দিষ্ট (প্রায়ই শুধুমাত্র সম্প্রতি তৈরি করা) পৃষ্ঠায়।

অনুসন্ধান কিভাবে ইঞ্জিন স্পাইডার

প্রতিটি সার্চ ইঞ্জিন গুগল সার্চ রোবট সঙ্গে নিজস্ব বট একটি অনুরূপ প্রোগ্রাম, "ইয়ানডেক্স" বা অন্যান্য সিস্টেমের উপর কাজ করে গেছে উল্লেখযোগ্যভাবে প্রক্রিয়া অনুযায়ী পরিবর্তিত হতে পারে।

প্রোগ্রাম সাইট এ "আসে" এবং মূল পৃষ্ঠা থেকে বাহ্যিক লিঙ্ক, (ঐ খুঁজছেন ওভারহেড ব্যবহারকারীকে দেখতে না সহ) ওয়েব রিসোর্স "সার্চ": সাধারণভাবে, একটি রোবট কাজ নীতি হল নিম্নরূপঃ। নৌকা একটি সাইটের পৃষ্ঠাগুলির মধ্যে নেভিগেট এবং অন্যদের উপর সরানো হল কিভাবে।

প্রোগ্রাম সূচক সাইটের বেছে নেবেন? প্রায়ই আরো বেশী না "ট্রিপ" মাকড়সা বড় রেফারেন্স ওজনের খবরের সাইট বা প্রধান সম্পদ ডিরেক্টরি এবং সংযোগকারীদের শুরু হয়। ক্রলার ক্রমাগত পৃষ্ঠাগুলি একের পর এক, হার এবং নিম্নলিখিত বিষয়গুলির ইন্ডেক্স এর দৃঢ়তা উপর স্ক্যান:

• অভ্যন্তরীণ: perelinovka, সাইট আকার, সঠিক কোড, ব্যবহারকারী বান্ধব এবং তাই (একই রিসোর্সের পৃষ্ঠাগুলির মধ্যে অভ্যন্তরীণ লিঙ্ক);
• এক্সটার্নাল: মোট রেফারেন্স ওজন, সাইটের বাড়ে।

প্রথম জিনিস robots.txt দ্বারা যেকোনো ওয়েবসাইটে অনুসন্ধান রোবট অনুসন্ধান। আরও রিসোর্স ইন্ডেক্স ভিত্তি করে তথ্য পেয়েছি এটা এই দস্তাবেজটি থেকে সঞ্চালিত হয়। এই ফাইলটি "মাকড়সা" যে সার্চ ইঞ্জিন দ্বারা পৃষ্ঠা সফর সম্ভাবনা বৃদ্ধি করতে পারেন, এবং, অতএব, "ইয়ানডেক্স" বা গুগল একটি প্রাথমিক হিট সাইটে অর্জন করার জন্য নির্দিষ্ট নির্দেশাবলী রয়েছে।

প্রোগ্রাম ক্রলার সহধর্মীদের

প্রায়শই শব্দ "অনুসন্ধান রোবট" বুদ্ধিমান, ব্যবহারকারী বা স্বশাসিত এজেন্ট, "পিঁপড়া" বা "কৃমি" সঙ্গে গুলিয়ে ফেলা হয়। শুধুমাত্র এজেন্টদের সঙ্গে তুলনা মধ্যে চুবান উল্লেখযোগ্য পার্থক্য, অন্যান্য সংজ্ঞা রোবট অনুরূপ ধরনের পড়ুন।

উদাহরণ হিসেবে বলা যায়, এজেন্ট হতে পারে:

• বুদ্ধিজীবী: প্রোগ্রাম, যা সাইটটিতে সাইট থেকে সরানো হয়, স্বাধীনভাবে সিদ্ধান্ত নেওয়ার এগিয়ে যেতে কিভাবে; তারা ইন্টারনেটে খুব সাধারণ নয়;
• । স্বায়ত্বশাসিত: এই এজেন্ট একটি পণ্য, সার্চ নির্বাচন বা আউট ফর্ম, তথাকথিত ফিল্টার, যা নেটওয়ার্ক প্রোগ্রামের সামান্য সম্পর্কিত ভর্তি ব্যবহারকারী সাহায্য;
• ব্যবহারকারী: প্রোগ্রাম, ওয়ার্ল্ড ওয়াইড ওয়েব ব্যবহারকারীর মিথষ্ক্রিয়া অবদান একটি ব্রাউজার (উদাহরণস্বরূপ, অপেরা, ইন্টারনেট, গুগল ক্রোম, ফায়ারফক্স), রাসূলগণের (ভাইবার, টেলিগ্রাম) অথবা ই-মেইল প্রোগ্রাম (মাইক্রোসফট আউটলুক এবং Qualcomm)।

"পিঁপড়া" এবং "কৃমি" আরো অনুসন্ধান ইঞ্জিন "মাকড়সা" একই রকম। একটি নেটওয়ার্ক এবং ধারাবাহিকভাবে মধ্যে প্রথম ফর্ম এই পিপীলিকা উপনিবেশ মত ইন্টারঅ্যাক্ট, "কৃমি" অন্যান্য শ্রদ্ধা মান ক্রলার হিসাবে একই মধ্যে প্রতিলিপি নির্মাণ করতে সক্ষম হয়।

সার্চ ইঞ্জিন রোবট বিভিন্নতা

ক্রলার অনেক ধরনের মধ্যে পার্থক্য। কর্মসূচির উদ্দেশ্য উপর নির্ভর করে, তারা হল:

• "মিরর" - অনুরুপগুলি ওয়েবসাইট ব্রাউজ করছেন।
• মোবাইল - ওয়েব পেজের মোবাইল সংস্করণের উপর ফোকাস।
• কুইক - সর্বশেষ আপডেট দেখার দ্বারা দ্রুত নতুন তথ্য সমাধান করুন।
• রেফারেন্স - রেফারেন্স সূচক, তাদের সংখ্যা গণনা।
• Indexers বিভিন্ন প্রকারের সামগ্রী - টেক্সট, অডিও, ভিডিও, ইমেজ জন্য নির্দিষ্ট প্রোগ্রাম।
• "স্পাইওয়্যার" - পৃষ্ঠাগুলি এখনো সার্চ ইঞ্জিন প্রদর্শিত হয় না খুঁজছেন।
• "কাঠঠোকরা" - পর্যায়ক্রমে তাদের প্রাসঙ্গিকতা ও দক্ষতা চেক করতে সাইটগুলিতে যান।
• জাতীয় - ওয়েব দেশ ডোমেইনের এক অবস্থিত সম্পদ ব্রাউজিং (যেমন, .mobi, অথবা .kz .ua)।
• গ্লোবাল - সূচক সব জাতীয় সাইট।

রোবট প্রধান সার্চ ইঞ্জিন

এছাড়া কিছু সার্চ ইঞ্জিন স্পাইডার হয়। তত্ত্ব, তাদের কার্যকারিতা ব্যাপকভাবে বিভিন্ন রকমের হতে পারে, কিন্তু বাস্তবে প্রোগ্রাম প্রায় অভিন্ন। প্রধান ওয়েব পেজ ইন্ডেক্স পার্থক্য রোবোটগুলিকে দুটি প্রধান সার্চ ইঞ্জিন নিম্নরূপ:

• পরীক্ষার কঠোরতা। ধারণা করা হয় যে ক্রলার প্রক্রিয়া "ইয়ানডেক্স" কিছুটা কঠোর অনুমান ওয়ার্ল্ড ওয়াইড ওয়েবের মান মেনে চলার জন্য সাইট।
• সাইটের অখণ্ডতা সংরক্ষণ। গুগল ক্রলার ইনডেক্স সমগ্র সাইট (মিডিয়া সামগ্রী সহ), "ইয়ানডেক্স" এছাড়াও বিষয়বস্তু বেছে বেছে দেখতে পারেন।
• গতি পরীক্ষা নতুন পেজ। গুগল, কয়েকদিনের মধ্যেই অনুসন্ধান ফলাফলে নতুন রিসোর্স যোগ "ইয়ানডেক্স দ্বারা" প্রক্রিয়ার ক্ষেত্রে দুই সপ্তাহ বা তার বেশি সময় নিতে পারে না।
• পুনরায় ইন্ডেক্স ফ্রিকোয়েন্সি। "ইয়ানডেক্স" ক্রলার আপডেট পরীক্ষা দুবার সপ্তাহে, এবং Google - প্রতি 14 দিন।

ইন্টারনেট, অবশ্যই, দুই সার্চ ইঞ্জিন সীমাবদ্ধ নয়। অন্যান্য সার্চ ইঞ্জিন তাদের রোবট যারা তাদের নিজের ইন্ডেক্স পরামিতি অনুসরণ আছে। এ ছাড়াও বিভিন্ন "মাকড়সা" যে না নামী সার্চ সম্পদ পরিকল্পিত, এবং পৃথক দল বা ওয়েবমাস্টাররা হয়।

সাধারণ ভুল ধারণা

পক্ষান্তরে জনপ্রিয় বিশ্বাসের, "মাকড়সা" তথ্য চালাতে চাচ্ছে না। প্রোগ্রামটি শুধুমাত্র স্ক্যান এবং ওয়েব পেজ সঞ্চয় করে এবং আরও প্রক্রিয়াকরণের একটি সম্পূর্ণ ভিন্ন রোবট লাগে।

এছাড়াও, অনেক ব্যবহারকারী মনে করেন যে সার্চ ইঞ্জিন স্পাইডার একটি নেতিবাচক প্রভাব এবং "ক্ষতিকর" ইন্টারনেট আছে। বস্তুতপক্ষে, "মাকড়সা" র কিছু সংস্করণ উল্লেখযোগ্যভাবে সার্ভার জমিদার পারবেন না। ওয়েবমাস্টার, যারা প্রোগ্রাম, রোবট কনফিগারেশনে ভুল করতে পারেন নির্মিত - এখানে একটা মানুষের ফ্যাক্টর। তা সত্ত্বেও বিদ্যমান প্রোগ্রামের সবচেয়ে ভাল ডিজাইন করা হয় এবং পেশাদারীভাবে পরিচালিত, এবং যে কোনো উঠতি সমস্যার অবিলম্বে সরানো হয়েছে।

কিভাবে ইন্ডেক্স পরিচালনা করতে

সার্চ ইঞ্জিন রোবট স্বয়ংক্রিয় প্রোগ্রাম আছে, কিন্তু ইন্ডেক্স প্রক্রিয়া আংশিকভাবে ওয়েবমাস্টার দ্বারা নিয়ন্ত্রণ করা যায়। এই ব্যাপকভাবে বহিরাগত এবং সাহায্য করে অভ্যন্তরীণ অপ্টিমাইজেশান রিসোর্সের। উপরন্তু, আপনি নিজে একটি সার্চ ইঞ্জিন থেকে একটি নতুন সাইট যুক্ত করতে পারেন: বড় সম্পদ ওয়েব পেজ রেজিস্ট্রেশনের একটি বিশেষ ফর্ম আছে।