امروزه مردم وقتی که به دنبال پیدا کردن اطلاعاتی در مورد موضوعات خاصی هستن، به سراغ اینترنت می رن تا با سرچ در موتورهای جست و جو بتونن با سریع ترین راه، به جواب سوال خود برسن. کلا دو دسته سرویس جست و جو واسه سرچ هست: امروزه مردم وقتی که به دنبال پیدا کردن اطلاعاتی در مورد موضوعات خاصی هستن، به سراغ اینترنت می رن تا با سرچ در موتورهای جست و جو بتونن با سریع ترین راه، به جواب سوال خود برسن. کلا دو دسته سرویس جست و جو واسه سرچ هست:

۱- موتورهای جست و جو

۲- دایرکتوری هابا بیشتر موتورهای جست و جو آشنایی داریم که مهمترین اونا گوگل هستن. اما دایرکتوریا انگار یه بانک اطلاعاتی هستن که در اون لینکایی هست که به سایت منبع وصل می شن و اطلاعات در این سایت منبع قرار دارن. سایت منبع به وسیله افراد مشخص و براساس قوانین تعیین شده تنظیم شدن و اطلاعات در اون جا به صورت دسته بندی شده هست. دایرکتوریای مختلفی هست که مادر همه اونا، Yahooه.

‫واسه درک اهمیت لینکها باید مشکلی که به وسیله لینکها‬، موتورهای جستجو حل میکنن رو درک کنین‬‬. واسه خیلی از ما امروزه تصور ‬جهان بدون شبکه گسترده جهانی اینترنت سخته ولی‬ تا اواخر سال ۱۹۹۳ تنها ۶۰۰‬‬ سایت در جهان وجود داشت‬ و بیشتر وب سایتها خیلی کم محتوا بودن‬ و هر کدوم تنها چند صفحه رو شامل می شدن‬‬. در آگوست اون سال، وقتی که‬ تنها چند صد سایت وجود داشت‬ یه نویسنده مشهور کتابای کامپیوتر به‬‬ نام O’Reilly and Associates‬ اولین سایت تجاری رو درست کرد.‬ سایت GNN یا‬ Global Network Navigator‬ ‬بیشتر محتویات اون براساس یه کاتالوگ اینترنتی بودن.‬ در واقع اون مانند یه مجله‬ کاغذی بود که بر اینترنت منتشر شده بود‬‬. در سپتامبر همون سال سایت دیگری به نام‬ W3 Catalogبه وجود اومد.‬ در ژانویه ۱۹۹۴ وقتی که تنها‬ ۶۰۰ سایت وجود داشت سایت‬ راهنمای David و Jerry‬ واسه World Wide We‬ به وجود اومد‬. نام این سایت Yahoo‬ بود که در آخر‬‬ تبدیل به محبوبترین سایت و دایرکتوری جستجوی جهان تبدیل شد‬. اینا همه دایرکتوریهای وب بودن‬ یعنی لیستی از وب‬‬ سایتها به همراه اطلاعات کمی از محتویات سایت بودن. در اوایل خوب بود ولی وب‬ اطلاعات زیادی رو شامل نمیشد‬‬ ولی با رشد وب اونا هم بزرگتر شدن.‬

مشکلی

کار موتورای جستجو

اگه می خواید که قطعه ای‬ از شکسپیر رو پیدا کنین یه دایرکتوری سایتهایی که‬‬ اون اطلاعات رو شامل میشه رو‫ در اختیارتون قرار میدن ولی‬ چیزی که در هر سایت قرار داره رو نشون نمیدن‬‬‬. اون تنها سایت رو به شما‬ معرفی میکنه و بررسی اطلاعات موجود در اون‬ بردوش شما قرار داره‬ پس مرحله بعد موتورهای جستجو بودن‬. سیستمی که فهرستی از صفحات هر سایت به وجود‫ می آورد. در اوایل موتورهای جستجو ساده‬‬‬ مختلفی وجود داشتن ولی شاید اولین‬ موتور جستجوی واقعی، سیستم که به‫ شما اجازه میداد که در بین متن‬موجود در وب سایتای فهرست شده‬ جستجو کنین WebCrawler‬ بود که در آپریل سال ۱۹۹۴ ایجاد شد‬. این دایرکتوری اطلاعاتی ابتدایی در مورد سایت ارائه میکرد‬ البته این موتور جستجو کاربر رو‬ قادر میساخت تا بین صفحات جور واجور سایت جستجو کنه‬ در ۱۹۹۵ و چند سال بعد‬ از اون موتورهای جستجوی دیگری هم ظاهر شدن‬‫Magellan، Excite، Infoseek،‫HotBot، Northern Light‬‬‬‬‬ و البته AltaVista که‬ در سال ۱۹۹۵ محبوبیت بسیاری یافت‬ و در آخر در سال ۱۹۹۸ گوگل به میدون اومد.‬

در آخر اون دهه موتورهای جستجو تبدیل به آینده شدن‬ و کم و بیش موتورهای جستجو‬ همه دایرکتوریا رو محاصره کردن‬ حتی یاهو هم به موتور جستجو تبدیل شد‬. در سال ۲۰۰۰ یاهو از ایندکس‬ گوگل واسه جفت و جور یافته های جستجو واسه یاهو استفاده کرد‬ و بعد دایرکتورهای خودشون رو از‬ صفحه کم کردن تا در آخر به طور کامل حذف شدن البته دایرکتوری یاهو امروز هم وجود‬ داره ولی بیشتر کاربران اطلاعی از مکان اون ندارن‬ ولی موتورهای جستجو مشکلات خودشون رو دارن.

مشکلات

‬ وقتی که فضای وب به تعدادی‫ بالغ بر دو تا سه میلیون‬‬‬ سایت و صدها میلیون صفحه رسید‬ در وقتی که گوگل به میدون‬ وارد شد مرتب کردن این مقدار داده خیلی سخت شده بود‬. گوگل از یه ایده انقلابی‫ استفاده کرد و به این صورت‬ شما میتوانستید موضوع صفحه وب رو بفهمین‬ و اونو با عبارت جستجو‬‬‬ی خود برابری بدین و دیگه احتیاجی‬ نبود که صفحات رو خودتون بررسی کنین.‬ اونا لینکهایی میتونستن درون صفحاتی که‬ شما پیدا کردین باشن ولی‬ حتی میتونستن به صفحاتی از سایتای‬ دیگه اشاره کنن.