جایگزینی موتور های جستجو با دایرکتوری
امروزه مردم وقتی که به دنبال پیدا کردن اطلاعاتی در مورد موضوعات خاصی هستن، به سراغ اینترنت می رن تا با سرچ در موتورهای جست و جو بتونن با سریع ترین راه، به جواب سوال خود برسن. کلا دو دسته سرویس جست و جو واسه سرچ هست: امروزه مردم وقتی که به دنبال پیدا کردن اطلاعاتی در مورد موضوعات خاصی هستن، به سراغ اینترنت می رن تا با سرچ در موتورهای جست و جو بتونن با سریع ترین راه، به جواب سوال خود برسن. کلا دو دسته سرویس جست و جو واسه سرچ هست:
۱- موتورهای جست و جو
۲- دایرکتوری هابا بیشتر موتورهای جست و جو آشنایی داریم که مهمترین اونا گوگل هستن. اما دایرکتوریا انگار یه بانک اطلاعاتی هستن که در اون لینکایی هست که به سایت منبع وصل می شن و اطلاعات در این سایت منبع قرار دارن. سایت منبع به وسیله افراد مشخص و براساس قوانین تعیین شده تنظیم شدن و اطلاعات در اون جا به صورت دسته بندی شده هست. دایرکتوریای مختلفی هست که مادر همه اونا، Yahooه.
واسه درک اهمیت لینکها باید مشکلی که به وسیله لینکها، موتورهای جستجو حل میکنن رو درک کنین. واسه خیلی از ما امروزه تصور جهان بدون شبکه گسترده جهانی اینترنت سخته ولی تا اواخر سال ۱۹۹۳ تنها ۶۰۰ سایت در جهان وجود داشت و بیشتر وب سایتها خیلی کم محتوا بودن و هر کدوم تنها چند صفحه رو شامل می شدن. در آگوست اون سال، وقتی که تنها چند صد سایت وجود داشت یه نویسنده مشهور کتابای کامپیوتر به نام O’Reilly and Associates اولین سایت تجاری رو درست کرد. سایت GNN یا Global Network Navigator بیشتر محتویات اون براساس یه کاتالوگ اینترنتی بودن. در واقع اون مانند یه مجله کاغذی بود که بر اینترنت منتشر شده بود. در سپتامبر همون سال سایت دیگری به نام W3 Catalogبه وجود اومد. در ژانویه ۱۹۹۴ وقتی که تنها ۶۰۰ سایت وجود داشت سایت راهنمای David و Jerry واسه World Wide We به وجود اومد. نام این سایت Yahoo بود که در آخر تبدیل به محبوبترین سایت و دایرکتوری جستجوی جهان تبدیل شد. اینا همه دایرکتوریهای وب بودن یعنی لیستی از وب سایتها به همراه اطلاعات کمی از محتویات سایت بودن. در اوایل خوب بود ولی وب اطلاعات زیادی رو شامل نمیشد ولی با رشد وب اونا هم بزرگتر شدن.
کار موتورای جستجو
اگه می خواید که قطعه ای از شکسپیر رو پیدا کنین یه دایرکتوری سایتهایی که اون اطلاعات رو شامل میشه رو در اختیارتون قرار میدن ولی چیزی که در هر سایت قرار داره رو نشون نمیدن. اون تنها سایت رو به شما معرفی میکنه و بررسی اطلاعات موجود در اون بردوش شما قرار داره پس مرحله بعد موتورهای جستجو بودن. سیستمی که فهرستی از صفحات هر سایت به وجود می آورد. در اوایل موتورهای جستجو ساده مختلفی وجود داشتن ولی شاید اولین موتور جستجوی واقعی، سیستم که به شما اجازه میداد که در بین متنموجود در وب سایتای فهرست شده جستجو کنین WebCrawler بود که در آپریل سال ۱۹۹۴ ایجاد شد. این دایرکتوری اطلاعاتی ابتدایی در مورد سایت ارائه میکرد البته این موتور جستجو کاربر رو قادر میساخت تا بین صفحات جور واجور سایت جستجو کنه در ۱۹۹۵ و چند سال بعد از اون موتورهای جستجوی دیگری هم ظاهر شدنMagellan، Excite، Infoseek،HotBot، Northern Light و البته AltaVista که در سال ۱۹۹۵ محبوبیت بسیاری یافت و در آخر در سال ۱۹۹۸ گوگل به میدون اومد.
در آخر اون دهه موتورهای جستجو تبدیل به آینده شدن و کم و بیش موتورهای جستجو همه دایرکتوریا رو محاصره کردن حتی یاهو هم به موتور جستجو تبدیل شد. در سال ۲۰۰۰ یاهو از ایندکس گوگل واسه جفت و جور یافته های جستجو واسه یاهو استفاده کرد و بعد دایرکتورهای خودشون رو از صفحه کم کردن تا در آخر به طور کامل حذف شدن البته دایرکتوری یاهو امروز هم وجود داره ولی بیشتر کاربران اطلاعی از مکان اون ندارن ولی موتورهای جستجو مشکلات خودشون رو دارن.
وقتی که فضای وب به تعدادی بالغ بر دو تا سه میلیون سایت و صدها میلیون صفحه رسید در وقتی که گوگل به میدون وارد شد مرتب کردن این مقدار داده خیلی سخت شده بود. گوگل از یه ایده انقلابی استفاده کرد و به این صورت شما میتوانستید موضوع صفحه وب رو بفهمین و اونو با عبارت جستجوی خود برابری بدین و دیگه احتیاجی نبود که صفحات رو خودتون بررسی کنین. اونا لینکهایی میتونستن درون صفحاتی که شما پیدا کردین باشن ولی حتی میتونستن به صفحاتی از سایتای دیگه اشاره کنن.