תפקידו של מדריך האתרים הידוע גם בתור אינדקס אתרים, היה לקטלג ולמיין את האתרים השונים ולהקל על מציאתם ברשת האינטרנט. לפיכך מדריך האתרים היווה בתחילת ימי האינטרנט את נקודת המוצא של מרבית הגולשים. עם הופעתם של מנועי החיפוש הם הצליחו ליטול את הבכורה ממדריכי האתרים ומהווים כיום את נקודת הפתיחה לכל חיפוש ברשת. כעת נדמה, כי הצורך במדריך האתרים נעלם ואין כל סיבה נראית לעין כי הוא ימשיך להתקיים ולפעול. אך בדיקה מהירה של כמות מדריכי האתרים על פני השנים מראה מסקנה הפוכה לחלוטין וישנה פריחה בכמות האינדקסים השונים. כיצד ניתן ליישב את הפרדוקס בו הצורך באינדקס אתרים נעלם לכאורה ואילו כמות האינדקסים הקיימים רק הולכת וגדלה?
לפני שנוכל לפתור את השאלה, עלינו להבין תחילה, כיצד פועל מנוע חיפוש וכיצד הוא מקטלג את האתרים השונים. לכל מנוע חיפוש יש תוכנת מחשב שעובדת "ברקע" שנקראית עכביש. תפקידו של העכביש הוא לשוטט במרחבי הרשת ולקטלג ולמיין את האתרים השונים, הכל בצורה מלאכותית, ללא מגע יד אדם. בכדי שהעכביש יוכל "לקפוץ" מאתר לאתר הוא עוקב אחר הקישורים היוצאים מאתר מסוים (קישורים יוצאים הם קישורים המצביעים על אתר אחר שונה הנמצא בכתובת אחרת. להבדיל מקישורים פנימיים, המצביעים על דפים אחרים בתוך אותו האתר). ברגע שהעכביש מוצא קישור יוצא, הוא עוקב אחריו וכך הוא מגיע למעשה לאתר חדש שגם אותו הוא מקטלג וגם בו הוא מחפש קישורים יוצאים נוספים. בצורה הזאת מצליח העכביש של מנוע החיפוש לעבור על כל האתרים ברשת האינטרנט. כעת נשאלת השאלה, מי יוצר את אותם קישורים יוצאים? התשובה לכך היא כמובן האדם אשר בנה את אתר, הכניס את התוכן, וגם יצר את אותם קישורים יוצאים. כלומר בכדי שהעכביש של מנוע החיפוש יוכל לנדוד מאתר לאתר, הוא מסתמך על הקישורים היוצאים מכל אתר, קישורים אשר אותם יצר בונה האתר. מנוע החיפוש מסתמך למעשה על מגע יד אדם!
ניתן לראות למעשה, כי מנוע החיפוש שבא להחליף את השיטה בה אדם כלשהו יושב ומקטלג את האתרים באינטרנט, מסתמך בסופו של דבר גם כן על אותו הדבר בדיוק, והוא זקוק לאנשים בשר ודם היוצרים את האתרים השונים בכדי "שיאמרו" לו לאיפה ללכת.
אז למה אנו זקוקים לאינדקס אתרים? נניח שיש לי אתר חדש, אין אליו קישורים מאף אתר אחר משום שאף אחד לא שמע עליו. לפיכך על פי מה שלמדנו, העכביש לא יכול לבוא לבקר בו, משום שאין אל האתר החדש אף קישור מאתרים אחרים, והעכביש מבקר באתרים ומדלג ביניהם בעזרת קישורים יוצאים. אם נרצה לגרום לעכביש לבוא לבקר אצלנו, השיטה המועדפת תיהיה לבקש מבעל אתר אחר, ליצור קישור מהאתר שלו לאתר שלנו, כך שבפעם הבאה בה העכביש יבקר שאתר שלו, הוא ימצא אצלו קישור לאתר שלנו. בשיטה הזאת העכביש "ימצא" את האתר שלנו ויכניס אותו למאגר של מנוע החיפוש.
כלומר, אנו זקוקים לקישורים מאתרים אחרים לאתר שלנו בכדי שהעכביש יבוא לבקר אותנו. כאן בדיוק נכנס לתמונה אינדקס האתרים.
אינדקס אתרים מכניס קישורים לאתרים אחרים בכדי שמנוע החיפוש ידע עליהם ויבוא לבקר אותם ויכניס אותם למאגר הנתונים שלו.
כעת הבנו, מדוע אנו זקוקים לאינדקס אתרים, אך מדוע יש כל כך הרבה כאלו, האם לא מספיק אחד? התשובה הפשוטה היא, שבכדי להופיע במקום גבוה בתוצאות החיפוש במנוע חיפוש, האתר שלנו זקוק לכמה שיותר קישורים אליו. לפיכך קישור מאינדקס אחד, לא תמיד יספיק, ואנו זקוקים לכמה שיותר קישורים מכמה שיותר מקורות ולכן אנו עדים לפריחה באינדקסים השונים. כך למעשה אנו מצליחים לפתור את הפרדוקס בו, למראית עין, אין לגולש הממוצע כל צורך במדריך אתרים, אך מנגד לבעלי אתרים הם הפכו שוב למאוד רלוונטיים וחשובים. למעשה חשובים כפי שהם היו בתחילת ימי האינטרנט, בזמן בו מדריכי האתרים היו קרש הקפיצה לכל פעולת חיפוש ברשת.
