Історія Інтернету: перший пошуковик у Мережі, Різне, Інтернет-технології, статті

kolm A.Kryvenia & Nika, Комп’ютерна газета

В кінці 80-х ще не було World Wide Web. У ті часи інформація передавалася з одного комп’ютера на інший по FTP, або протоколу передачі файлів (file transfer protocol). FTP – це текстовий предок Web. Обмін файлами являв собою наступну процедуру: ви завантажуєте наявну у вас іграшку (Наприклад, у вигляді game.zip) на ftp-сервер, повідомляєте друзям по email’у про ftp-адресу, де ви гру залишили; друзі за допомогою ftp-клієнта звертаються по вказаною адресою до ftp-серверу, отримують з нього список файлів в даній директорії і, нарешті, закачують game.zip собі на локальний комп’ютер.
Просто, так? Тут виявляється ще одна проблема: не знає адреси game.zip гру ніяк не зможе знайти, навіть якщо дуже захоче.
У ті стародавні часи вже існували конференції, новинні групи, і ftp-юзери вивішували оголошення типу “пацани, допоможіть пліз знайти monro909.bmp!” або “Де взяти драйвера к. ..?”.
Але потім з’явилася ARCHIE. І багато чого змінилося.
Для довідки. ARCHIE – це база даних вмісту анонімних ftp-серверів. Програма для цієї БД була написана Archie Group в університеті McGill (Монреаль, Канада). ARCHIE зберігає шляху до файлів великої кількості анонімних ftp-серверів.
Щоб історія ARCHIE потрапила до вас з перших рук, я написав три email’а: Алану Імтеджу (Alan Emtage), Пітеру Дойча (Peter Deutsch) і Біллу Хілану (Bill Heelan). Вони – три творця ARCHIE, та сама Archie
Group. 
Відповів тільки один, зате дуже якісно і скромно, вибачаючись за довгий reply. Інтерв’ю (назавем це так) з Біллом Хіланом (Bill) я (Kolm) буду доповнювати цитатами зі статті П.Дойча (Peter) “ARCHIE – еволюційна теорія Дарвіна “( www.computer.org/internet/v4n1/deutsch.htm
).
Історія першого пошукового сервісу

Kolm: Перше, що я б хотів дізнатися, так це про той час, коли Ви, Алан і Пітер створили свою програму. Наскільки я знаю, ви всі були студентами університету McGill, що в Монреалі.

Bill: Насправді, Пітер і Алан були аспірантами і одночасно працювали на факультеті комп’ютерних досліджень. А я тільки працював на факультеті, навчаючись в Університеті Консордіі (те ж в Монреалі).
Peter: “Зерна ARHIE були засіяні у 1987 році, коли нас попросили вивчити можливість підключення факультету комп’ютерних досліджень до Інтернету … Інтернет майже цілком був населений інженерами і вченими-інформатика, і ми були впевнені, що доступ туди виявиться для нас дуже корисним “.
Kolm: Робота над ARHIE почалася як якась програма університету або ваша особиста ініціатива?

Bill: В то час, коли вона була створена, вона не мала нічого спільного з McGill, крім того, що ми вчилися і / або працювали там. Незабаром після її створення, проте, вона послужила тезами дисертації Алана, в цьому сенсі ARCHIE мала відношення до університету.
Kolm: Розкажіть тепер, будь ласка, трохи про сам процесі створення програми.

Bill: В той час, коли ARCHIE була вперше розроблена, я працював адміністратором і програмістом на кафедрі комп’ютерних досліджень (я ніколи не був студентом університету McGill). Алан Імтедж і Пітер Дойч, як я вже говорив, були аспірантами і теж працювали на кафедрі, а Пітер до всього був нашим босом (тобто старшим сисадміном).
Пітер часто поміщав оголошення в групах новин про допомоги в пошуках різних програм, відповідав людям на їх запити, риючись в лістингах ftp-серверів, які зберігалися на наших комп’ютерах. (Я не пам’ятаю, він чи Алан обслуговували листинги.) Це була ціла директорія лістингів з популярних в той час ftp-серверів. Люди почали питати, де вони самі можуть знайти ці списки. Замість того, щоб дати людям можливість мати власні копії, Пітер вирішив надати сервіс на основі telnet.
Peter: “В 1989 році була дюжина архівних місць в Інтернеті. Один з моїх підлеглих, Алан Імседж, вивчав розташування та утримання цих місць. Коли була необхідна певна інформація, Алан, наша резидентська щур, впроваджувався в ці списки …
Інформатика визначена як “мистецтво зниження натискань клавіш”. Імтедж написав простий сценарій, щоб автоматизувати завдання впровадження в листинги на ftp-серверах, які потім переносилися в локальні файли. А вже потім в локальних файлах здійснювався швидкий пошук необхідної інформації, пошук грунтувався на стандартній grep-команді Unix (команда пошуку в файлах –
kolm).
Спочатку я згадав свої можливості пошуку файлів в Usenet і був завалений проханнями людей шукають інформацію … Зібрана Аланом інформація була занадто об’ємною, щоб поширюватися кожному що говорив, тому я вирішив організувати доступ до нашими даними на основі telnet. Я довірив це Алану і Біллу Хілану, іншому члену моєї групи. В цей момент ARCHIE народилася “.
Bill: Я вважаю, я написав першу версію ARCHIE, яка просто дозволяла людям входити в спеціальний аккаунт і вказати в звичайних вирази, що потрібно знайти. По суті, запускалася grep-комманда UNIX, яка працювала з необробленими лістингами з сайтів. Це стало досить популярно для того, щоб вилитися в щось більше.
Ми вирішили обробити листинги, привести дані до ефективнішого поданням. Ми розбили дані на окремі бази, одна з яких містила тільки текстові назви файлів; а інша – записи з посиланнями на ієрархічні директорії тисячі хостів, і ще одна, що з’єднує перші дві. Незважаючи на це, пошук все ще проводився лінійно по іменах файлів: від елементу до елементу. Але ця версія ARCHIE була ефективніше попередньої, так як пошук проводився тільки по іменах файлів, виключаючи безліч існуючих раніше повторів. Я вірю, що ця версія послужила основою тез дисертації Алана.
Peter: “Почалося з тридцяти відвідувань в день, потім у нас було тридцять запитів на годину, потім – в хвилину … Трафік продовжував зростати, в один прекрасний день половина трафіку в сторону Монреаля прямувала вже на університетську машину з ARCHIE. Тоді ми зрозуміли: настав час придумати механізм управління зростанням “.
Bill: З Згодом були зроблені багато доопрацювання, проте, з моєї точки зору, наступна основна версія ARCHIE була цікава більше з технічного боку. Згадана вище база даних була замінена на іншу, засновану на теорії стисненого дерева (Compressed tries, структура побудови баз даних з цифровим ключем, призначеним для організації та пошуку даних – kolm), описаної в чорновий версії докторських тез Хепінга Шанга (Heping Shang), в той час студента McGill. Це було здійснено в компанії Bunyip Information Systems, так званої Archie Group, яка складалася з Бібі Алі (Bibi Ali), Сандро Маццукато (Sandro Mazzucato) і мене. (Bunyip був створений частково для отримання дивідендів з ARCHIE.) Нова версія по суті створила полнотекстную базу даних замість списку імен файлів і була значно швидше, ніж раніше. В додаток, другорядні зміни дозволили системі ARCHIE індексувати web-сторінки. На жаль, з різних причин, робота над ARCHIE незабаром припинилася, тому ми ніколи не дізнаємося, як би вона змагалася з сучасними пошуковими web-системами. При подальшому розвитку, нам здавалося, що ARHIE запросто б впоралася. 🙂
Kolm: Значить ви працювали над ARHIE ні де-небудь в трейлері за 5 баксів на місяць, а сидячи в кабінетах університету?

Bill: Так, вся робота над першою основною версією велася в McGill. Пізніше Пітер і Алан перейшли з кафедри комп’ютерних досліджень в комп’ютерний центр, в той час як я залишився там, де й був. Робота над ARCHIE в той час тривала. Зрештою Пітер і Алан заснували Bunyip Information Systems, з деякими інвестиціями від McGill. Я приєднався до Bunyip незабаром після її створення.
Kolm: З послідовністю створення й еволюцією ідеї розібралися. Але все ж, за Вашому, хто був безпосереднім винахідником, автором цієї самої ідеї?

Bill: Якщо потрібно виділити одну людину, то я б сказав, що це Пітер. Я впевнений, що це в нього з’явилася ідея створення облікового запису, для того щоб інші могли здійснювати пошук в наших списках, тобто Пітер запропонував ідею надати пошуковий сервіс.
Kolm: Між іншим, цікаво було б почути, на яких комп’ютерах Ви працювали над
ARCHIE?

Bill: Я не пам’ятаю досить точно такі деталі. Я думаю, що початкова робота в Школі інформатики в McGill, можливо, була зроблена на Sun 4/280 (одна з перших SPARC машин Sun), може бути навіть 3/280 (ранні машини Motorola). Пізніше сервер Школи перемістився на IBM RS6000 під AIX. Після створення Bunyip, комп’ютерний центр McGill перейшов на services.bunyip.com, також відомий як archie.mcgill.ca. Я думаю, це були Sun Sparcstation 20, на операційних системах SunOS 4.x і AIX. Нам не дуже подобалося працювати з AIX і RS6000, та я й не думаю, що комусь взагалі подобалося коли-небудь їх підтримувати.
В McGill робота була зроблена незалежно від конфігурації доступних нам робочих станцій (наприклад, Sun 4), в Bunyip ми працювали на машинах подібних Sparcstation 1, 2 і 5. Ні McGill, ні Bunyip не могли собі дозволити витрачати багато грошей на дорогі комп’ютери.
Чим займаються в Америці колишні аспіранти, які стали серйозними програмістами

Kolm: Тепер давайте поговоримо про Вас. В цілому, ARCHIE зробила Вас досить відомим. У зв’язку з цим хотілося б знати, чим Ви займаєтеся зараз? Над якими проектами працюєте, що програмуєте?

Bill: Я не погодився б з тим, що ARCHIE зробила мене відомим. Так, послуга була популярною і відомою в свій час, але зростання Інтернету змінює погляд на деякі речі дуже швидко. Я можу тільки здогадуватися, як багато людей стали користуватися Інтернетом з подачі ARCHIE, з тих часів, коли ARCHIE була в зеніті своєї слави.
Після McGill я пішов в Bunyip продовжувати роботу над ARCHIE і пропрацював там чотири чи п’ять років. Після відходу з Bunyip я працював на кілька компаній, три з половиною роки тому я влаштувався в Zero-Knowledge Systems ( www.zeroknowledge.com/ ). В ZKS я був у складі першої найнятої групи розробників і працював над серверним компонентом системи “Свободи” (Freedom system, про цю системі багато пишуть і у нас, наприклад, в КГ № 45 (337) ’01 – kolm), що працювала під Linux і Solaris, також я працював над клієнтськими бібліотеками, що працювали в основному під Windows. В основному ж я входив до групи безпеки, яка була відповідальної за шифрувальні аспекти програмного забезпечення.
Основна мережа “Свободи” анонімних проксі-серверів (AIP) нещодавно стала недоступною, але була створена нова послуга для її заміни, вона називається WebSecure. (Подивіться
www.freedom.net/products/websecure/index.html?product=websecure,  якщо вам цікаво.) В даний час над цією системою я і працюю.
Цікаво, що в тих різних місцях, де я працював, мені пощастило бути разом з моїми друзями з McGill. Наприклад, я почав працювати в ZKS разом з трьома людьми, з якими я колись працював або в McGill, або в Bunyip.
Ось і вся історія однієї програми, яка, за словами одного американського журналіста, “перевернула уявлення про пошук інформації в Інтернеті “. Поспілкувавшись з Біллом, я посожалел про те, що часи зародження і початкового розвитку Інтернету пройшли повз нас. Ну, хіба тільки злегка зачепили.

Схожі статті:


Сподобалася стаття? Ви можете залишити відгук або підписатися на RSS , щоб автоматично отримувати інформацію про нові статтях.

Коментарів поки що немає.

Ваш отзыв

Поділ на параграфи відбувається автоматично, адреса електронної пошти ніколи не буде опублікований, допустимий HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

*