5 советов по поиску информации в глубинной сети, или как стать супер-сыщиком интернета

Большинство из нас в повседневной жизни используют Google и Яндекс, но поисковые системы видят лишь мизерную часть всего доступного онлайн-контента. Так как искать данные, которые поисковики не индексируют?

Секретами поиска в глубинной сети поделился Альбрехт Уде, немецкий журналист, исследователь и организатор тренингов на Глобальной конференции журналистов-расследователей.

«Поисковые системы видят только 4% от всего доступного онлайн-контента, тогда как оставшиеся 96% – подводная часть айсберга, данные из скрытого глубинного интернета», говорит Уде.

Все данные в сети Уде условно разделяет на две части: «поверхностный интернет» – то есть, то, что можно найти через поисковые системы, и deep web – большая часть данных в интернете, которая невидима для поисковиков. В частности, это – информация из соцсетей, закрытые форумы, запароленные сайты и миллионы баз данных. Чаще всего через поисковик можно найти лишь стартовые страницы таких баз данных, но не их контент. 

Журналисты со всего мира – на Глобальной конференции журналистов-расследователей в Гамбурге.
«Поисковики совершенно бесполезны, если вы ищете информацию в глубинной сети», – считает Уде.

Мысли абстрактно

Нужно думать не о конкретном контенте, который вы ищете, а о том, где этот контент может находится, и к каким категориям данных он относится. Ищите связанные с ним базы данных. Например, вам нужен выход на архитектора из Гамбурга, но в открытом доступе нет его телефона или email. Вы можете поискать в Google не только его имя, но и базу данных всех архитекторов Гамбурга, в которой должны быть его контакты.

Узнай, кто управляет базой данных

Полезно узнать, кто может быть заинтересован в создании и наполнении базы данных с нужной вам информацией.

Хакни поиск 

При поиске баз данных, добавьте в поисковый запрос фразу «database OR directory OR catalogue OR list». Но помните, что таким образом стоит искать только саму базу данных, а не конкретную информацию из нее. 

Используй Википедию

Найдите вашу тему в Википедии. Проверьте раздел «Ссылки» под статьей внизу – там можно найти перечни некоторых нужных вам баз данных. Помните, что некоторые категории в Википедии тоже ведут к информации о базах данных.

Например: 

https://en.wikipedia.org/wiki/Category:Databases

https://en.wikipedia.org/wiki/Category:Digital_libraries

https://en.wikipedia.org/wiki/Category:Scholarly_databases

В Википедии вы также можете найти списки баз данных. Например, список научных баз данных и список онлайн-баз данных

Ищи списки баз данных

При поиске на английском языке введите в поисковик фразу «a * z database». Такой запрос возвращает список баз данных «от A до Z».

Помните о городских и университетских библиотеках: они могут иметь доступ к различным научным базам данных по подписке. А еще в библиотеках можно получить доступ к научным работам и проверить на плагиат диссертации интересующих вас людей.

Носители немецкого языка могут использовать «хранилище баз данных». Например, Университет Регенсбурга даёт ссылки на более чем 10000 таких баз. 

Помните о городских и университетских библиотеках: они могут иметь доступ к различным научным базам данных по подписке. А еще в библиотеках можно получить доступ к научным работам и проверить на плагиат диссертации интересующих вас людей.

Носители немецкого языка могут использовать «хранилище баз данных». Например, Университет Регенсбурга даёт ссылки на более чем 10000 таких баз. 

БОНУС

Полезный сайт www.startpage.com. Если для вас важна приватность, и вы хотите выполнять поиск анонимно, голландская компания Startpage осуществляет поиск на платформе Google, не передавая поисковику вашу личные данные. 

Альбрехт перечисляет базы данных, которые вы обязательно должны знать:

Архивы являются одним из лучших инструментов для поиска информации, особенно страниц, которые были удалены. Например, вы можете найти информацию, которую компания могла удалить или изменить после определенного события.  На Wayback Machine вы сможете найти  заархивированные страницы. 

IANA Root Zone Database – сайт, на котором можно проверить владельца домена. 

WorldCat – глобальный каталог библиотек, в котором можно найти любую опубликованную книгу.  WorldCat’s Identities – удобная система поиска по именам и названиям. 

Common Vulnerabilities and Exposures – отличная база данных для отслеживания интернет-мошенничества, она содержит «все известные случаи утечки информации», говорит Уде. 

Tenders Electronic Daily – крупнейшая база тендеров Европейского Союза. На этом ресурсе вы найдёте информацию о том, на какие проекты ЕС тратит деньги. База разработана для инвесторов, ежедневно обновляется.

Directory of Open Access Journals – база данных научных изданий. Каталог журналов открытого доступа, индексирует рецензируемые научные журналы, статьи которых доступны бесплатно.

Национальные библиотеки могут быть отличным ресурсом для поиска баз данных. В Википедии есть список национальных и государственных библиотек.

Немецкое новостное издание Zeit Online собрало все названия немецких улиц с помощью OpenStreetMap.  Если вы знаете только название улицы, но не город, этот ресурс может вам пригодиться.

Posted on October 7, 2019 in blog

Back to Top