Читайте статті за платними стінами, маскуючись як Googlebot

Інтернет є переломним. Постійний підйом рекламних блоків поклав край дохідній моделі, яка покладається виключно на рекламні долари для роботи веб-сайтів та підприємств.

Особливо сайти новин почали експериментувати із способами диверсифікації джерел доходу. Одним із важливих варіантів, який застосовують сайти, такі як The Wall Street Journal, Financial Times, New York Times або The Washington Post, є система оплати праці.

Існують різні типи оплати праці, але всі вони мають спільне те, що вони блокують доступ до вмісту безпосередньо або після того, як на сайті прочитано певну кількість статей.

Потім відвідувачів просять підписатися на сайт, щоб продовжити читання статей на ньому.

З точки зору бізнесу це може мати сенс і може бути вигідніше, ніж боротися з ним із користувачами, які керують адблокерами, але є і його недолік як для сайту, що платить, так і заблокованого користувача.

Сайти втрачають високий відсоток відвідувачів, якщо впроваджують систему оплати. Незрозуміло, наскільки насправді високий відсоток, і він, ймовірно, варіюється від сайту до сайту, але він, ймовірно, набагато перевищує відсоток відвідувачів, які підписалися на сайт після того, як їм було запропоновано вибір підписатися на прочитання потрібної статті.

Замаскуйте браузер

Не секрет, що сайти новин дозволяють отримати доступ до агрегаторів новин та пошукових систем. Якщо ви перевірите, наприклад, Новини Google або Пошук, ви знайдете статті із веб-сайтів із платними стінами, переліченими там.

У минулому веб-сайти новин дозволяли отримувати доступ до відвідувачів, що надходили від великих агрегаторів новин, таких як Reddit, Digg або Slashdot, але ця практика здається такою ж доброю, як і мертві.

Ще одна хитрість - вставити заголовок статті в пошукову систему, щоб безпосередньо читати кешовану історію на ній, здається, вже не працює належним чином, так як статті на сайтах із платними стінами зазвичай більше не кешуються.

Оновлення : The Wall Street Journal оголосив, що він заткне отвір, описаний нижче. Ви все ще можете читати статті за платною стіною сайту, однак, використовуючи наступний метод:

  1. Натисніть F12, коли ви перебуваєте на сторінці статті із відрізаною статтею, і прохання підписатися, щоб прочитати її повністю.
  2. Відкрийте вкладку консолі.
  3. Вставити javascript: window.location = "// m.facebook.com/l.php?u="+encodeURIComponent(window.location.href);
  4. Натисніть Enter.

Сторінка має бути перезавантажена, а стаття завантажена повністю. Ви також можете опублікувати посилання на статтю у Facebook, наприклад, у новому дописі, яке бачите лише ви. Клацнувши на розміщеному посиланні, слід повністю завантажити статтю на веб-сайт The Wall Street Journal.

Користувач-агент та референт

Напевно, вам цікаво, як сайти блокують або дозволяють доступ до вмісту сайту. Методи вдосконалювалися з роками, і вже недостатньо просто змінити реферал браузера на //www.google.com/, щоб отримати повний доступ до вмісту сайту.

Натомість веб-сайти використовують різні перевірки, які включають у себе агент-користувач, референс та файли cookie, а іноді навіть більше того, щоб визначити легітимність доступу.

Загальна інформація

Напевно, найкращий спосіб замаскувати браузер - це зробити так, щоб він здавався Googlebot.

  • Довідник: //www.google.com/
  • Користувач-агент: Mozilla / 5.0 (сумісний; Googlebot / 2.1; + // www.google.com/bot.html

Firefox

Для цього користувачі Firefox потребують двох додатків для браузера: перший, RefControl, щоб змінити значення перенаправлення під час відвідування новинних сайтів, другий, перемикач агентних агентів, щоб змінити користувацького агента браузера.

  1. Завантажте та встановіть обидва розширення у веб-браузері Firefox.
  2. Торкніться клавіші Alt та виберіть Інструменти> Параметри RefControl.
  3. Клацніть на "Додати сайт", введіть ім'я домену під веб-сайтом, виберіть спеціальну дію та введіть //www.google.com/ як реферала.
  4. Повторіть це для всіх новинних сайтів, до яких ви хочете отримати доступ (деякі можуть не працювати, навіть якщо ви внесете зміни, тому пам’ятайте про це).
  5. Закінчивши, закрийте вікно конфігурації.
  6. Знову натисніть клавішу Alt та виберіть у меню Інструменти> Агент користувача за замовчуванням> Редагувати агенти користувача.
  7. Виберіть New> User Agent та замініть рядок у полі User Agent на Mozilla / 5.0 (сумісний; Googlebot / 2.1; + // www.google.com/bot.html). Назвіть це Googlebot.
  8. Вийдіть з меню.
  9. Перш ніж отримати доступ до цих сайтів, натисніть Alt і виберіть Агент користувача за замовчуванням> Googlebot.

Це все, що там є. Трохи прикро, що для Firefox не існує розширення, яке автоматично змінює агент користувача на основі відвідуваних вами сайтів.

Гугл хром

Користувачі Google Chrome можуть встановлювати розширення, такі як перемикач агентних агентів та контроль реферерів, які доступні для веб-переглядача.

Однак є й інша можливість, а це створити спеціальне розширення, яке автоматизує процес у браузері.

Інструкції надані на Elaineou. Все, що потрібно, - це створити новий каталог на локальному комп'ютері, створити два файли background.js і manifest.json всередині нього, а також скопіювати та вставити код, знайдений на сайті, у файли.

Потрібно ввімкнути "режим розробника" на chrome: // extensions /, а потім вибрати "load unpacked extension", щоб вибрати папку, у яку ви створили два файли, щоб завантажити розширення в Chrome.

Ви можете змінити список веб-сайтів, які він підтримує, щоб додати нові.