Введение в веб-скрапинг с BeautifulSoup в Python

Краткое введение

Веб-скрапинг — это процесс извлечения данных с веб-страниц. С помощью BeautifulSoup и Python вы можете автоматизировать процесс сбора информации из интернета, что является мощным навыком в области анализа данных и автоматизации.

Теоретическая часть

Основы BeautifulSoup

BeautifulSoup — это библиотека Python, которая облегчает парсинг HTML и XML документов. Она создает дерево синтаксического разбора для страниц, что позволяет легко доступиться к нужным данным.

Парсинг HTML с BeautifulSoup

Научитесь использовать методы BeautifulSoup для навигации по дереву разбора, поиска и извлечения данных из HTML.

Примеры кода

# Пример извлечения заголовков с веб-страницы
from bs4 import BeautifulSoup
import requests

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

for headline in soup.find_all('h1'):
 print(headline.text.strip())

Практические задания

1. Создайте скрипт для сбора новостных заголовков с вашего любимого новостного сайта.
2. Напишите программу, которая извлекает и выводит все ссылки с заданной веб-страницы.

Решение задания

# Сбор новостных заголовков
url = 'https://news.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

for headline in soup.find_all('h2'): # Предполагая, что заголовки находятся в тегах h2
 print(headline.text.strip())

# Извлечение всех ссылок с веб-страницы
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

for link in soup.find_all('a'):
 print(link.get('href'))