New Python プログラミング

【Python】Yahooニュースをスクレイピングしてトップニュースを取得する

2021-10-07

スポンサーリンク

皆さんこんにちは。いし(@ishilog2)です。

今回はPythonを用いて、Yahoo天気からデータ取得したいと思います。

スクレイピングが禁止されているWEBページもあるのでお気を付けください。

事前準備

今回のサンプルではrequestsとBeautifulSoup,Pandasを使用します。
インストールしていない方はインストールして下さい。

実践

実施すること

YahooニュースからトップニュースのタイトルとURLを取得します。
https://news.yahoo.co.jp/

上記画像の黄色の枠内をスクレイピングします。

サンプルコード

このサンプルを使用すると次のような結果が取得できます。

解説

① requestsを用いてHTMLを取得
requests.get('URL')でYahoo天気のHTML情報を全て取得します。取得した内容を変数rに格納しています。

② BeautifulSoupを使用してhtml形式にパース
①で習得したHTMLからBeautifulSoupオブジェクトを作成します。

③ データの抽出
"news.yahoo.co.jp/pickup'"というリンクが付いている内容を変数rsに格納します。

④ 空のデータフレームの作成
保存用するためのデータフレームを作成します。

⑤ データフレームへ見出しとURLを追加

スポンサーリンク

-New, Python, プログラミング
-, , ,