MENU

【Python】CentOS7でrequests,beautifulsoup4をダウンロードしてスクレピングする手順

どうも、こんにちは。

CentOS7でPythonのrequestsとbeautifulsoup4をダウンロードしてスクレイピングする環境を整える話をしたいと思います。

慣れている人にとってはどうでもいいような内容だと思うのですが、初めてvpsサーバーを触ってPythonを始めようと思う人にはどうやってやれば良いのか迷うと思うので書き残しておきたいと思います。

といってもすごく簡単にできてしまいます。

目次

Python3をダウンロードする

まずはPython3をダウンロードします。

そのためにyumを使うのですが、これはPython2があればできます。

そして、元々CentOS7にはPython2が入っています。

なので、すぐにコマンドラインでyumを使うことができます。

コマンドラインでサーバーにssh接続します。

この時、root権限でのログインができない状態にしてあるのなら一般ユーザーから入ってsu – を打ってroot権限にします。

そして、

yum install python3

をコマンドラインに打ちます。

これでPython3のダウンロードができます。

requestsのダウンロードをする

スクレピングをするときに対象webサイトにアクセスするためのrequestsモジュールをダウンロードします。

python3を上記でダウンロードしたらpip3ができるようになっています。

そこで、コマンドラインで、

pip3 install requests

を入力します。

これでダウンロードが完了します。

pip3の3を忘れないようにすることがここでの最大のコツです(結構忘れてしまいます)。

beautifulsoup4をダウンロードする

次にスクレピングしてきた情報を整理するためにbeautifulsoup4をダウンロードします

これも簡単です。

コマンドラインで、

pip3 install beautifulsoup4

と入力して完了です。

まとめ

まとめると、

yum install python3

pip3 install requests

pip3 install beautifulsoup4

この3つを順にコマンドラインに入力するだけです。

以上です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次