ITは遊び

毎日パソコンのことばかり考えてる

Webページ収集

Webページを自動収集、解析する仕組みを作るー1日目

Webページから定期的に情報を収集し、それをDBに溜めて、解析していみたいという要求が出てきた。しかし、wgetとかでWebからHTMLダウンロードして、そのHTMLを解析するのは相当な苦労になりそうと思った。なので、なるべく自分がすでに持っているWebの能力で…