Webスクレイピング[備忘録]
タイトル通り備忘録です。
Node.jsのcherioとrequestでスクレイピングする。
// cherio 本体
npm : npm install cherio request
yarn : yarn add cherio request
codeを見ると$(jQuery)みたいに処理を記載していく。
なので、上記ライブラリに触れる人には取っ付きやすいと思う(自分に説明をするつもり)。
index.js
const cherio = require('cherio')
// 私はテクノロジー系の話が好きなのでこれを選択。
const url = 'https://news.google.com/search?q=technology&hl=ja&gl=JP&ceid=JP%3Aja'
//request
request( url, (error, response, body)=>{
if (!e) {
try {
const $ = cherio.load(body)
const titles = $('.DY5T1d')
/*
index = ニュースインデックス, element = eachで取得した生データの塊
イメージは、[塊,塊,塊,.......,塊]
*/
$(titles).each((index,element ) => {
const title = $(element)
// indexは0スタート、なので+1で見栄え調整。
console.log(`[${index+1}] : ${title.text()}`)
}
}
})
結果は、2021-09-26 現在
[1] : 究極な物流に近づくモバイルロジスティクスソリューション
[2] : 産業用ロボット・自動化システムの専門展「ROBOT TECHNOLOGY JAPAN2022」愛知県で開催へ 出展社募集
[3] : Payment Technologyが弁護士ドットコムと販売代理店契約を締結。クレジットカード決済型振込代行サービスを「税理士ドットコム」の顧客に対して案内。
[4] : 不動産テックの FANTAS technology、2023年度新卒採用開始、不動産業界のCX人材確保を目指し、今年度より総合職での採用開始
[5] : Ｓｋｙ株式会社主催のオンラインイベント「Sky Technology Fair Virtual 2021」を7月12日より開催いたします
[6] : Sky、オンラインイベント「Sky Technology Fair Virtual 2021」が開幕（BCN） - Yahoo!ニュース
[7] : オトバンク、PKSHA Technologyの技術を活用したAI音声合成サービスを開始
[8] : 「Geolocation Technology（ジオロケーションテクノロジー）」のIPO情報総まとめ！スケジュールから幹事証券、注目度、銘柄分析、他のウェブマーケティングサービス企業との比較や予想まで解説！
[9] : 【9月1日（水）開催】オンラインイベント「Sky Technology Fair Virtual 2021」にて、「加速するDX」パネルディスカッションを配信します
[10] : 梶山経済産業大臣がGlobal Technology Governance Summitに出席しました （METI
[11] : SAP Business Technology Platform（SAP BTP）とは？ 「脱・PoC」の秘策になるか
[12] : CNCFがシークレット管理をテーマとするTechnology Radarの最新版を発行
[13] : 国内にいながらViva Technology（パリ開催）参加の効果を得られる、Viva Technology主催者公認サイドイベントを札幌で開催！
[14] : Responsible Use of Technology: The Microsoft Case Study
[15] : TBM（Technology Business Management）とは何か？誕生の背景と概要
[16] : オンラインイベント「Sky Technology Fair Virtual 2021」にて、スペシャルライブ企画「CASE時代の車載システム開発」を公開します
[17] : 【新商品発表会】オシャレなデザインが話題になったロンドン発ワイヤレスイヤホンをついに公開！Nothing technology社が7月27日のオンライン製品発表会を告知
[18] : Sky、「Sky Technology Fair 2020 Virtual」の結果を報告
[19] : 【新商品発売】日本上陸決定！ロンドン発新鋭デジタル製品ブランドNothing新作ワイヤレスイヤホンear（1）ついに詳細公開！日本語公式サイトも本日オープン！
[20] : 欧州最大のテックカンファレンス、Viva Technologyが2年ぶりに開催！ 13社の日本発スタートアップが出展！
[21] : 新卒の即戦力化を目指す仕掛けとは？FANTAS technologyの目指すニューノーマルな採用手法と育成プログラムの裏側
[22] : INNOVATION & DXで日本を加速させる、「DN Technology & Innovation株式会社」を創業！
[23] : 【PKSHA Technology】高収益を生み出す大注目のAI上場企業に迫る | AI専門ニュースメディア AINOW
[24] : 【ホンダF1】フランスGPからPUに『Honda e:TECHNOLOGY』のブランディング。マシンにも新ロゴ掲示（motorsport.com 日本版） - Yahoo!ニュース
[25] : VLSIシンポジウム2021プレビュー(4) VLSI TechnologyシンポジウムにおけるAI/ML分野の注目論文レビュー
[26] : NTT e-Drone Technology始動 新HP開設、国交省「管理団体」にも登場 | DroneTribune (ドローントリビューン)
[27] : FANTAS technology「地域の空き家の可能性見える化プロジェクト」が国土交通省「住宅市場を活用した空き家対策モデル事業」に採択
[28] : 保険金詐欺と戦うAIを開発するShift Technologyが1090億円を超える評価で240億円調達
[29] : IDOM子会社IDOM CaaS Technology、新経営体制へ。CaaS事業の成長戦略を強化。国産新車を取り扱う新サービスもスタート。
[30] : VLSIシンポジウム2021プレビュー(3) VLSI Technologyシンポジウムにおける先端CMOS分野の注目論文プレビュー
[31] : スマホ・PC等の買取販売店「じゃんぱら」 Warrantytechnologyと保証業務の委託契約を締結 スマートフォン・タブレット向け保証サービスを4月26日より開始
[32] : Pinmicro、アンリツ株式会社が開催するオンラインカンファレンス「Anritsu Technology Show」にオンラインイベント管理・運営プラットフォームを提供
[33] : AuterionとＮＴＴ e-Drone Technology、戦略的提携に合意 ～スマート農業やインフラ管理を加速する次世代ドローンの実現に向けた包括的なパートナーシップを構築～：紀伊民報AGARA
[34] : CTCがGorillaのエッジAIでデジタルトランスフォーメーションを実現
[35] : IDOM子会社 IDOM CaaS Technology、コロナ禍で利用頻度が減少する法人営業車を有効活用した「コミュニティカーシェア」サービスの提供を2020年12月1日より開始
[36] : WPIC Technology Japan合同会社のプレスリリース
[37] : スタディサプリ、 Google for Education(TM)Technology Partner のHighly Qualified Partnerに認定
[38] : DXを阻むITとOT（Operational Technology）の文化の壁を乗り越えるには？
[39] : ｢えっすごい｣ソニー初の“Technology Day”で公開したワクワクの未来技術
[40] : Geolocation Technology社、静岡県松崎町と地方創生に関する包括連携協定を締結
[41] : 株式会社テリロジー、VNCS Global Solution Technology Joint Stock Companyとの3社間で事業協力
[42] : SOKO LIFE TECHNOLOGY株式会社の玉置 光幸氏の執行役員就任について
[43] : IDOM、子会社のIDOM CaaS Technologyの第三者割当増資を実施。価値共創を軸にCaaS事業の成長戦略を加速。
[44] : ［台湾編］OSENSE TECHNOLOGY王氏／起業は目標と理想に達する近道
[45] : The Internet of Bodies Is Here: Tackling new challenges of technology governance
[46] : SaaSインテグレーションサービス「Hexalink」を提供するBeee Technology、複数のベンチャーキャピタル等から8000万円の資金調達を実施
[47] : APN Technology Partner of the Year 受賞企業紹介 | Amazon Web Services
[48] : New Vision for Education: Fostering Social and Emotional Learning Through Technology
[49] : 科学・テクノロジー
[50] : 博報堂DYグループが「Sports Technology Lab」を設立。Preferred Networksの技術を活用しスポーツ × AIを加速
[51] : 世界のスマートフォンODMとIDH業界、Wingtech、Huaqin、Longcheerが2019年も引き続き独占
[52] : ネットモールで充電式掃除機用として販売されたSHENZHEN OLLOP TECHNOLOGY社製バッテリーパックの使用を中止してください （METI
[53] : AIで生損保の不正請求を検知するShift Technologyの「Force」
[54] : IBMがGlobal Technology Servicesグループの大変革を計画中か？
[55] : Phono Solar Technology Co., Ltd.ゼネラルマネージャー 趙興国（チョウコウコク）氏ご登壇！大好評の「PVビジネスセミナー」が12月3日に開催されました。
[56] : 株式会社ビックカメラと業務提携
これで、欲しかったGoogleニュースサイトのタイトルを取得できた。
応用していくとイメージ取得やaタグから、ニュースを情報元から取得可能。
catch + finalyも追加して、しっかり書けばエラーが起きない形にできる。
やり方次第では、面白いものが作れそう。
関連を芋づる式に取得するもの作りたい。(完全な自己満)
本日は以上です。
↧