Social Crawling Architecture on Cloud Platform

QSearch 專注於社群網路分析，資料收集是QSearch 的基礎核心，為了分析廣大且即時社群網路資料，系統的選擇與演算法的設計一直是QSearch 技術端專研的方向，讓用戶能即時取得趨勢。 Crawling System 是一個網路機器人系統性地抓取網路上的資訊，包含圖片與文字，這些資訊再被運用在搜尋引擎或數據分析系統。簡單來說，就是寫程式下載網頁內容。隨著網路蓬勃發展，網頁的數量也大量增加，許多機構為了分析網頁的內容，會設計一大型爬蟲( Crawlers ) 去抓取特定網站的內容，由於抓到的內容是給機器看而非直接給人閱讀，對於網站供應商而言是增加流量成本。在講求效率的世界，部分網站供應商調查這些機器人都在抓取哪些資料，轉而提供 API服務，讓網路機器人能有效率抓取重要的資訊，提升抓取效率後，也降低網站供應商負擔。 QSearch 服務整體建置在 Google Cloud Platform 上，爬蟲系統善用 Google App Engine, Google Managed VM 與 Google Compute Engine，每日至少有 100GB 資料必須進入QSearch 系統，結合上述的…