יצירת webscraper על האתר http://quotes.toscrape.com/ ואיחסון באמצעות microservices.
microservices:
-
downloader
-
spiders
-
pipelines
-
rabbitmq
-
mongodb
- הservice ישלח בקשות HTTP ע"י הוספת הrequest לqueue בשם
Requests
rabbitmq. - הservice יאזין לqueue בשם
Responses
בrabbitmq, יעבד את הresponse ובמידת הצורך ישלח בקשות נוספות כמפורט בסעיף 1
- יאזין לqueue בשם
Requests
בrabbitmq ישלח את הבקשה לאינטרנט - כשתיתקבל תשובה לבקשה הוא יוסיף אותו לqueue בשם
Responses
- שרת שמקבל בקשות
POST
דרך endpoint: items.
POST /items/<collection: str>/<document_id: str>
body:
אובייקט JSON של הפרטים לגבי המוצר
- type: object
כל הודעה היא string של JSON מהפורמט הבא:
{
method: str
url: str
body?: any
}
כל הודעה היא string של JSON מהפורמט הבא:
{
request: Request // לפי הפורמט שמפורט בפרטוקול של `Requests` Queue
body: any
}