[Kiến trúc BigData] Giải pháp dự đoán nhu cầu cho Phòng kinh doanh xe máy Honda Vĩnh Phúc.

#bigdata_testing

BigData testing: về data analytics cho Phòng kinh doanh xe máy Honda Vĩnh Phúc.

Yêu cầu trình độ:
– Biết các khái niệm kiểm định cơ bản
– Biết áp dụng MLlib vào cho project Scala trên môi trường HDFS
– Biết các thuật toán phân tích xác suất thống kê logistic regression, decision tree, Naive Bayes

Yêu cầu bài toán:

– Mỗi ngày có 3 triệu bản ghi từ hơn 300K chi nhánh toàn quốc gửi về Công ty mẹ.
– Thu thập và phân tích dự đoán ra công thức của người tiêu dùng.

Chiến lược:
– Dùng ứng dụng thực tế + thuật toán dự đoán MLlib của Spark để show kết quả
– Xác nhận dữ liệu streaming là valid, dự đoán kết quả là valid. Dùng SQL để check kết quả trong db; dùng chart để validate thuật toán dự đoán
– Xác nhận tốc độ ứng dụng là tương đương 1TB/giây

Cách làm:
– Dựng HDFS native cho môi trường Ubuntu, lấy dũ liệu từ ERP (cỡ 70k bảng dữ liệu)
– Cài Scala + Spark, làm mịn dữ liệu
– Cấu hình build config
– Review code và xem kết quả sau khi compile, visualize ra tableau

– Phân tích đúng sai: chart biểu đồ dự đoán khi áp dụng logistic regression với data, xem clip từ đây: https://youtu.be/xDtERF6lx6w?list=PL751V5I3RIDFwgpwl-wvBEDsOd8w5TB75&t=998

– Xem tốc độ của ứng dụng đạt chuẩn BigData, dùng Jmeter: xem https://youtu.be/D8mPFH5P0Ho?list=PL751V5I3RIDFwgpwl-wvBEDsOd8w5TB75&t=2034

Phục vụ khoá học LiveStream BigData testing
(Link đăng ký: https://www.testerpro.org/edu/course/view.php?id=34)

Leave a Reply

Your email address will not be published. Required fields are marked *