一，訂單中心

1，調(diào)撥單

融通(Rocketmq)-訂單中心：ECC_BMS123(已出單)，125(分配),127(發(fā)貨),129(收貨)
通過RocketMq接入多場(chǎng)景訂單數(shù)據(jù)

2，銷售單

sap（FTP）-訂單中心，下發(fā)1002,1003,1004接口
Job定時(shí)讀取FTP XML文件，解析，各訂單類型實(shí)現(xiàn)自己的業(yè)務(wù)
類型：sap bms b2b shibai；連接不同F(xiàn)TP，讀取不同業(yè)務(wù)類型路徑下數(shù)據(jù)，下載，解析，不同訂單各自處理，移動(dòng)已處理文件。設(shè)計(jì)模式：枚舉 + 策略 + 模版

3，主數(shù)據(jù)替換

所有主數(shù)據(jù)替換，原來查詢數(shù)據(jù)庫，現(xiàn)在統(tǒng)一查詢商品接口，查詢Redis或者ES

【調(diào)撥單】

數(shù)據(jù)層級(jí)：供應(yīng)商 采購組織 大區(qū) 門店 商品分類 商品 。門店：商品 1:N

1.1，店間調(diào)撥單下傳ECC_BMS123

【正常流程】

● 落原始數(shù)據(jù)
?狀態(tài)流：延時(shí)待處理/延時(shí)已處理/未使用/已使用/延時(shí)異常數(shù)據(jù)
?說明：入庫門店商品信息不存在，下發(fā)門店商品信息小于實(shí)際查詢到的門店商品信息（延時(shí)待處理，流程結(jié)束，否則未使用）
● 主數(shù)據(jù)查詢，組裝數(shù)據(jù)，分批查詢2000一批
查詢商品中心，門店商品
查詢供應(yīng)商中心，根據(jù)供應(yīng)商編碼和采購組織查詢方案組
查詢價(jià)格中心，根據(jù)供應(yīng)商門店商品
● 組裝數(shù)據(jù)并寫入訂單明細(xì)跟蹤（核心跟蹤訂單整個(gè)流程）
狀態(tài)流：80-已取消 10 -待審核 20 -已審核 30 -已出單 40 -待發(fā)貨/已分配 50 -待收貨 60 -已收貨 70 -已完成
初始狀態(tài)：已出單
A：分表，根據(jù)大類分表，生鮮11 食百1213
B：訂單明細(xì)跟蹤同步ES，批量操作
● 增加在途
A：通過MQ發(fā)送庫存中心更新庫存信息（Topic/tags/source/key/msg）
B：異常消息記錄，異?；蛘甙l(fā)送結(jié)果狀態(tài)非OK，封裝多種場(chǎng)景
C：JOB定時(shí)批量補(bǔ)償異常消息，重新發(fā)送

【異常流程】

1，JOB檢查123異常數(shù)據(jù)，補(bǔ)償處理，門店商品數(shù)據(jù)是否正常
2，超過3天未處理，同步異常單數(shù)據(jù)到ES
3，補(bǔ)償細(xì)節(jié)：
每次處理一定的量10條；
查詢訂單號(hào)，再根據(jù)訂單號(hào)查詢數(shù)據(jù)，充分利用索引；
限定創(chuàng)建時(shí)間，近期；
根據(jù)更新時(shí)間排序，循環(huán)處理

1.2，店間調(diào)撥單出庫單出庫數(shù)量上傳 125

【正常流程】
查詢123基礎(chǔ)數(shù)據(jù)，檢查數(shù)據(jù)完整性
檢查下發(fā)數(shù)量和申請(qǐng)數(shù)據(jù)（123）是否一致，否，同步ES異常數(shù)據(jù)
查詢訂單明細(xì)跟蹤，并更新
更新123狀態(tài)為已使用，樂觀鎖
扣減庫存，MQ，正向/反向庫存標(biāo)識(shí)，加或者減

【異常單流程】
JOB補(bǔ)償

1.3，SAP銷售退貨單的DN下傳云POS & 店間調(diào)撥過賬后的交貨單下傳

1.4，店間調(diào)撥入庫單的入庫數(shù)量上傳

2. 銷售單：sap（FTP），以1004為例，下發(fā)發(fā)貨指令
發(fā)貨單商品數(shù)量，訂單維度匹配訂單明細(xì)跟蹤該訂單號(hào)所有明細(xì)商品數(shù)量。
場(chǎng)景：下發(fā)0->直接關(guān)單；匹配->完成訂單；不匹配->延時(shí)數(shù)據(jù)，JOB定時(shí)處理
更新訂單明細(xì)跟蹤
更新庫存MQ

二，獨(dú)立活動(dòng)類

1，生鮮價(jià)格動(dòng)態(tài)：app活動(dòng)
2，詠悅匯酒會(huì)（獨(dú)立設(shè)計(jì)開發(fā)）：app活動(dòng)，門店茅臺(tái)，洋酒，百威暗碼換購活動(dòng)

三，報(bào)表

1，商品資料非實(shí)時(shí)報(bào)表：大數(shù)據(jù)通過binlog同步主數(shù)據(jù)到es，批量查詢多個(gè)索引數(shù)據(jù)。
2，巡檢報(bào)表：查詢es數(shù)據(jù)，大數(shù)據(jù)推送數(shù)據(jù)到es，根據(jù)不同維度分組，求和，聚合求和，聚合求和后再合計(jì)，聚合后排序，總計(jì)，分頁（from/search_after）。

四，渠道/商品中心

對(duì)接云創(chuàng)系統(tǒng)：渠道標(biāo)識(shí)同步云創(chuàng)。云創(chuàng)系統(tǒng)-渠道中心(MQ)-渠道同步中心
封裝大量es查詢接口

五，爬蟲

重構(gòu)大數(shù)據(jù)爬蟲框架，使用java Gecco框架二次開發(fā)。
1.爬取內(nèi)容：樸樸，多點(diǎn)，每日優(yōu)化，京東，盒馬鮮生?
2.數(shù)據(jù)處理：抓取數(shù)據(jù)發(fā)送kafka消息，推送給大數(shù)據(jù)。flume消費(fèi)kafka消息到hdfs，同步到hive，hue查看數(shù)據(jù)。3.代理ip處理