10月27-28日，由高校畢業(yè)生就業(yè)協(xié)會(huì)主辦，江南大學(xué)、江蘇信息職業(yè)技術(shù)學(xué)院等承辦的高校畢業(yè)生就業(yè)協(xié)會(huì)教育數(shù)字化服務(wù)工作委員會(huì)暨高校教育數(shù)字化轉(zhuǎn)型與人才培養(yǎng)論壇在江蘇省無(wú)錫市圓滿召開(kāi)，迪塔維作為支持單位受邀出席。席間，迪小數(shù)發(fā)現(xiàn)很多老師對(duì)我們的“職業(yè)院校大數(shù)據(jù)中心”建設(shè)方案非常感興趣，所以本期話題，我們就本著探究與學(xué)習(xí)的態(tài)度，與大家一起聊聊《全國(guó)職業(yè)院校大數(shù)據(jù)中心建設(shè)指南》（以下簡(jiǎn)稱“指南”）中的…

上期我們講到了高校數(shù)據(jù)中臺(tái)“要不要遷移”和“怎么遷移”的問(wèn)題，因?yàn)槠拗疲霸趺催w移”只介紹到了數(shù)據(jù)湖集成的部分。其實(shí)數(shù)據(jù)湖集成的關(guān)鍵在于梳理業(yè)務(wù)系統(tǒng)入湖的需求（范圍要求、實(shí)時(shí)性要求）和按需進(jìn)行入湖策略的設(shè)置，這部分因?yàn)樵陂_(kāi)發(fā)過(guò)程中我們就把復(fù)雜的代碼過(guò)程轉(zhuǎn)換成了可供選擇的配置項(xiàng)，所以操作起來(lái)難度應(yīng)該不大。 之后的標(biāo)準(zhǔn)層遷移、下行接口遷移、質(zhì)量規(guī)則遷移和A尸l接口遷移因?yàn)樯婕暗酱a標(biāo)準(zhǔn)&數(shù)…

雄關(guān)漫道真如鐵，而今邁步從頭越 高校數(shù)據(jù)治理是一項(xiàng)長(zhǎng)期而龐雜的工程，早期由于建設(shè)經(jīng)驗(yàn)不足，大家普遍經(jīng)歷了共享數(shù)據(jù)庫(kù)、主數(shù)據(jù)平臺(tái)、大數(shù)據(jù)平臺(tái)等“邊走邊建”的過(guò)程，因?yàn)榻ㄔO(shè)年代不同、承建廠商不同、數(shù)據(jù)庫(kù)類(lèi)型不同、代碼標(biāo)準(zhǔn)不一造成了數(shù)據(jù)治理“看似全、實(shí)則亂”的局面。 “數(shù)據(jù)中臺(tái)”因其高度規(guī)范集約的特性大火之后，很多高校便面臨了新的選擇困境：數(shù)據(jù)中臺(tái)要不要遷移升級(jí)？怎么遷移？ 對(duì)于“要不要升級(jí)”這個(gè)問(wèn)題，…

上一篇文章中我們介紹了高校信息化共享數(shù)據(jù)平臺(tái)的相關(guān)情況，本來(lái)應(yīng)該要繼續(xù)聊大數(shù)據(jù)平臺(tái)了，不過(guò)今天我想先插播一則“廣告”，你、你、你還記得“大明湖畔的高基報(bào)表”嗎？為什么插播？因?yàn)樵诠蚕頂?shù)據(jù)平臺(tái)、主數(shù)據(jù)平臺(tái)的建設(shè)階段，前端的數(shù)據(jù)應(yīng)用很難繞開(kāi)“報(bào)表”二字，報(bào)表，尤其是高基報(bào)表，是那個(gè)時(shí)代的印記。 報(bào)表作為數(shù)據(jù)倉(cāng)庫(kù)最為經(jīng)典的應(yīng)用場(chǎng)景，到目前為止也是各行各業(yè)最重要數(shù)據(jù)價(jià)值輸出形式之一。不過(guò)報(bào)表這個(gè)詞應(yīng)該拆開(kāi)…

共享數(shù)據(jù)平臺(tái)&主數(shù)據(jù)平臺(tái) 在DataV數(shù)據(jù)之路文章連載第一篇關(guān)于數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)概念介紹的文章中，我們提到數(shù)據(jù)倉(cāng)庫(kù)的理論自始至終貫穿了數(shù)據(jù)技術(shù)的整個(gè)發(fā)展脈絡(luò)。在教育信息化領(lǐng)域中，數(shù)據(jù)倉(cāng)庫(kù)的落地和演變過(guò)程也很有既視感。 啟蒙階段：共享數(shù)據(jù)平臺(tái) 在2000年-2010年（粗略估計(jì)，不要抬杠），教育信息化整體處于啟蒙階段，被廣泛認(rèn)可的建設(shè)方針是“硬件集群、數(shù)據(jù)集成、應(yīng)用集中”，在這樣的指導(dǎo)方針下，教…

南京迪塔維數(shù)據(jù)技術(shù)有限公司，以數(shù)據(jù)之路為初心，自2014年成立以來(lái)，經(jīng)過(guò)7年多的深耕，公司秉承著“孜孜問(wèn)道，數(shù)業(yè)專(zhuān)攻”的理念，在數(shù)據(jù)技術(shù)上不斷顛覆力求精進(jìn)，在產(chǎn)品理念上也堅(jiān)持了 “客戶定義產(chǎn)品”的發(fā)展思路，逐步在數(shù)據(jù)技術(shù)和教育行業(yè)的交叉口站穩(wěn)腳跟。           經(jīng)過(guò)7年的發(fā)展與技術(shù)積累，公司在數(shù)據(jù)技術(shù)和數(shù)據(jù)相關(guān)產(chǎn)品上做了大量的創(chuàng)新和迭代，公…

首先，簡(jiǎn)單了解一下大數(shù)據(jù)時(shí)代下的數(shù)據(jù)檢索。 在如今的大數(shù)據(jù)時(shí)代，信息量爆炸、數(shù)據(jù)增長(zhǎng)迅猛，如何在動(dòng)輒上T、上P的數(shù)據(jù)量上實(shí)現(xiàn)信息的快速查詢檢索成為大數(shù)據(jù)技術(shù)中的核心命題之一。 在大數(shù)據(jù)的技術(shù)體系下信息管理部門(mén)一般會(huì)選擇使用主流的開(kāi)源組件ELK作為非結(jié)構(gòu)數(shù)據(jù)的查詢檢索渠道，ELK由Elasticsearch、Logstash和Kibana三部分組件組成； Elasticsearch，簡(jiǎn)稱ES，是個(gè)開(kāi)…

工業(yè)產(chǎn)品未來(lái)銷(xiāo)售情況預(yù)測(cè)模型以過(guò)去數(shù)年的歷史銷(xiāo)售數(shù)據(jù)為支撐，數(shù)據(jù)涉及客戶訂單、原材料、生產(chǎn)、規(guī)程、質(zhì)量、銷(xiāo)售、成本、收益等多種類(lèi)型，這些數(shù)據(jù)忠實(shí)記錄了公司核心業(yè)務(wù)的成長(zhǎng)發(fā)展歷程。采用大數(shù)據(jù)分析技術(shù)，利用這些數(shù)據(jù)進(jìn)行深度挖掘利用，形成輔助決策據(jù)，幫助公司決策層進(jìn)行產(chǎn)品產(chǎn)能控制、生產(chǎn)資源規(guī)劃、成本預(yù)測(cè)控制和市場(chǎng)開(kāi)拓發(fā)展。 主要的實(shí)施工具以R語(yǔ)言為主統(tǒng)計(jì)分析工具，方法采用合理銷(xiāo)售預(yù)測(cè)算法并依據(jù)市場(chǎng)經(jīng)濟(jì)和…

我是IT從業(yè)者，俗稱“程序猿”，而且大學(xué)學(xué)計(jì)算機(jī)專(zhuān)業(yè)也是自己尋死覓活一定要讀的專(zhuān)業(yè)，可以說(shuō)從一開(kāi)始就是我自己的選擇，機(jī)緣巧合之下一直從事數(shù)據(jù)技術(shù)相關(guān)的工作，尤其是這幾年大數(shù)據(jù)技術(shù)、概念、名詞風(fēng)起云涌后，我作為站在風(fēng)口的豬，雖然沒(méi)有被吹上天，不過(guò)也僥幸的一直活下來(lái)了。 然而，個(gè)人認(rèn)為最近幾年大數(shù)據(jù)概念幾乎充斥了所有領(lǐng)域，就像當(dāng)年的云計(jì)算一樣一樣的，真正落地的反而沒(méi)多少。 從技術(shù)上來(lái)說(shuō)，過(guò)往做互聯(lián)網(wǎng)信…

數(shù)據(jù)的操作語(yǔ)言是SQL，因此很多工具的開(kāi)發(fā)目標(biāo)自然就是能夠在Hadoop上使用SQL。這些工具有些只是在MapReduce之上做了簡(jiǎn)單的包裝，有些則是在HDFS之上實(shí)現(xiàn)了完整的數(shù)據(jù)倉(cāng)庫(kù)，而有些則介于這兩者之間。這樣的工具有很多，來(lái)自于Shoutlet的軟件開(kāi)發(fā)工程師Matthew Rathbone最近發(fā)表了一篇文章，他列舉了一些常用的工具并對(duì)各個(gè)工具的應(yīng)用場(chǎng)景和未來(lái)進(jìn)行了分析。Apache Hiv…