Skip to content

Commit

Permalink
Merge pull request #73 from DigquantTech/main
Browse files Browse the repository at this point in the history
  • Loading branch information
biganxin authored Jan 11, 2022
2 parents 39197d1 + 11e587c commit 06a4dc7
Show file tree
Hide file tree
Showing 20 changed files with 177 additions and 0 deletions.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Original file line number Diff line number Diff line change
@@ -0,0 +1,177 @@
# DEEP项目进展报告

* **项目名称:** D.E.E.P 分布式研学资源交换平台

## 项目简介

* 在新技术领域的科学研究与学习中,"数据,算法和云计算" 是三大核心技术,围绕这三大核心技术在各领域展开广泛的应用是新科技时代的显著特征。在“数据、算法和算力“的研究和学习过程中,形成大量数字化形态的资源。包括:数据样本,结构/非结构化信息流,算法模型,研究文章,教学课程,案例代码等,所有的数据和算法产出,都在不同的使用目的下,结合不同的算力进行各类计算,形成新数据产出。出于学习,科研,商业等不同目的,这些资源在网络中通过交叉调用,利用不同的算力被重新组合,又形成新的资源。有必要构建一个“以聚合数据和算法资源为目的“的数字资产网络,用于对数据,算法模型等形成可确权的数字资产网络,促进网络内各类数字化资产的定价,流通和再利用。DEEP研学资源交换网络被定位为在数据与算法领域,用于研究成果与课程教学为目的的分布式数字资产交换网络。



## 基础设施选型
- DEEP将采用公链区块链网络作为基础设施层,成为本资源交换网络的基础支撑结构. 综合多个公链技术白皮书,蓝皮书文档的研究,PLATON的“隐私AI计算网络,与一切皆可计算“的设计目标与DEEP的应用实现目标一致,将基于其作为DEEP的核心基础设施,展开DEEP项目研发。




## 设计概要

#### 资产定义:

a. 数据(D): DEEP网络中,所有数据都以表形式存在,数据表是数字资产的最小确权单位。DEEP网络不支持数据库,不支持实时数据流形式的数字资产。可通过多个数据表归属统一对象组合成库,但是权限仍跟随表权限。DEEP网络中所有用户均可是数据资产使用者,也可以是数据资产创建者。

b. 算法(A):DEEP网络中,所有算法都以一段可执行或者可编译的代码表现,算法实际上可被看作是一个代码函数(或者代码片段)。算法资产一般包含入参,出参,执行主体。第一阶段可调用算法资产,主要是以Python语言构建的算法代码。DEEP网络中所有用户均可是算法资产的使用者,也可以是算法资产的创建者。

c. 算力(C):DEEP网络中,算力是一种资产,体现为在调用数据,调度算法过程中所需要用的计算资源。算力度量以“核/时“计算。DEEP网络中的由特定算力提供商提供算力资源。DEEP网络的第三阶段,将支持彻底的个人分散化算力资源调度方案。

d. 课程(L):DEEP网络中,围绕数据和算法可形成数字化教学内容,以视频,录音,文档资料,学生档案,或混合形式出现。主要用于教学、授课等学习目的。DEEP网络中,所有人都可以建立课程资产,也可以向网络请求课程资源。

#### 资产权限定义:

D:创建权,所有权,使用权
A:创建权,所有权,调用权
C:使用权
L: 创建权,所有权,使用权

#### 资产权限设计:

D: 容量(Capacity),时长(Time),执行许可(Switch)
A:入参许可(Input),出参许可(Output),编译许可(Compile),执行许可(Switch)
C: 核/时(Core/hour),执行许可(Switch)
L:时常(Time),次数(Count),应用执行许可(Switch)
R:时常(Time),次数(Count),执行许可(Switch)



#### 系统设计图:

- DEEP的双层网络设计

![](C:\Users\joe\Desktop\DEEP项目\DEEP_PP\DNA设计.png)



- DEEP 的 Direct Exchange(DDX)层设计:

![](C:\Users\joe\Desktop\DEEP项目\DEEP_PP\DDX Layer设计.png)



- DDX层的 xNode (节点运行环境与万能插座)节点设计:

![](C:\Users\joe\Desktop\DEEP项目\DEEP_PP\xNode设计.png)

### 项目GitHub仓库

- **非公开项目**



## 团队介绍
* **团队名称:**

### 团队成员

| 团队成员名字 | GitHub代码库 |LinkedIn资料|Contact|
| ---- | ---- |----| ---- |
| Joe | - |-|[email protected]|
| Dexin | - |-|[email protected]|
| Jin | - |-|[email protected]|
| Bin | - |-|[email protected]|

### 联系方式
* **联系人全名:** Joe Huang

* **联系方式:** 13530211027, [email protected]




## 项目规划
- #### **项目规划**:本项目以完成DEEP的第一阶段目标(项目内部代码: DAWN)

##### Milestone A: (2021-11-15) -OK

系统架构与业务架构设计: Done

智能合约逻辑设计: Pending

主要业务逻辑设计完成: Done



##### Milestone B: (2021-11-30) -Re-Schedule to 2021-12-25

完成DEEP应用网络层DDX的设计: Done

包括DEEP应用层:DDX网络的分布式通讯协议设计: Done

DDX网络的流数据引擎设计: Pending for Alpha

DDX网络的节点运行环境设计: Pending for Alpha

DDX网络的万能插座设计: Pending for Alpha



##### Milestone C:(2021-12-1) -Re-Schedule to 2021-12-30

DEEP网络资产创作工具:MADS v1.0版本设计完成。 Done
完成MADS的产品交互原型设计,业务逻辑设计。 Done

执行引擎:Letsgo panel Done

python算法组件SDK:GoDev 的设计 Done



##### Milestone D:(2021-12-1)Parallel, PLATON测试网络准备与合约预部署。 -Call Off

DEEP网络的手机端Amigo设计,包括完成DEEP网络的手机端的业务设计,交互设计。完成platon上的DEEP智能合约测试网部署,为链通测试做准备。

Milestone E:完成手机端基础版开发。完成MADS的V1.0开发。(2021-12-28)PLATON链上链下业务全流程上线,
可以完成”通过MADS进行算法或者数据创作->DDX网络节点应用执行->platon公链数字资产确权登记。->链上市场挂牌->手机端Platon 所有权,使用权或调用权流转登记->数据或者资产点对点传输->异地节点重加载“的DEEP分布式全业务流程跑通。

Milestone D:进入alpha和完成alpha测试,完成DEEP第一阶段:DAWN 的阶段性目标。(2022-1-28)



### 项目进度日志:

- Milestone A Summary:End at 2021-11-15

DEEP第一里程碑进展顺利。本里程碑有一个任务受整体DEEP项目规划设计改动:智能合约逻辑设计。第一阶段的智能合约在Platon编写暂缓。DEEP的设计路径改为先实现数据存取功能、通讯同能、运行时环境等DDX内容。再进行区块链的智能合约对接工作。本里程碑顺应计划调整至DDX层业务逻辑设计和系统设计。暂缓Platon的智能合约设计。

目前已经完成:DDX层系统架构设计;DEEP整体业务逻辑设计(DNA);



- Milestone B Summary: End at 2021-12-25

DEEP的第二里程碑任务内容复杂,本阶段超过预期近一个月,但完成状态再可接受范围。DEEP的DDX通讯协议将采用DQtech自主设计的xRPC协议,已顺利完成移值工作。DDX层的数据流引擎dxStream完成研发,主要用于点对点高速通讯的流存储引擎,目前尚需要大量测试了解其性能。DDX层的另外一个核心模块dxNode节点也已经通过测试,dxNode的设计继承于目前点宽教育在AFM数据建模平台上的代码执行内核。暂时设计只支持python,C++的代码编辑。dxNode在DEEP上计划将用Rust重构已获得稳定的执行状态。目前暂不改动,直至第二个大阶段Babylon启动之前。



- Milestone C Summary: End at 2021-12-30

DEEP的首款研学资源生产工具MADS完成设计,目前仅用于B端,其名字在B端替代名为:AI-LAB,用户对象为高校学生,目的为为学生提供学习和生产python业务逻辑模块的人工智能领域的学习工具。学生可以通过AI-LAB掌握利用python编写算法、人工智能流程等技能。从而成为生产算法资产的人员。AI-LAB目前已经完成设计,并于2021-12-30日顺利出alpha,目前在beta阶段。从用户试用反馈来看,MADS(AI-LAB)的算法生产工具设计可被接受和认可。本里程碑实现了两个最核心的算法生产模块的研发:Letsgo Panel 在线案例执行引擎和 GoDev代码设计器,非常符合预期,功能仍需打磨。



- Milestone D Summary: Canceled,时间用完



##### DEEP 第一阶段 DAWN 小结:

1. DAWN的时间计划预计比原定退后至少一个月。新时间预期在3月月中旬落地。
2. DEEP项目根据国内实际政策情况,分为B端项目和C端项目。C段项目将采用Platon的公链。B端将根据国情改动联盟链实现。
3. DEEP项目将有B端的新命名计划。C端项目推进不变。预计B端落地速度会快于C端。
4. DEEP的C端面向全球的研学资源交换,包括数据,算法和课程的资产价值流转体系。B端仅限于金融科技课程相关的研学资源网络。
5. 第一阶段除了智能合约,DEEP项目已经实现了超过90%的业务和技术设计工作和70%的核心组件研发。但是测试任务仍然相当严峻,需要更多的测试人员参与测试。
6. 预计DEEP的第一阶段DAWN总体来看,DNA双网络所有业务连通的目标并无风险,团队完全可以实现。主要贡献来自于对分布式业务架构的长期积累。留意12月Platon推出的隐私网络测试,对算法算力、数据的调度已经有一个雏形呈现出来,这增强了团队对选用platon的信心,随着更多的隐私网络技术细节公开和展开合作交流,DEEP预计和Platon在隐私网络层会有更深度的对接,甚至是开放开放合作。
7. 本阶段新增Bin进入DQtech团队。
8. DEEP网络在B端项目已经获得广州理工大学校级申报通过并入省级项目申报评选,在湖南长沙拟作为试点项目上报科技局,多个高校均愿意以横向合作课题参与研学资源网络的合作之中。



Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.

0 comments on commit 06a4dc7

Please sign in to comment.