流批一体机器学习算法平台

流批一体机器学习算法平台

osc_a3uwfsx7

2020/05/19 11:22

阅读数 287

发布会传送门

产品详情

针对正在兴起的机器学习广泛而多样的应用场景，阿里巴巴计算平台基础算法团队在2017年开始基于Flink研发新一代的机器学习算法平台。该项目名称定为Alink，取自相关名称（Alibaba, Algorithm, AI, Flink, Blink）的公共部分。经过三年的投入研发，Alink在算法性能、算法规模、算法易用性等方面取得了不错的成果，并实现了产品化。这使得数据分析和应用开发人员能够轻松搭建端到端的业务流程。

在后面的篇幅中，我们将从算法功能、算法性能、用户界面、可视化等方面对Alink做一个系统的介绍。

算法功能

Alink拥有丰富的批式算法和流式算法，能够帮助数据分析和应用开发人员能够从数据处理、特征工程、模型训练、预测，端到端地完成整个流程。如下图所示，Alink提供的功能算法模块中，每一个模块都包含流式和批式算法。比如线性回归，包含批式线性回归训练，流式线性回归预测和批式线性回归预测。另外，Alink算法覆盖分类、回归、聚类、评估、统计分析、特征工程、异常检测、文本、在线学习、关联分析等经典领域，是一个通用的机器学习算法平台。

目前，Alink已经被阿里巴巴集团内部多个BU使用，并取得了不错的业务提升。特别是在2019年天猫双11中，单日数据处理量达到 970PB，每秒处理峰值数据高达 25 亿条。Alink 成功经受住了超大规模实时数据训练的检验，并帮助天猫产品推荐的点击率提高了4％。

算法性能

下图给出的是一些经典算法与Spark的性能对比，通过该图可以看出，Alink在大部分算法性能优于Spark，个别算法性能比Spark弱，整体是一个相当的水平。

但是，“在功能的完备性方面，Alink更有优势”，Alink除了覆盖Spark的算法，还包含流式算法、流批混跑、在线学习、中文分词等。

用户使用界面

为了提供更好的交互式体验，我们提供两种用户使用界面：web和PyAlink。

首先我们介绍一下web界面。Web界面提供拖拽的方式创建试验，通过对每一个组件进行配置完成整个试验的参数配置。下图给出的是web界面创建的批式、流式、流批混合的试验。

并且Alink可以支持节点的级别实验运行状态显示。在各个算法节点旁，我们用闪烁的小灯泡

yh2216 2024-06-09 13:15

喜欢c++

Francesca 2024-06-10 16:19

孤陋寡闻了吧，这玩意历史悠久了，科学计算用的，性能很高

水木易安 2024-05-20 09:58

新闻要连着看，除了 rustdesk，teamviewer，我在等第三个新闻。国产化远程桌面软件，遥遥领先。

首席的哥队长 2024-05-17 11:17

我建议360把所有的产品都开源，然后通过开源变成国内开源界的领军企业，领导着大家全力来对阵国外企业

Yoona520 2024-05-17 16:34

周鸿祎现在活得越来越像个小丑，好好待在你幕后不好非要当网红，雷军你能学明白吗？

-SORA- 2024-04-30 17:07

这件事是发生在外国，评论区就突然变得非常客观、理智了**

壹城 2024-06-07 18:20

这两天什么镜像都拉不下来

osc_27546117 2024-06-09 22:36

学习过electron编程，期待它的进步

kakai 2024-05-10 10:21

世人只知android出自google之手，几人晓得android只是google收购的产品，同理华为出资收编OGG开源工作并整编到自己的所有权产品线中有什么问题呢？

单一结构 2024-05-11 10:09

入选开源中国耻辱柱

kangert 2024-06-09 20:10

确实要练练

Francesca 2024-06-09 13:21

但闭源的尽头一定是开源，因为很多不满闭源的人才开创了开源，所以开源的尽头不一定是闭源，而是要找到一种商业模式即开源!=免费

lyh97157268 2024-06-09 20:58

SnailJob 2024-06-09 09:13

会支持的，请继续关注Snail Job

代

代码e人 2024-06-09 10:03

准备下个项目，试一试

pan3793 2024-06-07 22:26

让 AI 给 AI 判个分吧

小侠猫猫球 2024-06-09 21:29

挺不错，加油

Xiao_f 2024-06-07 22:59

有一说一，相比国内其他厂商，Qwen宽松的授权许可，充分彰显了大厂风范

小而美软件开发 2024-06-08 23:03

主要是还是练腰

gamedot 2024-05-17 11:14

老周从骨子里都在为华为的开源大业考虑，不是华为的人，却有华为的魂。

小xu中年 2024-06-10 07:05

学习到

一码Yma 2024-05-06 09:14

我的技术文章被CSDN搬过去为什么没有人去踩缝纫机,这种报道在我看来就是一个笑话,有背景的妖怪没事,没背景的妖怪往死里打

zoujiaqing 2024-06-07 21:22

不敢用啊

osc_566335 2024-04-28 14:44

这也叫洗地？难道只有说特斯拉公布全部源代码就不是洗地了？某些人HWptds了吧？就是说下语言歧义而已，这也要上升到洗地？某些人是不是太聚光灯效应了啊？觉得他关注的人家一定是盯着的？

小明同学明教教主 2024-06-07 17:50

没必要喷吧，要说圈钱圈钱的公司多的去了，美团，滴滴，瑞幸不都是在圈钱么，这个至少是在做东西

oldpig 2024-04-28 09:59

”华为贡献全部源代码“？，标题跟内容完全不一致。

小xu中年 2024-06-08 12:43

AI功能需要联网吗？会404吗？

Francesca 2024-05-19 18:00

wine跑win的安卓模拟器、安卓模拟器里面安装chromeOS、chromeOS里面安装linux环境、linux环境安装wine

小xu中年 2024-06-08 10:12

搞钱第一名！！财源广进

MrChen89 2024-04-29 09:18

有一帮人是这样的，不知道他们经历过什么，涉及到HW不能说一点好话哪怕是中立也不行

yh2216 2024-06-09 23:03

我记得有说过有一年C++是年度语言，

zoujiaqing 2024-06-07 21:21

springboot去年就不更新了

快乐的LeapFrog 2024-05-18 09:18

但问题是："这对普通 Android 用户有什么用？"现在的答案似乎是："几乎没有"。

光明丶 2024-05-19 23:25

真的傻逼，把路走死了，后来的人咋整。

zhy 2024-05-16 13:16

码农的尽头是农

abeet 2024-06-08 20:38

图都没有, 是怕我们学会是吗

sunday12345 2024-05-15 18:31

银行不做啥，怪到远程桌面上了，柿子还真就捡软的捏~？

infoworld 2024-05-11 15:12

像大学就应该用开源免费软件，不用商业的。这样技术上才不会绑手绑脚。

是哦為 2024-05-17 13:42

说的太对了。老周控制不了谷歌，但能控制360啊。己所不欲，勿施于人。应该先开源360所有产品。

丁云H 2024-06-07 20:44

居然没有querydsl，自从用了querydsl后就再也看不上其他orm了

王政 2024-06-08 09:46

看你说“测试都是硕士研究生”，笑了。水平低还不自知。

秦利明 2024-05-11 09:12

恬不知耻

猴思猿瑾 2024-05-31 18:31

骗兄弟可以，别把自己骗了就好

一码Yma 2024-05-09 09:58

最近经常去面试,最讨厌阿里背景的人,感觉一个个都把我当傻子看,虽然我就是傻子

Kevin586 2024-06-08 14:41

达梦就是垃圾，这还能上市，刷新我的认知

李英辉 2024-05-09 16:40

佛教有个词很好，邪见。对待这个世界，预设立场得到的结论，是没有意义的；接受良好的逻辑训练也很重要。

码农小胖哥 2024-05-16 14:40

我让你六秒，和比武时我让你六招具有异曲同工的效果，表现了主人翁的强无敌和自信

brucepapa 2024-06-09 21:02

我也是好几次背痛了。。。然后运动几天，着重拉伸背部肌肉这块，就能好很多。

golyu 2024-06-10 14:45

要是这是solidjs 的库就好了

zhangleijie 2024-06-08 10:08

不错

xiaoqibabby 2024-05-15 17:36

强烈要求银行负责

CodeDoger 2024-05-02 20:48

35上班嫌老,60退休嫌早

kangert 2024-06-09 20:07

docker hub的问题就很难受

muwanqing123 2024-06-09 08:28

扯淡认证

GDWhisperer 2024-05-15 17:23

我给自己的账户转几万块钱都被风控了，这个398万是怎么办到的，银行应该对此负责**

zzeric 2024-04-28 20:01

法国虽然是母社区，但github上OCCT的核心开发人员都是俄罗斯人，离了俄罗斯人，法国母社区也运营不下去。于是华为出手收编，迁移到中国，改个名字恢复开源和社区运营，有什么问题呢？

monkey_cici 2024-05-09 00:25

我一台I9cpu,64GB内存条,3080Ti电脑都比不上一台平板顶配19999...

H细水长流H 2024-06-10 09:39

fartran是不是给钱了,都没听过,进前十了

osc_92224065 2024-04-29 10:57

长时间受压迫的国企外包

zhuzhua 2024-05-21 10:08

笑死我了，被深度绑架的人，敢不交钱吗？以后谁用小公司国产开源框架谁就是213！！！等着以后被收割吧

热门内容

全站热门评论

关于作者

作者的其它热门文章

热门资讯

热门软件

OSCHINA 社区

在线工具

攻略

QQ群

公众号

视频号

流批一体机器学习算法平台

热门内容

全站热门评论

关于作者

作者的其它热门文章

热门资讯

推荐关注

热门软件

OSCHINA 社区

在线工具

攻略

QQ群

公众号

视频号