tf-serving这样的东西该怎么做?# Programming - 葵花宝典
w*r
1 楼
想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
算任务
做这种东西有什么framework可以用吗？还是基本靠自己写？
算任务
做这种东西有什么framework可以用吗？还是基本靠自己写？
g*t
2 楼
据我所知，没有现成的通用framework。过去的计算机技术在
server这边都是处理IO bound的。以前我问过几个具体的host cpu bound任务的问题。
你查查看当时的讨论。
一个例子就是手机里，地图的router。这是每个手机里进步最慢，最awkard的软件。
另外一个原因。例如想把xgboost host成json api server,找个人来
干，我估计大概要一个月。没经验的人，做出来还很可能不能用。因为这些open
source算法软件往往
要调參师傅baby sitter,很大概率不是one button click就能告诉你答案。那么步长设
置导致的算法失
之类的edge cases的异常怎么办？
server这边都是处理IO bound的。以前我问过几个具体的host cpu bound任务的问题。
你查查看当时的讨论。
一个例子就是手机里，地图的router。这是每个手机里进步最慢，最awkard的软件。
另外一个原因。例如想把xgboost host成json api server,找个人来
干，我估计大概要一个月。没经验的人，做出来还很可能不能用。因为这些open
source算法软件往往
要调參师傅baby sitter,很大概率不是one button click就能告诉你答案。那么步长设
置导致的算法失
之类的edge cases的异常怎么办？
r*t
3 楼
tf-serving 是怎样的东西？
https://www.tensorflow.org/tfx/guide/serving
看不太懂。有木有具体的例子？
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
https://www.tensorflow.org/tfx/guide/serving
看不太懂。有木有具体的例子？
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
l*m
4 楼
IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般体积较
大，序列化的速度要考虑一下
计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
种模型
API上，要有些和ML相关的设计，比如model query
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
大，序列化的速度要考虑一下
计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
种模型
API上，要有些和ML相关的设计，比如model query
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
w*r
5 楼
如果request体检不大呢？有现成框架可以用吗？
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
【在 l*******m 的大作中提到】
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
【在 l*******m 的大作中提到】
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
l*m
6 楼
IO部分当然可以，把计算部分当作一个consumer就好了，然后优化有几个consumers最
好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
行，所以不要来一个request，开一个consumer。code应该不是很多。
【在 w*****r 的大作中提到】
: 如果request体检不大呢？有现成框架可以用吗？
:
:
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
: 体积较
:
: 大，序列化的速度要考虑一下
:
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
: 处理多
:
: 种模型
:
: API上，要有些和ML相关的设计，比如model query
:
好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
行，所以不要来一个request，开一个consumer。code应该不是很多。
【在 w*****r 的大作中提到】
: 如果request体检不大呢？有现成框架可以用吗？
:
:
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
: 体积较
:
: 大，序列化的速度要考虑一下
:
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
: 处理多
:
: 种模型
:
: API上，要有些和ML相关的设计，比如model query
:
l*m
7 楼
具体可以这样。来一个request，去consumer pool里去拿一个，如果有空闲的就用它了
。如果没有但pool没满，就新建一个，如果pool 也满了就等。所以没啥太新鲜的
【在 l*******m 的大作中提到】
: IO部分当然可以，把计算部分当作一个consumer就好了，然后优化有几个consumers最
: 好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
: 行，所以不要来一个request，开一个consumer。code应该不是很多。
。如果没有但pool没满，就新建一个，如果pool 也满了就等。所以没啥太新鲜的
【在 l*******m 的大作中提到】
: IO部分当然可以，把计算部分当作一个consumer就好了，然后优化有几个consumers最
: 好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
: 行，所以不要来一个request，开一个consumer。code应该不是很多。
相关阅读
黄秋园老师有这等交际实力，混苦逼的学术圈太可惜了 (转载)Dansy推出震撼歌曲：硅谷华人雄风震天吼！最速降线求解docker 和 serverless，哪个搭网站更好？马云为啥找一个二三流大学的心理学土博做阿里CTO？[bssd]宇宙论也跟一下风用技术手段，恶搞一把人性Seeking Quant/Software Developers (转载)Re: 进不进藤校确实无所谓 (转载)[bssd]技术问题和政治问题分开国内top高校自动化专业workload很大啊最小化未来出现surprise 的概率请教各位老大C++的又一作用有沒有人研究nodejs和webassembly結合的wasi沙盒有人开源了Iot大数据平台国内神一级的程序员到底有多牛？C／C++ 不火了， 代表美帝的科技产业不再领先全球了wdong能不能除了技术架构，讲讲产品和商业化啊？