tf-serving这样的东西该怎么做?# Programming - 葵花宝典
w*r
1 楼
想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
算任务
做这种东西有什么framework可以用吗？还是基本靠自己写？
算任务
做这种东西有什么framework可以用吗？还是基本靠自己写？
g*t
2 楼
据我所知，没有现成的通用framework。过去的计算机技术在
server这边都是处理IO bound的。以前我问过几个具体的host cpu bound任务的问题。
你查查看当时的讨论。
一个例子就是手机里，地图的router。这是每个手机里进步最慢，最awkard的软件。
另外一个原因。例如想把xgboost host成json api server,找个人来
干，我估计大概要一个月。没经验的人，做出来还很可能不能用。因为这些open
source算法软件往往
要调參师傅baby sitter,很大概率不是one button click就能告诉你答案。那么步长设
置导致的算法失
之类的edge cases的异常怎么办？
server这边都是处理IO bound的。以前我问过几个具体的host cpu bound任务的问题。
你查查看当时的讨论。
一个例子就是手机里，地图的router。这是每个手机里进步最慢，最awkard的软件。
另外一个原因。例如想把xgboost host成json api server,找个人来
干，我估计大概要一个月。没经验的人，做出来还很可能不能用。因为这些open
source算法软件往往
要调參师傅baby sitter,很大概率不是one button click就能告诉你答案。那么步长设
置导致的算法失
之类的edge cases的异常怎么办？
r*t
3 楼
tf-serving 是怎样的东西？
https://www.tensorflow.org/tfx/guide/serving
看不太懂。有木有具体的例子？
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
https://www.tensorflow.org/tfx/guide/serving
看不太懂。有木有具体的例子？
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
l*m
4 楼
IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般体积较
大，序列化的速度要考虑一下
计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
种模型
API上，要有些和ML相关的设计，比如model query
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
大，序列化的速度要考虑一下
计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
种模型
API上，要有些和ML相关的设计，比如model query
【在 w*****r 的大作中提到】
: 想试着弄个tf-serving这样的东西,但是serve的东西不是ML models,而是其它定制的计
: 算任务
: 做这种东西有什么framework可以用吗？还是基本靠自己写？
w*r
5 楼
如果request体检不大呢？有现成框架可以用吗？
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
【在 l*******m 的大作中提到】
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
【在 l*******m 的大作中提到】
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般体积较
: 大，序列化的速度要考虑一下
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何处理多
: 种模型
: API上，要有些和ML相关的设计，比如model query
l*m
6 楼
IO部分当然可以，把计算部分当作一个consumer就好了，然后优化有几个consumers最
好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
行，所以不要来一个request，开一个consumer。code应该不是很多。
【在 w*****r 的大作中提到】
: 如果request体检不大呢？有现成框架可以用吗？
:
:
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
: 体积较
:
: 大，序列化的速度要考虑一下
:
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
: 处理多
:
: 种模型
:
: API上，要有些和ML相关的设计，比如model query
:
好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
行，所以不要来一个request，开一个consumer。code应该不是很多。
【在 w*****r 的大作中提到】
: 如果request体检不大呢？有现成框架可以用吗？
:
:
: IO上，tf-serving 有两种机制grpc和libevent. 和普通web不同，request一般
: 体积较
:
: 大，序列化的速度要考虑一下
:
: 计算上，主要是并行和计算效率的优化，这个和device, model相关。还有如何
: 处理多
:
: 种模型
:
: API上，要有些和ML相关的设计，比如model query
:
l*m
7 楼
具体可以这样。来一个request，去consumer pool里去拿一个，如果有空闲的就用它了
。如果没有但pool没满，就新建一个，如果pool 也满了就等。所以没啥太新鲜的
【在 l*******m 的大作中提到】
: IO部分当然可以，把计算部分当作一个consumer就好了，然后优化有几个consumers最
: 好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
: 行，所以不要来一个request，开一个consumer。code应该不是很多。
。如果没有但pool没满，就新建一个，如果pool 也满了就等。所以没啥太新鲜的
【在 l*******m 的大作中提到】
: IO部分当然可以，把计算部分当作一个consumer就好了，然后优化有几个consumers最
: 好。因为inference是immutable的，一个consumer可以看作一个需要很多资源的函数就
: 行，所以不要来一个request，开一个consumer。code应该不是很多。
相关阅读
[bssd]来美国就放弃了过去至少20年的软实力Python比Java到底差多少呢？？？为什么linked list的题目都要先复制一份链表？有没有用python写script的building tool？大学实验室之外 是没有高科技的 -- 郭台铭顺风车司机暗中直播女乘客：言语骚扰 弹幕下流fp两大特征三十年，中国工业软件从欣欣向荣到溃不成军 (转载)Service Mesh大家用的多吗？java的AspectOrientedPrograming 就是屎who is Chris Lu?Re: 码工把数据库密码传到GitHub 华住旗下酒店5亿信息疑被泄 ZT (转载)这个swift又臭又长，比C++还烦，而且属于毫无技术含量那种烦AutoML难点在哪里？估计我也要回国了请教一下各位马工怎么多数据库的备份 (转载)Java走microservice架构是不是有硬伤？这是个什么概念？Re: 现在AI就是忽悠吹大泡 (转载)大陆什么云服务器带宽大价格优？