avatar
请ML大神给点启发# Programming - 葵花宝典
l*p
1
最近要立一个关于安全方面的项目,想靠人工智能(本人机器学习这方面的知识基本为0)
用例:当检测并发现某个应用服务被异常访问时,提示安全隐患,建议或者自主apply
appropriate security policy
各位大神给个建议,有什么框架,近似的解决思路?
avatar
b*u
2
收集足够多的“异常”数据才是最难的部分。Payment公司有做类似的工作,但人家的
数据量很大很大。

为0)
apply

【在 l***p 的大作中提到】
: 最近要立一个关于安全方面的项目,想靠人工智能(本人机器学习这方面的知识基本为0)
: 用例:当检测并发现某个应用服务被异常访问时,提示安全隐患,建议或者自主apply
: appropriate security policy
: 各位大神给个建议,有什么框架,近似的解决思路?

avatar
g*t
3
知识为0就找人做吧。自己琢磨没大用,不划算。不如你外包给wdong的星宿演算公司。
绝对靠谱啊。
avatar
l*p
4
@guvest
已经发信加他为好友,工程(外包还是自己的团队实现)是后面的事情;现在需要讲个
故事,如果能POC些最好,否则PPT也是要的
所以需要思路
avatar
g*t
5
既然是真是项目。正经项目。
既然素不相识,
我多句嘴。
你要故事。
可能最好的办法是看他的简历和公司介绍。
先给钱。
不然不合适。起码给个一小时若干刀的咨询费。几十刀也是个诚意。
交易关系要先有,不然后面的事容易没有逻辑。
另外我不认识wdong,所以不是托。


: @guvest

: 已经发信加他为好友,工程(外包还是自己的团队实现)是后面的事情;
现在需
要讲个

: 故事,如果能POC些最好,否则PPT也是要的

: 所以需要思路



【在 l***p 的大作中提到】
: @guvest
: 已经发信加他为好友,工程(外包还是自己的团队实现)是后面的事情;现在需要讲个
: 故事,如果能POC些最好,否则PPT也是要的
: 所以需要思路

avatar
w*k
6
哪里可以看到wdong简历和介绍?
avatar
w*k
7
我觉得难点是发现异常( anomaly detection)。一旦能正确判断是否异常,什么样的
异常,相应的security policy 选择就比较容易了。
avatar
w*k
8
另外还得看看手头有什么样的policy 可用。
avatar
w*g
9
咱都是星宿派的,技术主张相似,你不是托也胜似托了。
我在这里谢过了。
咱还是别公然在这版上拉生意啦。
楼主这个事情对我说来也不是很好办。技术路线是比较清楚的。
1. API前面加proxy,负责异常检测以及记录日志。日志里记哪些项需要好好engineer
下。比如同一个客户端来的前后请求最好也能串起来。输入输出如果不大的话最好也记
下来。
2. 采集大量的日志数据做训练。
3. 正样本(异常)肯定会少。这时候可以发挥人脑的力量,编造一些正样本出来。
4. 机器学习/异常检测的paper太太太多了。随便搜几篇近几年的看看就行。
我随便想想,大致就是某种embedding算法。比如PCA。常规的点,去PCA里转一圈
再出来,loss应该不大。如果发现去PCA里转一圈出来完全不一样了,那就是
outlier了。PCA可以换成各种类似的更"先进"的方法。比如autoencoder。
(paper里应该比较常见的k-NN算法也可以作此理解.)
之所以说难办,是因为这一行水已经很深了。现成的solution已经不少了。
人家积累的也有年头了。好的模型必须经过实战沉淀的。
现在从头开始做讨不了好了。比如老邢这个BBS的前端(不知道现在还是不是)
cloudflare就是做这个的。

【在 g****t 的大作中提到】
: 既然是真是项目。正经项目。
: 既然素不相识,
: 我多句嘴。
: 你要故事。
: 可能最好的办法是看他的简历和公司介绍。
: 先给钱。
: 不然不合适。起码给个一小时若干刀的咨询费。几十刀也是个诚意。
: 交易关系要先有,不然后面的事容易没有逻辑。
: 另外我不认识wdong,所以不是托。
:

avatar
h*c
10
我也就多句嘴,
生产环境的异常,通常是一个二三百行的exception stack,最气人的是最下面一行,告
诉你,stack too long,改个什么参数to show 毛
avatar
w*g
11
楼主那个是security,怕有人黑进来,或者crawl数据啥的,应该不是程序抛出的异常。
我见过一些生产环境,log都打印得老勤了。core dump啥的也都有。
不过分布式下都没啥用吧,主要还是靠老司机猜吧。

【在 h**********c 的大作中提到】
: 我也就多句嘴,
: 生产环境的异常,通常是一个二三百行的exception stack,最气人的是最下面一行,告
: 诉你,stack too long,改个什么参数to show 毛

avatar
h*c
12
太复杂,我老没有那么高function,测几个半自动的小八哥,然后给个爬丝,
混口饭吃,明年希望还有。

常。

【在 w***g 的大作中提到】
: 楼主那个是security,怕有人黑进来,或者crawl数据啥的,应该不是程序抛出的异常。
: 我见过一些生产环境,log都打印得老勤了。core dump啥的也都有。
: 不过分布式下都没啥用吧,主要还是靠老司机猜吧。

avatar
c*1
13
有个认识的
在credit union, 做这个的 --防[有人黑进来]
domain knowledge 是关键

常。

【在 w***g 的大作中提到】
: 楼主那个是security,怕有人黑进来,或者crawl数据啥的,应该不是程序抛出的异常。
: 我见过一些生产环境,log都打印得老勤了。core dump啥的也都有。
: 不过分布式下都没啥用吧,主要还是靠老司机猜吧。

avatar
h*c
14
说白了就是需求很明确,business model清晰
反面就是一些破把把公司,还要搞NSA level 的code review

【在 c********1 的大作中提到】
: 有个认识的
: 在credit union, 做这个的 --防[有人黑进来]
: domain knowledge 是关键
:
: 常。

avatar
y*2
15
anomaly detection是正路。用autoencoder. stacked autoencoder 需要进一步调试。
美国homeland security就是用这个做的。按说这个也得是专业人能调好,你是啥预算
啊?

为0)
apply

【在 l***p 的大作中提到】
: 最近要立一个关于安全方面的项目,想靠人工智能(本人机器学习这方面的知识基本为0)
: 用例:当检测并发现某个应用服务被异常访问时,提示安全隐患,建议或者自主apply
: appropriate security policy
: 各位大神给个建议,有什么框架,近似的解决思路?

avatar
l*p
16
第4点很给力,虽然不是很懂,先学习消化一下

engineer

【在 w***g 的大作中提到】
: 咱都是星宿派的,技术主张相似,你不是托也胜似托了。
: 我在这里谢过了。
: 咱还是别公然在这版上拉生意啦。
: 楼主这个事情对我说来也不是很好办。技术路线是比较清楚的。
: 1. API前面加proxy,负责异常检测以及记录日志。日志里记哪些项需要好好engineer
: 下。比如同一个客户端来的前后请求最好也能串起来。输入输出如果不大的话最好也记
: 下来。
: 2. 采集大量的日志数据做训练。
: 3. 正样本(异常)肯定会少。这时候可以发挥人脑的力量,编造一些正样本出来。
: 4. 机器学习/异常检测的paper太太太多了。随便搜几篇近几年的看看就行。

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。