请教一个GAN问题涉及categorical variable的情况 - 未名空间MITBBS历史存档

请教一个GAN问题涉及categorical variable的情况# Programming - 葵花宝典

e*r2018-05-01 07:05

1 楼

个个都说经济危机，有那么夸张吗？？！！不论发主题的，还是下边一众评论的，所带
出来的都是这种气氛，带给一众不明真相的人心里也都是一种怵怵的感觉，毕竟很多国
人都是好生活才刚刚开始，解放温饱的劲儿才刚缓过气来，就又跳出经济下行啦！TPP
啦！房产泡沫啦！其实也没这么夸张，要看一个国家的经济如何，其实也很简单，就看
一条，就看一条，就看一条，重要的事说三遍，看发展中国家的经济怎么样！就看一条
，在街上看打工的人上下班的多不多，发达国家的就加多一条，街市购物拿袋的多不多
，所以目前来看，经济是有点下行，但远没有想像中的那么糟糕，大家放心好了，哈哈

j*n2018-05-01 07:05

2 楼

元景修仙望长生，这是帝王的天然选择，基础是江山永固。
可惜，人生不如意十之八九，江山不见了，人还活着。
另，推荐，诡秘地海，仙草！

H*92018-05-01 07:05

3 楼

见笑见笑，很费力地

M*02018-05-01 07:05

4 楼

Dataset不是图片所以涉及到很多categorical variable 是一个Mixed type dataset
尝试GAN生成fake data sample的时候怎么控制让generator也生成mixed type?
然后discriminitor怎么去做这个mixed type的evaluation？
最好是有实例可以参考的有code更好

r*s2018-05-01 07:05

5 楼

你拿你共多少工资的啊

A*e2018-05-01 07:05

6 楼

这书和另一本推倒太后的书挺像。镜子碎片群聊又像抄诡秘之主的。

【在 j**********n 的大作中提到】

: 元景修仙望长生，这是帝王的天然选择，基础是江山永固。
: 可惜，人生不如意十之八九，江山不见了，人还活着。
: 另，推荐，诡秘地海，仙草！

Y*u2018-05-01 07:05

7 楼

哈，画的跟道苻似的。。包子先记下，能告诉一下这是哪一段吗？

M*02018-05-01 07:05

8 楼

大牛们。。。你们讨论了半天楼教主
有没有人帮我解答下这个问题还是说这不是问题不值一提呢

z*32018-05-01 07:05

9 楼

他拿老邢的工资买机油涂齿轮

【在 r*****s 的大作中提到】

: 你拿你共多少工资的啊

l*a2018-05-01 07:05

10 楼

愿字真可爱

w*r2018-05-01 07:05

11 楼

那是应为扯淡比较容易。。。

【在 M********0 的大作中提到】

: 大牛们。。。你们讨论了半天楼教主
: 有没有人帮我解答下这个问题还是说这不是问题不值一提呢

a*a2018-05-01 07:05

12 楼

吃饭还要排队。。。

TPP

【在 e*********r 的大作中提到】

: 个个都说经济危机，有那么夸张吗？？！！不论发主题的，还是下边一众评论的，所带
: 出来的都是这种气氛，带给一众不明真相的人心里也都是一种怵怵的感觉，毕竟很多国
: 人都是好生活才刚刚开始，解放温饱的劲儿才刚缓过气来，就又跳出经济下行啦！TPP
: 啦！房产泡沫啦！其实也没这么夸张，要看一个国家的经济如何，其实也很简单，就看
: 一条，就看一条，就看一条，重要的事说三遍，看发展中国家的经济怎么样！就看一条
: ，在街上看打工的人上下班的多不多，发达国家的就加多一条，街市购物拿袋的多不多
: ，所以目前来看，经济是有点下行，但远没有想像中的那么糟糕，大家放心好了，哈哈

H*92018-05-01 07:05

13 楼

hoho
上清灵宝大法卷三，第一欲界飞空之音

w*r2018-05-01 07:05

14 楼

我觉得你这个得先把不同的modality映射成vector，可以看看auto-encoder

dataset

【在 M********0 的大作中提到】

: Dataset不是图片所以涉及到很多categorical variable 是一个Mixed type dataset
: 尝试GAN生成fake data sample的时候怎么控制让generator也生成mixed type?
: 然后discriminitor怎么去做这个mixed type的evaluation？
: 最好是有实例可以参考的有code更好

b*y2018-05-01 07:05

15 楼

经济没有危机，但下滑是个趋势。。。

Y*u2018-05-01 07:05

16 楼

嗯，辛苦了。。再看还是挺有意思的。 :)

【在 H******9 的大作中提到】

: hoho
: 上清灵宝大法卷三，第一欲界飞空之音

l*m2018-05-01 07:05

17 楼

你这个是前沿挑战，可以看看graph GANs. 一个清华小弟做的，挺不错
https://www.leiphone.com/news/201804/4ed0ZWDrWP1XN6hw.html

【在 M********0 的大作中提到】

: 大牛们。。。你们讨论了半天楼教主
: 有没有人帮我解答下这个问题还是说这不是问题不值一提呢

e*y2018-05-01 07:05

18 楼

肯定会来，但不是人人都说经济危机的时候。它就是要打个措手不及

r*n2018-05-01 07:05

19 楼

太恐怖了。你家孩子的大作？

【在 H******9 的大作中提到】

: 见笑见笑，很费力地

M*02018-05-01 07:05

20 楼

GAN还没整明白呢。。。太前沿的该扯到蛋了 lol

【在 l*******m 的大作中提到】

: 你这个是前沿挑战，可以看看graph GANs. 一个清华小弟做的，挺不错
: https://www.leiphone.com/news/201804/4ed0ZWDrWP1XN6hw.html

l*s2018-05-01 07:05

21 楼

你看看总理都在说什么
过去几天的新闻联播多次提到创业这不就是说就业岗位紧张你们自己找机会
更多信息可以看这个
www.buchaogu.com

TPP

【在 e*********r 的大作中提到】

: 个个都说经济危机，有那么夸张吗？？！！不论发主题的，还是下边一众评论的，所带
: 出来的都是这种气氛，带给一众不明真相的人心里也都是一种怵怵的感觉，毕竟很多国
: 人都是好生活才刚刚开始，解放温饱的劲儿才刚缓过气来，就又跳出经济下行啦！TPP
: 啦！房产泡沫啦！其实也没这么夸张，要看一个国家的经济如何，其实也很简单，就看
: 一条，就看一条，就看一条，重要的事说三遍，看发展中国家的经济怎么样！就看一条
: ，在街上看打工的人上下班的多不多，发达国家的就加多一条，街市购物拿袋的多不多
: ，所以目前来看，经济是有点下行，但远没有想像中的那么糟糕，大家放心好了，哈哈

r*n2018-05-01 07:05

22 楼

我还以为你自己写的。

【在 H******9 的大作中提到】

: hoho
: 上清灵宝大法卷三，第一欲界飞空之音

M*02018-05-01 07:05

23 楼

没有明白阿。。。你说的就是one hot?

【在 w*****r 的大作中提到】

: 我觉得你这个得先把不同的modality映射成vector，可以看看auto-encoder
:
: dataset

e*r2018-05-01 07:05

24 楼

个个都说经济危机，有那么夸张吗？？！！不论发主题的，还是下边一众评论的，所带
出来的都是这种气氛，带给一众不明真相的人心里也都是一种怵怵的感觉，毕竟很多国
人都是好生活才刚刚开始，解放温饱的劲儿才刚缓过气来，就又跳出经济下行啦！TPP
啦！房产泡沫啦！其实也没这么夸张，要看一个国家的经济如何，其实也很简单，就看
一条，就看一条，就看一条，重要的事说三遍，看发展中国家的经济怎么样！就看一条
，在街上看打工的人上下班的多不多，发达国家的就加多一条，街市购物拿袋的多不多
，所以目前来看，经济是有点下行，但远没有想像中的那么糟糕，大家放心好了，哈哈

H*92018-05-01 07:05

25 楼

偶自己地，牛吧

【在 r****n 的大作中提到】

:
: 我还以为你自己写的。

x*u2018-05-01 07:05

26 楼

要是GAN能整明白，PNP问题估计早解决了

【在 M********0 的大作中提到】

: GAN还没整明白呢。。。太前沿的该扯到蛋了 lol

r*s2018-05-01 07:05

27 楼

你拿你共多少工资的啊

r*n2018-05-01 07:05

28 楼

牛得惨不忍睹。哈哈哈。。。

【在 H******9 的大作中提到】

: 偶自己地，牛吧

l*82018-05-01 07:05

29 楼

don't do it until Ian solves it.

dataset

【在 M********0 的大作中提到】

: Dataset不是图片所以涉及到很多categorical variable 是一个Mixed type dataset
: 尝试GAN生成fake data sample的时候怎么控制让generator也生成mixed type?
: 然后discriminitor怎么去做这个mixed type的evaluation？
: 最好是有实例可以参考的有code更好

z*32018-05-01 07:05

30 楼

他拿老邢的工资买机油涂齿轮

【在 r*****s 的大作中提到】

: 你拿你共多少工资的啊

b*d2018-05-01 07:05

31 楼

好文。

【在 H******9 的大作中提到】

: 见笑见笑，很费力地

c*v2018-05-01 07:05

32 楼

Dataset 不是特定几个领域的，为甚么要用DL相关技术？
本身DL只在图片，语音，翻译，围棋这几块有产品级别的突破吧。
据我所知传统统计有自己产生假数据的办法。例如银行用来做压力测试。你可以查查看。

a*a2018-05-01 07:05

33 楼

吃饭还要排队。。。

TPP

【在 e*********r 的大作中提到】

: 个个都说经济危机，有那么夸张吗？？！！不论发主题的，还是下边一众评论的，所带
: 出来的都是这种气氛，带给一众不明真相的人心里也都是一种怵怵的感觉，毕竟很多国
: 人都是好生活才刚刚开始，解放温饱的劲儿才刚缓过气来，就又跳出经济下行啦！TPP
: 啦！房产泡沫啦！其实也没这么夸张，要看一个国家的经济如何，其实也很简单，就看
: 一条，就看一条，就看一条，重要的事说三遍，看发展中国家的经济怎么样！就看一条
: ，在街上看打工的人上下班的多不多，发达国家的就加多一条，街市购物拿袋的多不多
: ，所以目前来看，经济是有点下行，但远没有想像中的那么糟糕，大家放心好了，哈哈

r*c2018-05-01 07:05

34 楼

好可爱。那个愿字。

d*t2018-05-01 07:05

35 楼

你这个问题的主要的难点是：如果你用GAN，你要的抽样分布是discrete的。这样在
train GAN的时候，你要backpropagate through discrete random variables。由于
discrete variables不可微，就不能直接算gradient。这种情况也不是一定不能算
gradient，不过要用到REINFORCE algorithm（参见Ian Goodfellow那本书的20.9.1这
一节，链接如下）。Tensorflow Distributions里面的各种离散分布好像都不支持
REINFORCE algorithm，所以比较难弄。我强力建议你用variational autoencoder（
VAE），这样可以避免backpropagate through discrete random variables。
Ian Goodfellow那本书的第20章：http://www.deeplearningbook.org/contents/generative_models.html
另外一个问题就是你的数据类型是mixed，这个比较好办。比如说你用VAE，你就把各种
categorical variables按照cardinality分成n类，在encoder部分用one-hot encoding
格式的数据，在decoder中则生成n个输出（每个输出对应一个特定的cardinality类别
）。然后将所有outputs的cross entropy loss concatenate成一个vector然后求和，
得到的就是数据的negative log likelihood（NLL）。VAE的loss function等于这个
NLL加上一个KL divergence term（可参见VAE的原始文献或者下面这个tutorial）。
https://arxiv.org/abs/1606.05908

dataset

【在 M********0 的大作中提到】

: Dataset不是图片所以涉及到很多categorical variable 是一个Mixed type dataset
: 尝试GAN生成fake data sample的时候怎么控制让generator也生成mixed type?
: 然后discriminitor怎么去做这个mixed type的evaluation？
: 最好是有实例可以参考的有code更好

b*y2018-05-01 07:05

36 楼

经济没有危机，但下滑是个趋势。。。

x*i2018-05-01 07:05

37 楼

你是令狐冲？

【在 H******9 的大作中提到】

: 见笑见笑，很费力地

L*82018-05-01 07:05

38 楼

VAE 比普通autoencoder+batch normalization 有啥好处？
one hot 不如 embedning

encoding

【在 d*****t 的大作中提到】

: 你这个问题的主要的难点是：如果你用GAN，你要的抽样分布是discrete的。这样在
: train GAN的时候，你要backpropagate through discrete random variables。由于
: discrete variables不可微，就不能直接算gradient。这种情况也不是一定不能算
: gradient，不过要用到REINFORCE algorithm（参见Ian Goodfellow那本书的20.9.1这
: 一节，链接如下）。Tensorflow Distributions里面的各种离散分布好像都不支持
: REINFORCE algorithm，所以比较难弄。我强力建议你用variational autoencoder（
: VAE），这样可以避免backpropagate through discrete random variables。
: Ian Goodfellow那本书的第20章：http://www.deeplearningbook.org/contents/generative_models.html
: 另外一个问题就是你的数据类型是mixed，这个比较好办。比如说你用VAE，你就把各种
: categorical variables按照cardinality分成n类，在encoder部分用one-hot encoding

e*y2018-05-01 07:05

39 楼

肯定会来，但不是人人都说经济危机的时候。它就是要打个措手不及

g*m2018-05-01 07:05

40 楼

稀客，

【在 H******9 的大作中提到】

: 见笑见笑，很费力地

d*t2018-05-01 07:05

41 楼

主要区别是VAE是generative model，所以可以生成synthetic data。普通autoencoder
没有办法生成synthetic data。楼主原来设想用GAN，GAN和VAE都是generative model。
另外如果楼主数据中的categorical variable的cardinality不高的话，不一定需要用
embedding。

【在 L****8 的大作中提到】

: VAE 比普通autoencoder+batch normalization 有啥好处？
: one hot 不如 embedning
:
: encoding

k*i2018-05-01 07:05

42 楼

机器人不用吃饭

【在 a*******a 的大作中提到】

: 吃饭还要排队。。。
:
: TPP

d*d2018-05-01 07:05

43 楼

这位稀客俺猜是梁天那种类型的...心情乐观.

【在 g****m 的大作中提到】

: 稀客，

L*82018-05-01 07:05

44 楼

我记得有篇文章说是普通VAE生成能力不行产生的样本和训练样本相似度很大

autoencoder
model。

【在 d*****t 的大作中提到】

: 主要区别是VAE是generative model，所以可以生成synthetic data。普通autoencoder
: 没有办法生成synthetic data。楼主原来设想用GAN，GAN和VAE都是generative model。
: 另外如果楼主数据中的categorical variable的cardinality不高的话，不一定需要用
: embedding。

b*d2018-05-01 07:05

45 楼

反正入我的眼，是俺们神仙一派的。

M*02018-05-01 07:05

46 楼

最近狗了下发现了这个文章
https://medium.com/jungle-book/towards-data-set-augmentation-with-gans-
9dd64e9628e6
"Wasserstein GAN on categorical data"
我的GAN基本是入门水平所以对WGAN也不了解不知道这文章说的靠铺不有没有必要花
时间研究一下
另外对于VAE 我更是处于只听说过的水平尝试用来解决问题还要不少时间

【在 d*****t 的大作中提到】

: 你这个问题的主要的难点是：如果你用GAN，你要的抽样分布是discrete的。这样在
: train GAN的时候，你要backpropagate through discrete random variables。由于
: discrete variables不可微，就不能直接算gradient。这种情况也不是一定不能算
: gradient，不过要用到REINFORCE algorithm（参见Ian Goodfellow那本书的20.9.1这
: 一节，链接如下）。Tensorflow Distributions里面的各种离散分布好像都不支持
: REINFORCE algorithm，所以比较难弄。我强力建议你用variational autoencoder（
: VAE），这样可以避免backpropagate through discrete random variables。
: Ian Goodfellow那本书的第20章：http://www.deeplearningbook.org/contents/generative_models.html
: 另外一个问题就是你的数据类型是mixed，这个比较好办。比如说你用VAE，你就把各种
: categorical variables按照cardinality分成n类，在encoder部分用one-hot encoding

H*92018-05-01 07:05

47 楼

我晕，咋又是令狐冲又是稀客又是粱天的

a*u2018-05-01 07:05

48 楼

用鼠标写的？

【在 H******9 的大作中提到】

: 见笑见笑，很费力地

H*92018-05-01 07:05

49 楼

嗯

【在 a**u 的大作中提到】

: 用鼠标写的？

r*n2018-05-01 07:05

50 楼

我这个鼠标体咋样：

【在 H******9 的大作中提到】

: 嗯

d*d2018-05-01 07:05

51 楼

连个＂所＂字都要写错，你还整天定定定的，
腚个头啊!

【在 r****n 的大作中提到】

:
: 我这个鼠标体咋样：

r*n2018-05-01 07:05

52 楼

真是太随心所欲了。等我有空改了。都怪鼠标不好用!

【在 d********d 的大作中提到】

: 连个＂所＂字都要写错，你还整天定定定的，
: 腚个头啊!

r*n2018-05-01 07:05

53 楼

改了。真是太难看了：

【在 r****n 的大作中提到】

:
: 真是太随心所欲了。等我有空改了。都怪鼠标不好用!

y*o2018-05-01 07:05

54 楼

ding！
It must be hard!

【在 H******9 的大作中提到】

: 见笑见笑，很费力地

Y*u2018-05-01 07:05

55 楼

还成..:)
分享一下憨山是怎么抄经的:
示惺初元禪人書經：性元禪人。來參匡山。老人字之曰惺初。發願書寫大經。老人
因示之曰。出家修行。佛說方便多門。固在各各發心何如耳。第一向上參禪。求明自心
。志了生死。次則深窮教海。志願宏通。護持正法。續佛慧命。又次則深厭生死。專心
淨業。願生西方。此皆理行。為最上者。若夫事行種種。至於書寫經典。乃六種法師之
一。是佛稱讚者。故法華說持經法師。現世肉身。得六根清淨。此豈事行可擬哉。且云
。舉手低頭。皆已成佛。此稱性之行。又豈可以描抹點畫致耶。老人昔住五臺。曾刺血
泥金。書寫華嚴大經。每於書寫之中。
不拘字之點畫。大小長短。但下一筆。則念佛一聲。如是點點畫畫。心光流溢念念不斷
不忘。不錯不落。久之不在書與不書。乃至夢寐之中。總成一片。由是一切境界。動亂
喧擾。其心湛然得一切境界。自在無礙解脫門。乃至一切見聞。無非真經現前。以此證
之。
**********************************************************************
則書經之行。妙在一心不亂。又豈若童蒙抹硃。便以書經求功德耶。禪人試以此行。如
是書寫。如是受持。似有少乃相應。若以描寫為妙行。博名高為求供養之資。則又不若
尋常粥飯。為無事僧也。勉之。

【在 r****n 的大作中提到】

:
: 改了。真是太难看了：

l*g2018-05-01 07:05

56 楼

原来是这样啊。
waichi曾让我边回贴，边念佛，似乎异曲同工阿。
可是，非常的难。太难了。我都没咋试。我再试试。

【在 Y**u 的大作中提到】

: 还成..:)
: 分享一下憨山是怎么抄经的:
: 示惺初元禪人書經：性元禪人。來參匡山。老人字之曰惺初。發願書寫大經。老人
: 因示之曰。出家修行。佛說方便多門。固在各各發心何如耳。第一向上參禪。求明自心
: 。志了生死。次則深窮教海。志願宏通。護持正法。續佛慧命。又次則深厭生死。專心
: 淨業。願生西方。此皆理行。為最上者。若夫事行種種。至於書寫經典。乃六種法師之
: 一。是佛稱讚者。故法華說持經法師。現世肉身。得六根清淨。此豈事行可擬哉。且云
: 。舉手低頭。皆已成佛。此稱性之行。又豈可以描抹點畫致耶。老人昔住五臺。曾刺血
: 泥金。書寫華嚴大經。每於書寫之中。
: 不拘字之點畫。大小長短。但下一筆。則念佛一聲。如是點點畫畫。心光流溢念念不斷