深度生成模型总结--原始GAN和VAE
迁移学习入门
迁移学习简单地说,首先有个目标任务$T$,目标数据$D_T$数据量偏小,此时有一个相似的源任务$S$,源数据$D_S$相对更充分,迁移学习的目标即如何借助源任务去提高目标任务的效果。
第四范式的罗远升有一篇很不错的文章《迁移学习实战:从算法到实践》,看了那篇文章,你会对迁移学习有个大概的认识。
迁移学习方法分类
根据所要迁移的知识的表示形式(即“What to transfer”),分为以下四大类:
- 基于样本的迁移学习(instance-transfer);
- 基于参数的迁移学习(parameter-transfer);
- 基于特征表示的迁移学习(feature- representation-transfer);
- 基于关系知识的迁移(relation-knowledge-transfer)。
标日语法笔记——初级(上二)
名【数量】+ 动
意:数量词用在动词前面。
例:本を 2冊 買いました。名【时间】 名【次数】 + 动
意:表示一定的时间内进行了若干次动作。
例:李さんは 1週間に 2回 プールへ 行きます。动词的“ます”形
例:働きます、休みます、寝ます、起きます。名【场所】へ 动に 行きます/来ます
意:表示移动行为的目的。
例:午後 郵便局へ 荷物を 出しに 行きます。名【数量】+ で
意:用于不称重而以数量的形式售物。
例:この ケーキは 3個で 500円です。数词和量词
~冊/~回/~枚/~個/~杯/~人/~台
~本/~頭/~匹/~つ/ ~着/~羽/~番
~足/~度/~キロメートル/~皿动词的“て”形
意:
一类动词:去掉“ます”后的最后一个音位于“い段”的;
二类动词:最后一个音位于“え段”的,以及位于“い段”的一小部分动词如起きます、見ます;
三类动词:“します”和“来ます”两个动词,以及“勉強します”等使用“します”的动词。
变换方式:
一类动词:“ます形”去掉“ます”后加“て”,“き”–>“いて”,“ぎ”–>“いで”,“び、み、に”–>“んで”,“ち、り、い”–>“って”,“し”–>“して”;
二类动词,三类动词:“ます形”去掉“ます”后加“て”
http://upload-images.jianshu.io/upload_images/1713813-a4184540c807453b.gif?imageMogr2/auto-orient/strip
https://i.ytimg.com/vi/9kOK3YxpLhU/maxresdefault.jpg动て 动【相继发生1】
意:两个以上的动作相继发生。
例:昨日 デパートへ 行って,買い物しました。动てから 动【相继发生2】
意:两个以上的动作相继发生。
例:昼ご飯を 食べてから 出かけます。动て ください
意:请求某人做某事。
例:ここに 住所と 名前を 書いて ください。名【场所】を 动【经过】【离开】
意:经过某个场所,使用助词“を”
例:この バスは 駅前を とります。动て います【正在进行】
意:表示动作正在进行。
例:小野さんは 今 新聞を 読んで います。动ても いいです
意:表示许可。
例:家で 仕事を しても いいです。动ては いけません
意:表示禁止。
例:飛行機の中で タバコを 吸っては いけません。名【附着点】に 动
意:人和物的附着点,助词用“に”。
例:李さんは 電車に 乗りました。名【目的地】に 动
意:表示动作的目的地时,除了用“へ”,也可以用“に”。
例:李さんは 病院に 行きます。一类形て 一类形【并列1】
意:两个以上的一类形容词并列使用,用一类形的“て形”,一类形的“て形”是将词尾“い”变为“くて”。
例:ホテルの 部屋は 広くて 明るいです。二类形で 二类形【并列2】
意:两个以上的二类形容词并列使用,用二类形的“て形”,二类形的“て形”是“二类形+で”。
例:この コンピュータの 操作は 簡単**で **便利です。名1で 名2【并列3】
意:两个以上的名词并列使用。
例:スミスさんは 旅行会社の 社員で,部長です。动て います 2【结果状态1】
意:除了表示现在进行时以外,还可以表示动作结束后留下的结果状态。
例:わたしは 北京に 住んで います。
吉田さんを 知って いますか。
いいえ,知りません。小句が,小句【转折】
意:表示两个小句的转折关系,相当于汉语的“但是”。
例:この レストランは おいしいですが,ちょっと 高いです。まだ + 动(否定)
意:表示还没有达到某种程度。
例:まだ 結婚して いません。名が 欲しいです
意:表达愿望。
例:わたしは 新しい 洋服が 欲しいです。名を 动たいです
意:相当于汉语“想~”。
例:映画を 見たいです。动ませんか
意:动词的否定形式“~ません”加上“か”,表示提议。
例:少し 休みませんか。动ましょう
意:把动词的“ます形”的“ます”换成“ましょう”,可表示提议。
例:そろそろ 行きましょう。疑问词 + でも
意:表示任何情况下事态都相同。
例:李さん,何を 食べたいでか。
何でも いいです。一类形 なります
意:表示性质或者状态的变化,“い”变“く”,再加“なります”。
例:だんだん 暖かく なります。一类形 します
意:因为主语的意志,引起形容词描述的变化,“い”变“く”,再加“します”。
例:テレビの 音を 大きく します。二类形/名に なります
意:表示性质或者状态的变化。
例:もう 元気に なります。二类形/名に します
意:因为主语的意志,引起形容词描述的变化。
例:部屋を きれいに して ください。一类形/二类形 ほうが いいです。
意:比较两个以上事物的性质,认为其中一个比较好
例:旅行の 荷物は 軽いほうが いいです。
子供は 元気なほうが いいです。自动词 vs 他动词
意:自动词是不带宾语的动词,表示动作自主进行。他动词一般有主语作用于宾语。自动词和他动词一般相互对应。
例:窓が 開きました。
李さんが 窓を 開けました。动词的“ない”形
一类动词:把“ます形”去掉“ます”,最后的音变成“あ”段,再加“ない”。如果最后的音是“い”,把“い”变成“わ”后面加“ない”。
二类动词:把“ます形”去掉“ます”,再加“ない”。
三类动词:把“来ます”变成“来ない”,把“します”变成“しない”。
http://upload-images.jianshu.io/upload_images/1713813-5d154e9792f75295.gif?imageMogr2/auto-orient/strip动ないで ください
意:表示否定的命令。
例:部屋の かぎを 忘れないで ください。动なければ なりません
意:表示必须。
例:李さんは 今日 早く 帰らなければ なりません。动なくても いいです
意:表示不做某事也可以。
例:明日は 残業しなくても いいです。动词的“基本形”
“ます形”去掉“ます”
一类动词,最后的“い”段变成“う”段;
二类动词:加“る”;
三类动词:“来る”和“する”。名【人】は 动【基本形】 ことが できます
意:表示能力,肯定的情况下用“できます”, 否定的情况下用“できません”。
例:スミスさんは ピアノを 弾く ことが できます。名は 动【基本形】 ことです
意:谓语的内容是动作。
例:わたしの 興味は 切手を 集める こと です。动【基本形】 前に,~
意:表示一个动作在另一个动作之前发生。
例:こちらへ 来る 前に 電話を かけて ください。动词的“た形”
“た形”是把“て形”中的“て”换成“た”。动【た形】 ことが あります
意:表示过去的经历,相当于“曾经~过”。一般是比较久远的事情。
例:わたしは すき焼きを 食べた ことが あります。动【た形】 後で, ~
意:表示一个动作在另一个动作发生之后。
例:会社が 終わった 後で, 飲みに 行きます。动【た形】 ほうが いいです
意:在两种事物中进行选择时,做出的选择。
例:ホテルを 予約した ほうが いいですが。敬体形 vs 简体形
意:“ます形”属于敬体形;“基本形”,“ない形”,“た形”属于简体形。动词的简体形
1.现在肯定:“基本形”買う,对应敬体形“ます”買います;
2.现在否定:“ない形”買わない,对应敬体形“ません”買いません;
3.过去肯定:“た形”買った,对应敬体形“ました”買いました;
4.过去否定:“なかった”買わなかった,对应敬体形“ませんでした”買いませんでした。
一类形容词作谓语的简体形
1.现在肯定:“忙しい”,对应敬体形“忙しです”;
2.现在否定:“忙しくない”,对应敬体形“忙しくないです”;
3.过去肯定:“忙しかった”,对应敬体形“忙しかったです”;
4.过去否定:“忙しく なかった”,对应敬体形“忙しく なかったです”。
二类形容词作谓语的简体形
1.现在肯定:“簡単だ”,对应敬体形“簡単です”;
2.现在否定:“簡単では ない”,对应敬体形“簡単では ありません”;
3.过去肯定:“簡単だった”,对应敬体形“簡単でした”;
4.过去否定:“簡単では なかった”,对应敬体形“簡単では ありませんでした”。名词谓语形式的简体形
1.现在肯定:“晴れだ”,对应敬体形“晴れです”;
2.现在否定:“晴れでは ない”,对应敬体形“晴れでは ありません”;
3.过去肯定:“晴れ だった”,对应敬体形“晴れ でした”;
4.过去否定:“晴れでは なかった”,对应敬体形“晴れでは ありませんでした”。小句けど 小句【转折】【铺垫】
意:表转折。
例:昨日の 試験は, ちょっと 難しかったけど, まあまあ できたよ。动たり 动たり
意:表示列举若干种有代表性的动作。
例:小野さんは 休みの日 散歩したり 買い物に 行ったり します。一类形かったり 一类形かったりです ** 二类形だったり** 二类形だったりです 名だったり 名だったりです
意:表示状态或状况有多种可能。
例:飛行機の チケットは 高かったり 安かったりです。
この 公園は 時間に よって 静かだったり にぎやかだったりです。小句(简体形)と 思います
意:表示说话人的思考内容。
例:李さんは もう すぐ 来ると 思います。名【人】は 小句(简体形)と 言いました
意:向第三者专属他人说的话。
例:陳さんは パーテイーに 行くと 言いました。~のです/んです
意:表示所讲的内容与前句或者前向内容有关,用于说明情况或解释原因。“のです”用于书面语,“んです”是“のです”的口语形式。“のです/んです”前接简体形,名词和二类形容词的现在将来肯定形中的“だ”要换成“な”。
例:タバコは やめた ほうが いいですよ。
そうなんですが, やめる ことが できないんです。
すごい 人気ですね。
ええ, あの 歌手は 日本では とても 有名なんです。小句が 小句【铺垫】
意:提示接下来说的内容。
例:東京タワーへ 行きたいんですが, どうやって いきますが。另: 找到一张关于动词形态的很不错的图片,还是例子和规则结合记忆更有效。
http://www.mianfeiwendang.com/pic/40887d106170ec3f039ce8ac/1-670-jpg_6_0_______-1052-0-0-1052.jpg
标日语法笔记——初级(上一)
名は 名です
意:~是~
例:私は 中国人です。名は 名では ありません
意:~不是~
例:わたしは 日本人では ありません。名は 名ですか
意:~是~吗?
例:あなたは 中国人ですか。誰(だれ)ですか/何ですか
意:~是谁/什么?
例:それは 何ですか。名は どこですか
意:~在哪里?
例:トイレは どこですか。名も 名です
意:も代表“也”
例:あなたも 中国人ですか。名は いくらですか
意:~多少钱?
例:これは いくらですか。名【场所】に 名【物/人】が あります/います
意:~有~
例:部屋に 机が あります。
小園に 猫が います。名【物/人】は 名【场所】に あります/います
意:~在~
例:いすは 部屋に あります。
吉田さんは 庭に います。名と 名【并列】
意:相当于“和”
例:時計と 眼鏡疑问词 + も + 动(否定)
意:表示全面否定
例:冷蔵庫に 何も ありません。动ます/动ません
动ました/动ませんでした
意:现在(将来)的动作/否定
过去的动作/过去否定
例:私は 昨日 はたらきませんでした。名【时间】に 动
意:表示动作发生的时间,要在表示时间的名词后面+に
例:私は 7時に 起きます。いつ 动ますか
意:什么时候做XX
例:試験は いつから 始まりますか。は【对比】
意:表示对比的时候,は发音略重
例:小野さんは 昨日は 休みます。名【场所】へ 动
意:表示移动的目的地
例:吉田さんは 会社へ 行きます。名【场所】から 动
意:表示移动的起点
例:李さんは 先月 北京から 来ました。名【交通工具】で 动
意:交通工具的助词用で
例:李さんは 歩いて 会社へ 行きます
上海へ 飛行機で 行きます。名を 动
意:动词的对象助词用を
例:李さんは 毎日 新聞を 読みます。名【场所】で 动
意:动作的场所用助词で表示,区别于存在的に
例:李さんは 会社で 働きます。名か 名
意:对若干名词进行选择,相当于“或者”
例:私は 毎朝 パンか お粥を 食べます。名を ください
意:买东西或者点菜时使用
例:この 本を ください。名【工具】で 动
意:表示手段或者原材料
例:新聞紙で 紙飛行機を 作ります。名1【人】は 名2【人】に 名3【物】を あげます
意:相当于汉语的“给”
例:李さんは 小野さんに お土産を あげます。名1【人】は 名2【人】に 名3【物】を もらいます
意:相当于汉语的“得到”、“接受”
例:私は 小野さんに 写真を もらいました。名【人】に 会います
意:和~见面,助词用に
例:李さんは 明日 中島さんに 会います。名は 一类形です
意:日语的形容词分两类,一类形容词以“い”结尾,作谓语是要在后面加“です”
例:この お茶は 熱いです。一类形 作谓语时的否定形式
意:“い”变“く”再加上“ないです”或者“ありません”
例:この スープは 熱く ないです。一类形 作谓语时的过去形式
意:“い”变“かった”再加上“です”
例:旅行は 楽し かったです。一类形 作谓语时的过去否定形式
意:“い”变“く”再加上“なかったです”或者“ありませんでした”
例:昨日は 寒く なかったです。一类形+名
意:一类形容词可以直接修饰名词
例:広い 国“を”–>“は”
意:名词在用作对比或是作为话题时,“を”去掉,用“は”
例:この本は 李さんに もらいました。あまり 一类形/动(否定)
意:“あまり”与后面的否定相呼应,表示程度不太高。
例:試験は あまり 難しいです。常用的一类形容词:
新(あたら)しい
古(ふる)い
熱(あつ)い
冷(つめ)たい
高(たか)い
低(ひく)い
暑(あつ)い
寒(さむ)い
安(やす)い
多(おお)い
少(すく)ない
難(むずか)しい
易(やさ)しい
大(おお)きい
小(ちい)さい
遠(とお)い
近(ちか)い
いい
悪(わる)い
楽(たの)しい
広(ひろ)い
狭(せま)い
辛(から)い
塩(しお)辛い
酸(す)っぱい
苦(にが)い
おいしい
まずい
面白(おもしろ)い
つまらない
忙(いそが)しい
素晴(すば)らしい
青(あお)い
白(しろ)い名は 二类形です/でした
意:二类形容词是不以“い”结尾的形容词,做谓语时,要在后面加“です”,过去形式是“でした”。
例:京都の 紅葉は 有名です。
この 通りは 静かです。名は 二类形では ありません/では ありませんでした
意:二类形容词作谓语时的否定形式是“二类形容词+では ありません”。过去形式的否定形式是“では ありませんでした”。在日语里“では”一般说成“じゃ”。
例:この 通りは にぎやかでは ありません。
昨日は 暇じゃ ありませんでした。名は 二类形な 名です
意:二类形容词修饰名词时,用“二类形容词+な+名词”的形式。
例:奈良は 静かな 町です。名でした
意:名词作谓语时的过去形式是“名词+でした”,否定形式是“名词+では(じゃ)ありませんでした”。
例:昨日は 日曜日でした
おとといは 休みでは ありませんでした。どんな 名
意:询问人或事物的性质时,用“どんな+名”,相当于汉语中的“怎样的”
例:横浜は どんな 町ですか。どうですか
意:询问对方的意见
例:お茶 どうですか。でも和そして
意:“でも”是转折,“そして”是并列
例:わたしの部屋は 狭いです。でも,きれいです。
わたしの部屋は 狭いです。そして,汚(きたな)いです。常用的二类形容词:
好き
嫌い
にぎやか
静か
便利
不便
きれい
元気
簡単
暇
有名名1は 名2が 一类形/二类形です
意:用于表达感情,名1是感情的主体,名2是感情的对象。
例:小野さんは 歌が 好きです。名1は 名2が 分かります/できます
意:表达“能力”。
例:小野さんは 料理が 上手です。名や 名
意:と和や都表示“和”,と一般列举,や只举两个例子。
例:吉田さんは 時々 中国や 韓国へ 行きます。“~から”和“だから”【原因、理由】
意:说明原因时的助词
例:寒いですから お酒が 好きですから,毎日 飲みさす。表示频率的副词:
いつも
よく
時々
偶(たま)に
あまり~ません
全然~ませんどうしてですか
意:询问原因,相当于“为什么”。回答时谓语后加“から”。名1は 名2より 一类形/二类形です
意:名1 比名2 更 ~
例:中国は 日本より 広いです。名1より 名2の ほうが 一类形/二类形です
意:相比 名1 , 名2 更 ~
例:日本より,中国の ほうが 広いです。名1は 名2ほど 一类形く ないです/二类形では ありません
意:名1 比 名2 更不~
例:東京の冬は 北京の冬ほど 寒く ないです。名1の中で 名2が 一番(いちばん) 一类形/二类形です
意:
例:日本料理の中で 寿司が いちばん おいしいです。名1と 名2と どちらが 一类形/二类形ですか
意:询问两个事物中哪种更具有某个性质的时候使用。“どちら”是二者选一时使用的疑问词,回答时使用“~の ほうが...”,如果程度相当,回答“どちらも ~です”。“どちら”在口语中说成“どっち”。
例:コーヒーと 紅茶と **どっちらが **好きですか。
どちらも いいです。どの 名/いつ/どれ/だれ/何が いちばん 一类形/二类形ですか
意:哪个“最”~
例:この 中で どの 料理が いちばん おいしいですか。
第二十章:Deep Generative Models
20. Deep Generative Models
玻尔兹曼机(Boltzmann Machines)
我们在d维二值随机向量$x∈{0,1}^d$上定义玻尔兹曼机:
玻尔兹曼机是一种基于能量的模型,意味着我们可以使用能量函数定义联合概率分布:
$P(x) = \frac{\exp(-E(x))}{Z}$,其中$E(x)$是能量函数,Z是确保$∑_xP(x)=1$的配分函数。
玻尔兹曼机的能量函数如下给出: $E(x) = -x^TUx - b^Tx$,其中$U$是模型参数的“权重”矩阵,$b$是偏置向量。
带隐变量的玻尔兹曼机:$E(v,h)=−v^⊤Rv−v^⊤Wh−h^⊤Sh−b^⊤v−c^⊤h$。
https://raw.githubusercontent.com/applenob/reading_note/master/res/rbms.png
第十九章:Approximate Inference
第十八章:Confronting the Partition Function
第十七章:Monte Carlo Methods
17. Monte Carlo Methods
随机算法:随机算法可以粗略地分为两类:拉斯维加斯算法(Las Vegas algorithms)和蒙特卡洛算法(Monte Carlo algorithms)。
拉斯维加斯算法(Las Vegas algorithms):总是精确地返回一个正确答案(或者返回算法失败)。 该方法通常需要占用随机量的计算资源(一般指内存或运行时间)。
蒙特卡洛算法(Monte Carlo algorithms):蒙特卡罗方法返回的答案具有随机大小的错误。
花费更多的计算资源(通常包括内存和运行时间)可以减少这种错误。 在任意固定的计算资源下, 蒙特卡罗算法可以得到一个近似解。
第十六章:Structured Probabilistic Models for Deep Learning
16. Structured Probabilistic Models for Deep Learning
多样化的任务:
除了分类任务以外,很多任务需要对输入数据整个结构有完整理解,包括:
- 1.概率密度估计(Density Estimation):给定一个输入x,机器学习系统返回一个对数据生成分布的真实密度函数p(x)的估计。
- 2.去噪(Denoising):给定一个受损的或者观察有误的输入数据$\tilde{x}$,机器学习系统返回一个对原始的真实x的估计。
- 3.缺失值的填补(Missing Value Imputation):给定x的某些元素作为观察值,模型被要求返回一些或者全部未观察值的估计或者概率分布。
- 4.采样(Sampling):模型从分布$p(x)$中抽取新的样本。