迁移学习入门
迁移学习简单地说，首先有个目标任务$T$，目标数据$D_T$数据量偏小，此时有一个相似的源任务$S$，源数据$D_S$相对更充分，迁移学习的目标即如何借助源任务去提高目标任务的效果。
第四范式的罗远升有一篇很不错的文章《迁移学习实战：从算法到实践》，看了那篇文章，你会对迁移学习有个大概的认识。
迁移学习方法分类
根据所要迁移的知识的表示形式（即“What to transfer”），分为以下四大类：
- 基于样本的迁移学习（instance-transfer）；
- 基于参数的迁移学习（parameter-transfer）；
- 基于特征表示的迁移学习（feature- representation-transfer）；
- 基于关系知识的迁移（relation-knowledge-transfer）。
标日语法笔记——初级（上二）
名【数量】+ 动
意：数量词用在动词前面。
例：本を ２冊 買いました。名【时间】 名【次数】 + 动
意：表示一定的时间内进行了若干次动作。
例：李さんは １週間に 2回 プールへ 行きます。动词的“ます”形
例：働きます、休みます、寝ます、起きます。名【场所】へ 动に 行きます／来ます
意：表示移动行为的目的。
例：午後 郵便局へ 荷物を 出しに 行きます。名【数量】+ で
意：用于不称重而以数量的形式售物。
例：この ケーキは 3個で 500円です。数词和量词
～冊／～回／～枚／～個／～杯／～人／～台
～本／～頭／～匹／～つ／ ～着／～羽／～番
～足／～度／～キロメートル／～皿动词的“て”形
意：
一类动词：去掉“ます”后的最后一个音位于“い段”的；
二类动词：最后一个音位于“え段”的，以及位于“い段”的一小部分动词如起きます、見ます；
三类动词：“します”和“来ます”两个动词，以及“勉強します”等使用“します”的动词。
变换方式：
一类动词：“ます形”去掉“ます”后加“て”，“き”–>“いて”，“ぎ”–>“いで”，“び、み、に”–>“んで”，“ち、り、い”–>“って”，“し”–>“して”；
二类动词，三类动词：“ます形”去掉“ます”后加“て”
http://upload-images.jianshu.io/upload_images/1713813-a4184540c807453b.gif?imageMogr2/auto-orient/strip
https://i.ytimg.com/vi/9kOK3YxpLhU/maxresdefault.jpg动て 动【相继发生1】
意：两个以上的动作相继发生。
例：昨日 デパートへ 行って，買い物しました。动てから 动【相继发生2】
意：两个以上的动作相继发生。
例：昼ご飯を 食べてから 出かけます。动て ください
意：请求某人做某事。
例：ここに 住所と 名前を 書いて ください。名【场所】を 动【经过】【离开】
意：经过某个场所，使用助词“を”
例：この バスは 駅前を とります。动て います【正在进行】
意：表示动作正在进行。
例：小野さんは 今 新聞を 読んで います。动ても いいです
意：表示许可。
例：家で 仕事を しても いいです。动ては いけません
意：表示禁止。
例：飛行機の中で タバコを 吸っては いけません。名【附着点】に 动
意：人和物的附着点，助词用“に”。
例：李さんは 電車に 乗りました。名【目的地】に 动
意：表示动作的目的地时，除了用“へ”，也可以用“に”。
例：李さんは 病院に 行きます。一类形て 一类形【并列1】
意：两个以上的一类形容词并列使用，用一类形的“て形”，一类形的“て形”是将词尾“い”变为“くて”。
例：ホテルの 部屋は 広くて 明るいです。二类形で 二类形【并列2】
意：两个以上的二类形容词并列使用，用二类形的“て形”，二类形的“て形”是“二类形+で”。
例：この コンピュータの 操作は 簡単**で **便利です。名1で 名2【并列3】
意：两个以上的名词并列使用。
例：スミスさんは 旅行会社の 社員で，部長です。动て います 2【结果状态1】
意：除了表示现在进行时以外，还可以表示动作结束后留下的结果状态。
例：わたしは 北京に 住んで います。
吉田さんを 知って いますか。
いいえ，知りません。小句が，小句【转折】
意：表示两个小句的转折关系，相当于汉语的“但是”。
例：この レストランは おいしいですが，ちょっと 高いです。まだ + 动（否定）
意：表示还没有达到某种程度。
例：まだ 結婚して いません。名が 欲しいです
意：表达愿望。
例：わたしは 新しい 洋服が 欲しいです。名を 动たいです
意：相当于汉语“想～”。
例：映画を 見たいです。动ませんか
意：动词的否定形式“～ません”加上“か”，表示提议。
例：少し 休みませんか。动ましょう
意：把动词的“ます形”的“ます”换成“ましょう”，可表示提议。
例：そろそろ 行きましょう。疑问词 + でも
意：表示任何情况下事态都相同。
例：李さん，何を 食べたいでか。
何でも いいです。一类形 なります
意：表示性质或者状态的变化，“い”变“く”，再加“なります”。
例：だんだん 暖かく なります。一类形 します
意：因为主语的意志，引起形容词描述的变化，“い”变“く”，再加“します”。
例：テレビの 音を 大きく します。二类形／名に なります
意：表示性质或者状态的变化。
例：もう 元気に なります。二类形／名に します
意：因为主语的意志，引起形容词描述的变化。
例：部屋を きれいに して ください。一类形／二类形 ほうが いいです。
意：比较两个以上事物的性质，认为其中一个比较好
例：旅行の 荷物は 軽いほうが いいです。
子供は 元気なほうが いいです。自动词 vs 他动词
意：自动词是不带宾语的动词，表示动作自主进行。他动词一般有主语作用于宾语。自动词和他动词一般相互对应。
例：窓が 開きました。
李さんが 窓を 開けました。动词的“ない”形
一类动词：把“ます形”去掉“ます”，最后的音变成“あ”段，再加“ない”。如果最后的音是“い”，把“い”变成“わ”后面加“ない”。
二类动词：把“ます形”去掉“ます”，再加“ない”。
三类动词：把“来ます”变成“来ない”，把“します”变成“しない”。
http://upload-images.jianshu.io/upload_images/1713813-5d154e9792f75295.gif?imageMogr2/auto-orient/strip动ないで ください
意：表示否定的命令。
例：部屋の かぎを 忘れないで ください。动なければ なりません
意：表示必须。
例：李さんは 今日 早く 帰らなければ なりません。动なくても いいです
意：表示不做某事也可以。
例：明日は 残業しなくても いいです。动词的“基本形”
“ます形”去掉“ます”
一类动词，最后的“い”段变成“う”段；
二类动词：加“る”；
三类动词：“来る”和“する”。名【人】は 动【基本形】 ことが できます
意：表示能力，肯定的情况下用“できます”， 否定的情况下用“できません”。
例：スミスさんは ピアノを 弾く ことが できます。名は 动【基本形】 ことです
意：谓语的内容是动作。
例：わたしの 興味は 切手を 集める こと です。动【基本形】 前に，～
意：表示一个动作在另一个动作之前发生。
例：こちらへ 来る 前に 電話を かけて ください。动词的“た形”
“た形”是把“て形”中的“て”换成“た”。动【た形】 ことが あります
意：表示过去的经历，相当于“曾经～过”。一般是比较久远的事情。
例：わたしは すき焼きを 食べた ことが あります。动【た形】 後で， ～
意：表示一个动作在另一个动作发生之后。
例：会社が 終わった 後で， 飲みに 行きます。动【た形】 ほうが いいです
意：在两种事物中进行选择时，做出的选择。
例：ホテルを 予約した ほうが いいですが。敬体形 vs 简体形
意：“ます形”属于敬体形；“基本形”，“ない形”，“た形”属于简体形。动词的简体形
1.现在肯定：“基本形”買う，对应敬体形“ます”買います；
2.现在否定：“ない形”買わない，对应敬体形“ません”買いません；
3.过去肯定：“た形”買った，对应敬体形“ました”買いました；
4.过去否定：“なかった”買わなかった，对应敬体形“ませんでした”買いませんでした。
一类形容词作谓语的简体形
1.现在肯定：“忙しい”，对应敬体形“忙しです”；
2.现在否定：“忙しくない”，对应敬体形“忙しくないです”；
3.过去肯定：“忙しかった”，对应敬体形“忙しかったです”；
4.过去否定：“忙しく なかった”，对应敬体形“忙しく なかったです”。
二类形容词作谓语的简体形
1.现在肯定：“簡単だ”，对应敬体形“簡単です”；
2.现在否定：“簡単では ない”，对应敬体形“簡単では ありません”；
3.过去肯定：“簡単だった”，对应敬体形“簡単でした”；
4.过去否定：“簡単では なかった”，对应敬体形“簡単では ありませんでした”。名词谓语形式的简体形
1.现在肯定：“晴れだ”，对应敬体形“晴れです”；
2.现在否定：“晴れでは ない”，对应敬体形“晴れでは ありません”；
3.过去肯定：“晴れ だった”，对应敬体形“晴れ でした”；
4.过去否定：“晴れでは なかった”，对应敬体形“晴れでは ありませんでした”。小句けど 小句【转折】【铺垫】
意：表转折。
例：昨日の 試験は， ちょっと 難しかったけど， まあまあ できたよ。动たり 动たり
意：表示列举若干种有代表性的动作。
例：小野さんは 休みの日 散歩したり 買い物に 行ったり します。一类形かったり 一类形かったりです ** 二类形だったり** 二类形だったりです 名だったり 名だったりです
意：表示状态或状况有多种可能。
例：飛行機の チケットは 高かったり 安かったりです。
この 公園は 時間に よって 静かだったり にぎやかだったりです。小句（简体形）と 思います
意：表示说话人的思考内容。
例：李さんは もう すぐ 来ると 思います。名【人】は 小句（简体形）と 言いました
意：向第三者专属他人说的话。
例：陳さんは パーテイーに 行くと 言いました。～のです／んです
意：表示所讲的内容与前句或者前向内容有关，用于说明情况或解释原因。“のです”用于书面语，“んです”是“のです”的口语形式。“のです／んです”前接简体形，名词和二类形容词的现在将来肯定形中的“だ”要换成“な”。
例：タバコは やめた ほうが いいですよ。
そうなんですが， やめる ことが できないんです。
すごい 人気ですね。
ええ， あの 歌手は 日本では とても 有名なんです。小句が 小句【铺垫】
意：提示接下来说的内容。
例：東京タワーへ 行きたいんですが， どうやって いきますが。另： 找到一张关于动词形态的很不错的图片，还是例子和规则结合记忆更有效。
http://www.mianfeiwendang.com/pic/40887d106170ec3f039ce8ac/1-670-jpg_6_0_______-1052-0-0-1052.jpg
标日语法笔记——初级（上一）
名は 名です
意：～是～
例：私は 中国人です。名は 名では ありません
意：～不是～
例：わたしは 日本人では ありません。名は 名ですか
意：～是～吗？
例：あなたは 中国人ですか。誰（だれ）ですか／何ですか
意：～是谁／什么？
例：それは 何ですか。名は どこですか
意：～在哪里？
例：トイレは どこですか。名も 名です
意：も代表“也”
例：あなたも 中国人ですか。名は いくらですか
意：～多少钱？
例：これは いくらですか。名【场所】に 名【物／人】が あります／います
意：～有～
例：部屋に 机が あります。
小園に 猫が います。名【物／人】は 名【场所】に あります／います
意：～在～
例：いすは 部屋に あります。
吉田さんは 庭に います。名と 名【并列】
意：相当于“和”
例：時計と 眼鏡疑问词 + も + 动（否定）
意：表示全面否定
例：冷蔵庫に 何も ありません。动ます／动ません
动ました／动ませんでした
意：现在（将来）的动作／否定
过去的动作／过去否定
例：私は 昨日 はたらきませんでした。名【时间】に 动
意：表示动作发生的时间，要在表示时间的名词后面+に
例：私は 7時に 起きます。いつ 动ますか
意：什么时候做XX
例：試験は いつから 始まりますか。は【对比】
意：表示对比的时候，は发音略重
例：小野さんは 昨日は 休みます。名【场所】へ 动
意：表示移动的目的地
例：吉田さんは 会社へ 行きます。名【场所】から 动
意：表示移动的起点
例：李さんは 先月 北京から 来ました。名【交通工具】で 动
意：交通工具的助词用で
例：李さんは 歩いて 会社へ 行きます
上海へ 飛行機で 行きます。名を 动
意：动词的对象助词用を
例：李さんは 毎日 新聞を 読みます。名【场所】で 动
意：动作的场所用助词で表示，区别于存在的に
例：李さんは 会社で 働きます。名か 名
意：对若干名词进行选择，相当于“或者”
例：私は 毎朝 パンか お粥を 食べます。名を ください
意：买东西或者点菜时使用
例：この 本を ください。名【工具】で 动
意：表示手段或者原材料
例：新聞紙で 紙飛行機を 作ります。名1【人】は 名2【人】に 名3【物】を あげます
意：相当于汉语的“给”
例：李さんは 小野さんに お土産を あげます。名1【人】は 名2【人】に 名3【物】を もらいます
意：相当于汉语的“得到”、“接受”
例：私は 小野さんに 写真を もらいました。名【人】に 会います
意：和～见面，助词用に
例：李さんは 明日 中島さんに 会います。名は 一类形です
意：日语的形容词分两类，一类形容词以“い”结尾，作谓语是要在后面加“です”
例：この お茶は 熱いです。一类形 作谓语时的否定形式
意：“い”变“く”再加上“ないです”或者“ありません”
例：この スープは 熱く ないです。一类形 作谓语时的过去形式
意：“い”变“かった”再加上“です”
例：旅行は 楽し かったです。一类形 作谓语时的过去否定形式
意：“い”变“く”再加上“なかったです”或者“ありませんでした”
例：昨日は 寒く なかったです。一类形+名
意：一类形容词可以直接修饰名词
例：広い 国“を”–>“は”
意：名词在用作对比或是作为话题时，“を”去掉，用“は”
例：この本は 李さんに もらいました。あまり 一类形/动（否定）
意：“あまり”与后面的否定相呼应，表示程度不太高。
例：試験は あまり 難しいです。常用的一类形容词：
新（あたら）しい
古（ふる）い
熱（あつ）い
冷（つめ）たい
高（たか）い
低（ひく）い
暑（あつ）い
寒（さむ）い
安（やす）い
多（おお）い
少（すく）ない
難（むずか）しい
易（やさ）しい
大（おお）きい
小（ちい）さい
遠（とお）い
近（ちか）い
いい
悪（わる）い
楽（たの）しい
広（ひろ）い
狭（せま）い
辛（から）い
塩（しお）辛い
酸（す）っぱい
苦（にが）い
おいしい
まずい
面白（おもしろ）い
つまらない
忙（いそが）しい
素晴（すば）らしい
青（あお）い
白（しろ）い名は 二类形です／でした
意：二类形容词是不以“い”结尾的形容词，做谓语时，要在后面加“です”，过去形式是“でした”。
例：京都の 紅葉は 有名です。
この 通りは 静かです。名は 二类形では ありません／では ありませんでした
意：二类形容词作谓语时的否定形式是“二类形容词+では ありません”。过去形式的否定形式是“では ありませんでした”。在日语里“では”一般说成“じゃ”。
例：この 通りは にぎやかでは ありません。
昨日は 暇じゃ ありませんでした。名は 二类形な 名です
意：二类形容词修饰名词时，用“二类形容词+な+名词”的形式。
例：奈良は 静かな 町です。名でした
意：名词作谓语时的过去形式是“名词+でした”，否定形式是“名词+では（じゃ）ありませんでした”。
例：昨日は 日曜日でした
おとといは 休みでは ありませんでした。どんな 名
意：询问人或事物的性质时，用“どんな＋名”，相当于汉语中的“怎样的”
例：横浜は どんな 町ですか。どうですか
意：询问对方的意见
例：お茶 どうですか。でも和そして
意：“でも”是转折，“そして”是并列
例：わたしの部屋は 狭いです。でも，きれいです。
わたしの部屋は 狭いです。そして，汚（きたな）いです。常用的二类形容词：
好き
嫌い
にぎやか
静か
便利
不便
きれい
元気
簡単
暇
有名名1は 名2が 一类形／二类形です
意：用于表达感情，名1是感情的主体，名2是感情的对象。
例：小野さんは 歌が 好きです。名1は 名2が 分かります／できます
意：表达“能力”。
例：小野さんは 料理が 上手です。名や 名
意：と和や都表示“和”，と一般列举，や只举两个例子。
例：吉田さんは 時々 中国や 韓国へ 行きます。“～から”和“だから”【原因、理由】
意：说明原因时的助词
例：寒いですから お酒が 好きですから，毎日 飲みさす。表示频率的副词：
いつも
よく
時々
偶（たま）に
あまり～ません
全然～ませんどうしてですか
意：询问原因，相当于“为什么”。回答时谓语后加“から”。名1は 名2より 一类形／二类形です
意：名1 比名2 更 ～
例：中国は 日本より 広いです。名1より 名2の ほうが 一类形／二类形です
意：相比 名1 , 名2 更 ～
例：日本より，中国の ほうが 広いです。名1は 名2ほど 一类形く ないです／二类形では ありません
意：名1 比 名2 更不～
例：東京の冬は 北京の冬ほど 寒く ないです。名1の中で 名2が 一番（いちばん） 一类形／二类形です
意：
例：日本料理の中で 寿司が いちばん おいしいです。名1と 名2と どちらが 一类形／二类形ですか
意：询问两个事物中哪种更具有某个性质的时候使用。“どちら”是二者选一时使用的疑问词，回答时使用“～の ほうが．．．”，如果程度相当，回答“どちらも ～です”。“どちら”在口语中说成“どっち”。
例：コーヒーと 紅茶と **どっちらが **好きですか。
どちらも いいです。どの 名／いつ／どれ／だれ／何が いちばん 一类形／二类形ですか
意：哪个“最”～
例：この 中で どの 料理が いちばん おいしいですか。
第二十章：Deep Generative Models
20. Deep Generative Models
玻尔兹曼机（Boltzmann Machines）
我们在d维二值随机向量$x∈{0,1}^d$上定义玻尔兹曼机：
玻尔兹曼机是一种基于能量的模型，意味着我们可以使用能量函数定义联合概率分布：
$P(x) = \frac{\exp(-E(x))}{Z}$，其中$E(x)$是能量函数，Z是确保$∑_xP(x)=1$的配分函数。
玻尔兹曼机的能量函数如下给出： $E(x) = -x^TUx - b^Tx$，其中$U$是模型参数的“权重”矩阵，$b$是偏置向量。
带隐变量的玻尔兹曼机：$E(v,h)=−v^⊤Rv−v^⊤Wh−h^⊤Sh−b^⊤v−c^⊤h$。
https://raw.githubusercontent.com/applenob/reading_note/master/res/rbms.png
第十七章：Monte Carlo Methods
17. Monte Carlo Methods
随机算法：随机算法可以粗略地分为两类：拉斯维加斯算法（Las Vegas algorithms）和蒙特卡洛算法（Monte Carlo algorithms）。
拉斯维加斯算法（Las Vegas algorithms）：总是精确地返回一个正确答案（或者返回算法失败）。 该方法通常需要占用随机量的计算资源（一般指内存或运行时间）。
蒙特卡洛算法（Monte Carlo algorithms）：蒙特卡罗方法返回的答案具有随机大小的错误。
花费更多的计算资源（通常包括内存和运行时间）可以减少这种错误。 在任意固定的计算资源下， 蒙特卡罗算法可以得到一个近似解。
第十六章：Structured Probabilistic Models for Deep Learning
16. Structured Probabilistic Models for Deep Learning
多样化的任务：
除了分类任务以外，很多任务需要对输入数据整个结构有完整理解，包括：
- 1.概率密度估计（Density Estimation）：给定一个输入x，机器学习系统返回一个对数据生成分布的真实密度函数p(x)的估计。
- 2.去噪（Denoising）：给定一个受损的或者观察有误的输入数据$\tilde{x}$，机器学习系统返回一个对原始的真实x的估计。
- 3.缺失值的填补（Missing Value Imputation）：给定x的某些元素作为观察值，模型被要求返回一些或者全部未观察值的估计或者概率分布。
- 4.采样（Sampling）：模型从分布$p(x)$中抽取新的样本。