�༭�ƽ�: |
������ҫ�����˻���ѧϰ������������щ�� ����ѧϰ�ż�����������ѧϰ�������������鷽���ȡ�
�����������ź��˺ż���ѧϰ�㷨ai�����ݼ��� ���ɻ���������linda�༭���ƽ���
|
|
1. ������������щ��
�������̣�����˼�壬�ƕ�ԭʼ���ݽ���һϵ�й��̴�������������ϊ��������ϊ���빩�㷨��ģ��ʹ�á��ӱ���������������������һ����ʾ��չ����
�ݵĺ��̡���ʵ�ʹ����у���������ּ��ȥ��ԭʼ�����е����ʺ����࣬��ƹ���ч�������կ̻�����������Ԥ��ģ��֮��ĺ�ϵ��
��ҫ�����������ֳ��õ��������͡�
�ṹ�����ݡ��ṹ���������Ϳ��կ�����ϵ�����ݿ��һ�ű���ÿ�ж� �������ķ��壬��������ֵ�͡���������ֻ������ͣ�ÿһ�����ݱ�ʾһ������
����ϣ��
�ǽṹ�����ݡ��ǽṹ��������ҫ�����ı���ͼ����ƶ����ƶ���ݣ� ���������ϣ����һ������ֵ��ʾ��ҳû������������壬����ÿ����
�ݵĵ�с������ͬ��
1.1 ������һ��
ϊ��������������֮�������ӱ�죬������ҫ���������й�һ��������ʹ�� ��ָͬ��֮����пɱ��ԡ����磬����һ���˵����ߺ����ضխ�����ӱ�죬���
ʹ���ף�m����ǧ�ˣ�kg����ϊ��λ����ô������������1.6��1.8m����ֵ��χ �ڣ�������������50��100kg�ķ�χ�ڣ����������ľ����ȼ����������ֵ����
�θ��������������ҫ�õ���ϊȷ�ľ��������ҫ����������һ�� ��normalization��������ʹ��ָ�괦��ͬһ��ֵ�������ա���з�����
����ֵ���͵���������һ�����խ����е�������ͳһ��һ��������ͬ����ֵ �����ڡ���õķ�����ҫ���������֡�

��ȼ�����ݹ�һ�����������ܵġ���ʵ��ӧ���у�ͨ���ݶ��½�������ģ ��ͨ������ҫ��һ���ģ��������իع顢���ع顢֧�����������������ģ
�͡������ھ�����ģ�������á�
1.2 ���������
�����������categorical feature����ҫ��ָ�ա��с�ů����ѫ�ͣ�a��b�� ab��o����ֻ������ѡ����ȡֵ�����������������ԭʼ����ͨ�����ַ�����
ʽ�����˾�����������ģ����ֱ�ӵ����ַ�����ʽ�����룬�������ع顢֧�� ��������ģ����˵��������������뾭������ת������ֵ������������ȷ������
��ű���
��ű���ͨ�����ڴ���������д�с��ϵ�����ݡ�����ɼ������է�ϊ �͡��с������������ҵ��ڡ���>��>�͡��������ϵ����ű���ᰴ�մ�с��ϵ��
�������������һ����ֵid������߱�ʾϊ3���б�ʾϊ2���ͱ�ʾϊ1��ת������ ȼ�����˴�с��ϵ��
���ȱ���(one-hot)
���ȱ���ͨ�����ڴ������䲻���д�с��ϵ������������ѫ�ͣ�һ����4�� ȡֵ��a��ѫ��b��ѫ��ab��ѫ��o��ѫ�������ȱ�����ѫ�ͱ��һ��4άϡ��
������a��ѫ��ʾϊ��1, 0, 0, 0����b��ѫ��ʾϊ��0, 1, 0, 0����ab�ͱ�ʾϊ��0,
0, 1, 0����o��ѫ��ʾϊ��0, 0, 0, 1�����������ȡֵ�϶�������ʹ�ö��ȱ��롣
**�����ʊ��� **
�����ʊ�����ҫ��ϊ������������ű����ÿ�������һ�����id��ȼ�� �����id��ӧ�ķ����ʊ�����ϊ�������a��b��ab��oѫ��ϊ������ͼ�ƕ����ʊ���ĺ��̡�a��ѫ��idϊ1�������ʊ�ʾϊ001��b��ѫ��idϊ2�������ʊ�ʾϊ
010���դ����ƿ��եõ�ab��ѫ��o��ѫ�ķ����ʊ�ʾ��

1.3 ��ά��������ĵ���
ϊ����߸��ӹ�ϵ����������������������о������һ����ɢ���������� �ϣ����ɸ߽�����������թ����Ԥ������ϊ����ԭʼ���������ժ���������
��ɢ��������һ��ͼ�����ժ����ͷե����ӱ�졣ϊ�����������������ժ����Ϳ� ����ɶ����������ڶ���ͼ�����ժ����͵���������ե����ӱ�졣

1.4 �ı���ʾģ��
�ı���һ��dz���ҫ�ķǽṹ�����ݣ���α�ʾ�ı�����һֱ�ǻ���ѧϰ�� ���һ����ҫ�о�����
�ʴ�ģ�ͺ�n-gramģ��
��������ı���ʾģ���ǵʴ�ģ�͡�����˼�壬���ǽ�ÿƪ���¿���һ���� �ʣ�������ÿ���ʳ��ֵ�˳�����˵�����ǽ������ı��դ�ϊ��λ�зֿ���
ȼ��ÿƪ���¿��ա�ʾ��һ���������������е�ÿһά����һ�����ʣ�����ά�� ӧ��ȩ����ӳ���������ԭ�����е���ҫ�̶ȡ�����tf-idf������ȩ�ء�
����ģ��
����ģ�����ڴ��ı����з����д����ե����⣨�õ�ÿ����������ʵķֲ� ���ԣ��������ܹ������ÿƪ���µ�����ֲ���
��ƕ�������ѧϰģ��
��ƕ����һ�ཫ����������ģ�͵�ͳ�ƣ�����˼���ǽ�ÿ���ʶ�ӳ��ɵ�ά �ռ䣨ͨ��k=50��300ά���ϵ�һ������������dense
vector����kά�ռ��ÿһ άҳ���կ���һ�����������⣬ֻ������������ģ���е���������ֱ�ۡ�
1.5 ������������
���ij������������ȱʧֵ��ȱʧ�ƚ��ٵļ�������ʹ�ø�������ƽ��ֵ���������ƚͽ������ݽ�����䣻ȱʧ�ƚ϶�ļ����կ���ɾ����������
���է�����������������ԣ��������с������ȥ����
1.6 ����������ͼ 
2. ����ѧϰ�ż�����
�ż���ӧ����ѧ��һ����֧��ҳ�ǻ���ѧϰ�ĺ�����ɲ��֡�ʵ���ϣ����� ѧϰ�㷨 = ģ�ͱ��� ģ������
�ż��㷨�����у��ż��㷨��������������� ģ�ͱ����ռ����ҵ�ģ������ָ����õ�ģ�͡���ͬ���ż��㷨��ӧ��ģ�ͱ���
������ָ�겻����ͬ��
2.1 ����ѧϰ������ʧ����
��ʧ������loss function��������������ģ�͵�Ԥ��ֵf(x)����ʵֵy�ij�һ�³̶ȣ�����һ���ǹ�ʵֵ����,ͨ��ʹ��l(y,
f(x))����ʾ����ʧ����խс��ģ�͵�³���ծ�խ�á���������ʧ�������£�
ƽ����ʧ����

��ʽ�е� y=1 ��ʾ������ʵֵϊ1ʱ�õ�һ����ʽ����ʵ y=0 �õڶ�����ʽ������ʧ��ϊʲôҫ����log�����أ���������һ�£�����ʵ����ϊ1�ǣ���h=0���ʣ���ôlog0=�ޣ���ͷ�ģ�����ijͷ����ȣ���h=1ʱ����ôlog1=0���൱��û�гͷ���ҳ����û����ʧ���ﵽ���ž����������ѧ�ҿ��������log��������ʾ��ʧ������
������ݶ��½���һ������⼫сֵ�㣬�õ���ҫ��ģ��ч��������ʧ����һ��ʹ�������ع��с�

hinge��ʧ����

2.2 ʲô���ż�
�������ϸ���ϊ������l(��) ���������ҽ����զ������е���������x��y������ʵ���ˡ�[0,1]���у�

�ż���������ӱ���֧�������������իع�� ����ģ�ͣ����ż���������ӱ�������ģ�ͣ������ֽ⣩�����������ģ�͵ȡ�
2.3 ������
ʹ�������ҳ���ǹ�loss function����һ���������������l1����l2����elasticnet���������������ô���
���ʋ������ȣ�����ģ�͡������족��
���ʋ��������ռ�
���ƿ��������ϵ����⡣
2.4 �����ļ������ż�����
�ݶ��½���
�ݶ��½������������ҳ����ϊ���õ����ż��������ݶ��½���ʵ�ּ���ŀ�꺯��������ʱ���ݶ��½����ľ���ȫ�ֽ⡣һ������£���ⲻ��֤��ȫ�����ž⣬�ݶ��½������ٶ�ҳδ�������ġ��ݶ��½������ż�˼�����õ�ǰλ�ø��ݶȷ�����ϊ����������ϊ�÷���ϊ��ǰλ�õ�����½���������ҳ����ϊ�ǡ������½������������½���խ�ӽ�ŀ��ֵ������խс��ǰ��խ�����ݶ��½�������������ʾ��ͼ����ͼ��ʾ��

ȱ�㣺������сֵʱ�����ٶȼ�����ֱ������ʱ���ܻ����һщ���⣻���ܻᡰ֮���ρ����½���
ţ�ٷ�
ţ�ٷ���һ����ʵ����������ͻ�����ⷽ�̵ķ���������ʹ�ú���f (x)��̩�ռ�����ǰ�漸����ѱ�ҷ���f
(x) = 0�ĸ���ţ�ٷ������ص���������������ٶⱥܿ졣���岽�裺
���ȣ�ѡ��һ���ӽ����� f (x)���� x0��������ӧ�� f (x0) ������б��f ' (x0)������f
' ��ʾ���� f �ĵ�������
ȼ�����ǽ��㴩����(x0, f (x0)) ����б��ϊf '(x0)��ֱ�ߺ� x ��ľ����x���ꣻ
���ǽ�����õĵ�� x ��������ϊx1��ͨ��x1���x0���ӽ�����f (x) = 0�ľ⡣����������ڿ�������x1��ʼ��һ�ֵ�����
����ţ�ٷ��ǻ��ڵ�ǰλ�õ�������ȷ����һ�ε�λ�ã�����ţ�ٷ��ֱ�������س�ϊ��"���߷�"��ţ�ٷ�������̬ʾ��ͼ��

�ӱ�����ȥ����ţ�ٷ��ƕ����������ݶ��½���һ������������ţ�ٷ����졣ȱ�㣺
ţ�ٷ���һ�ֵ����㷨��ÿһ������ҫ���ŀ�꺯����hessian������������ƚϸ��ӡ�
�ڸ�ά������������dz�����ʹ洢�������⡣
��с����������£�ţ�ٷ����ڶ������ĺ�������̫��
ŀ�꺯������ʱ��ţ�ٷ������ܵ�����������ֵ���������
��ţ�ٷ�
��ţ�ٷ������������ż���������ч�ķ���֮һ��**����˼���ǹ���ţ�ٷ�ÿ����ҫ��⸴�ӵ�hessian�����������ȱ�ݣ���ʹ����������������hessian������棬�ӷ���������ĸ��ӷȡ�**��ţ�ٷ����ݶ��½���һ��ֻҫ��ÿһ������ʱ֪��ŀ�꺯�����ݶȡ�ͨ�������ݶȵı仯������һ��ŀ�꺯����ģ��ʹ֮���բ��������������ԡ��������������ݶ��½���������������ѵ����⡣���⣬��ϊ��ţ�ٷ�����ҫ����������ϣ��������ʱ��ţ�ٷ���ϊ��ч������ż������а����˴�������ţ���㷨���������լ����լ�����ʹ��ģ���ż����⡣
�����ݶȷ�
�����ݶȷ��ǽ����ݶ��½�����ţ�ٷ�֮���һ������������������һ������ϣ�����˷����ݶ��½�����������ȱ�㣬�ֱ�����ţ�ٷ���ҫ�洢�ͼ���hesse���������ȱ�㣬�����ݶȷ������ǽ���������է����������õķ���֮һ��ҳ�ǽ���ͷ��������ż�����ч���㷨֮һ���ڸ����ż��㷨�у������ݶȷ��ƿdz���ҫ��һ�֡����ŵ�������洢��с�����в������ԣ��ȶ��ըߣ����ҳ���ҫ�κ�����������
�����ʵ�ֲ�����μ�wiki�ٿƹ����ݶȷ�����ͼϊ�����ݶȷ����ݶ��½����������ž��·���ա�ʾ��ͼ��

2.5 ������
2.5.1 ����������lda��
�����б������linear discriminant analysis��lda����һ�־���ľ�ά�����������ɷַ���pca�������������������ල��ά������ͬ��lda��һ�ּලѧϰ�ľ�ά���������ݼ���ÿ����������������
lda����˼����ܽ����£�
��ά�ռ��у����ݴ������������ϊ���ӣ�lda�㷨����ά�ռ��е�����ͷӱ��һ��ֱ���ϣ���dά����ת����1ά���ݽ��д�����
����ѵ�����ݣ��跨����ά����ͷӱ��һ��ֱ���ϣ�ͬ�����ݵ�ͷӱ�㾡���ܽӽ����������ݵ㾡����զ�롣
�����ݽ��з���ʱ������ͷӱ��ͬ��������ֱ���ϣ��ٸ���ͷӱ���λ����ȷ�����������
�����һ�仰����lda˼�룬����ͷӱ�����ڷ�����с����䷽�����
�����к졢���������ݣ���щ����������ϊ��ά������ͼ��ʾ�����ǵ�ŀ���ǽ���щ����ͷӱ��һά����ÿһ����������ݵ�ͷӱ�㾡���ܽӽ�����ͬ������ݾ�����զ����ͼ�к�ɫ����ɫ��������֮��ľ��뾡���ܴ�

��ͼ����ͼ�����ֲ�ͬ��ͷӱ��ʽ��
��ͼ˼·���ò�ͬ����ƽ���������զ��ͷӱ��ʽ��
��ͼ˼·����ͬ�������ݰ��������ͷӱ��ʽ��
����ͼֱ�ۿ�������ͼ��ɫ���ݺ���ɫ�����ڸ��ե�������˵��լ��у��������ݷֲ�ֱ��ͼҳ�ɿ�����������ͼ��ͷӱч��������ͼ����ͼ�м�ֱ��ͼ���������խ�����
���������ǻ��������ƕ�ά�ģ�������ͷӱ��һ��ֱ�ߡ����ԭʼ�����ƕ�ά�ģ���ͷӱ��ķ�������һ��ά�ij�ƽ�档
��ȱ��

2.5.2 ���ɷַ�����pca��
pca���ǽ���ά������ͨ�����ա任ͷӱ����ά�ռ���ȥ��
ͷӱ˼�룺�ҳ����ܹ�����ԭʼ���ݵ�ͷӱ��������pca��������щά��ֻ������щ����������������ݡ�
ȥ���ࣺȥ�����ա�����������������������������ⲿ����ϣ���ƕ���ġ�
ȥ������ȥ����с����ֵ��ӧ����������������ֵ�ĵ�с��ӳ�˱任�����������������ϱ任�ķ��ȣ�����խ��˵����������ϵ�Ԫ�ز���ҳխ��ҫ������
�խǻ�����ѱ�ҽ����������飬�����θ������ֵ��ȥ����с����ֵ�����һ��ͷӱ����ԭʼ�����������ͷӱ���õ���ά�������������
���pca�ĺؼ��ǡ���э�������э���������ͬʱ���ֲ�ͬά�ȼ��������լ�����ά���ϵķ��э��������������ά����ά��֮��ĺ�ϵ����������������֮�䡣
֮���զխǻ�����ϊ�խǻ�֮��ƕխ��ϵ�Ԫ�ض���0���ﵽȥ������ŀ�ġ��խǻ����э������խ����ͻ�с���·����ӧ�ľ�����щ��ȥ����ά�ȡ���������ֻȡ��щ���нθ�����(����ֵ)��ά�ȣ�����ľ��������ȥ���ࡣ
ͼ��pca
pca�ɽ��ѵ�������д���������������������������⡣����˼���ǽ�mά����ӳ�䵽nά��n <
m������nά�γ���Ԫ�����ع��������ܴ���ԭʼ���ݵ�����������
�������ݼ���m��nά��$(\boldsymbol x^{(1)}, \boldsymbol x^{(2)},
\cdots, \boldsymbol x^{(m)})$�����$n=2$����ҫ��ά��$n'=1$���������ҵ�ijһά�ȷ������������ά�ȵ����ݡ���ͼ��$u_1,
u_2$���������������ĸ�����������������ҫ�ģ����ը��ô���ԭʼ���ݼ����أ�
��ͼ�ɿ�����$u_1$��$u_2$�ã�ϊʲô�أ�������������ҫ����ָ�꣺
�����㵽���ֱ�ߵľ����㹻����
�����������ֱ���ϵ�ͷӱ�ܾ����ܵķֿ���
���������ҫ��ά��ŀ��ά������������ά����
�����㵽�����ƽ��ľ����㹻����
�������������ƽ���ϵ�ͷӱ�ܾ����ܵķֿ���
��ȱ��

2.5.3 �ƚ������ַ���
��ά�ı�ҫ�ԣ�
���ع����ժ�Ԥ�����֮������������ع����իᵼ�½�ռ�ij��ȶ����ӷ����ܵ��½���ij����ᡣ
��ά�ռ䱾������ϡ���ԡ�һά��̬�ֲ���68%��ֵ������������֮�䣬����ʮά�ռ���ֻ��2%��
����ı������բ��ҹ�����������鷳��
���ڱ��������ϸ������ܻ���ա���֮���dz����ϵ�����缸��Ԥ����������������ӳ����ijһ����������һ�����ڡ�
��ά��ŀ�ģ�
����Ԥ������ĸ�����
ȷ����щ������������ġ�
�ṩһ����������ͽ��������������ر�����ҫ������������������ȷ����ʾ���������ֻ����ά������ά�ļ��������ڿ��ӻ�չʾ��
�����ڵ�ά�¸����״�����������ʹ�á�
ȥ������������
�����㷨���㿪����
lda��pca����

3. ����ѧϰ��������
��������ҳ���������dz�ʾ�������۵�һ�ֱ���ʽ����n��n�еľ�����ʽ����ʾ����������ָ�������徫�ȡ���ͼ���ȡ��û����ȵȣ���щ����ָ��ӳ�ͬ�ij��淴ӳ��ͼ�����ľ��ȡ���ͼϊ��������


ϊ���ۺ�����һ������ģ�͵ĺû�������ҫ��ģ���ڲ�ͬ top n�µ�precision@n��recall@n��������û��ƴ�ģ�͵�p-r��precision-
recall�����ߡ��������һ��p-r���ߵļ��ʒ�����
p-r���ߵĺ������ٻ��ʣ������ǿ�ȷ�ʡ�����һ������ģ����˵����p-r�� ���ϵ�һ��������ţ���ijһ��ֵ�£�ģ�ͽ����ڸ���ֵ�ľ���ж�ϊ��������
с�ڸ���ֵ�ľ���ж�ϊ����������ʱ���ؽ����ӧ���ٻ��ʺ;�ȷ�ʡ�����p-r ������ͨ������ֵ�ӹߵ����ƶ������ɵġ���ͼ��p-r��������ͼ������ʵ�ߴ���
ģ��a��p-r���ߣ����ߴ���ģ��b��p-r���ߡ�ԭ�㸽����������ֵ���ʱģ�͵� ��ȷ�ʺ��ٻ��ʡ�

��ͼ�ɼ������ٻ��ʽӽ���0ʱ��ģ��a�ľ�ȷ��ϊ0.9��ģ��b�ľ�ȷ����1�� ��˵��ģ��b�÷�ǰ��λ������ȫ��������������������ģ��a��ʹ�÷���ߵļ�
������ҳ����Ԥ��������������ң������ٻ��ʵ����ӣ���ȷ��������½��� �ơ����ǣ����ٻ���ϊ1ʱ��ģ��a�ľ�ȷ�ʷ���������ģ��b������˵����ֻ��ij�����ӧ�ľ�ȷ�ʺ��ٻ����dz���ȫ��غ���ģ�͵����ܣ�ֻ��ͨ��p-r���ߵ�
������֣����ܹ���ģ�ͽ��и�ϊȫ���������
3.4 f1ֵ(h-meanֵ)
f1ֵ��h-meanֵ����f1ֵϊ����ƽ�������լ���ƽ��������խ��խ�ã���precision��recall��������ʽ����ᷢ�֣���f1ֵсʱ��true
positive������ӣ���false��լ��٣���precision��recall��������ӣ���f1��precision��recall�������˼�ȩ��

�����꣺1-specificity��α������(false positive rate��fpr��fpr=fp/(fp tn))��Ԥ��ϊ����ʵ��ϊ��������ռ���и��������ı�����
�����꣺sensitivity����������(true positive rate��tpr��tpr=tp/(tp fn))��Ԥ��ϊ����ʵ��ϊ��������ռ�������������ı�����
���������������tprӧ�ӽ�1��fpr�ӽ�0����ͼ�еģ�0,1���㡣roc����խ��£��0,1���㣬խƫ��45�ȶխ���խ�á�
aucֵ
auc (area under curve) ������ϊroc�����µ��������ȼ����������ֵ�������1��������roc����һ�㶼����y=x����ֱ�ߵ��ϸ�������auc��ȡֵ��χһ����0.5��1֮�䡣ʹ��aucֵ��ϊ���۱�����ϊ�ܶ�ʱ��roc���߲�����������˵���ĸ���������ч�����ã�����ϊһ����ֵ����ӧauc����ķ�����ч�����á�
��auc�жϸ�������Ԥ��ģ�ͣ����ӵı���
auc = 1�����������������������Ԥ��ģ��ʱ����������һ����ֵ�ܵó�����Ԥ�⡣�������Ԥ��ij��ϣ�������������������
0.5 < auc < 1����������²⡣�����������ģ�ͣ������趨��ֵ�ļ�������Ԥ���ֵ��
auc = 0.5��������²�һ����������ͭ�壩��ģ��û��Ԥ���ֵ��
auc < 0.5��������²���ֻҫ���ƿ�Ԥ����у�����������²⡣
һ�仰��˵��aucֵխ��ķ���������ȷ��խ�ߡ�
3.5 ���ҿ����ŷʽ���� 
**ŷʽ���룺**����ѧ�у�ŷ����þ����ŷ����ö�����ŷ����ÿռ�������䡰��ͨ������ֱ�ߣ����롣
������������a��b�����ҿ����ע��������֮��ľƕȹ�ϵ�������������ǵľ��դ�с����ȡֵ ��χ��[?1,1]����һ���ı����ƶȵij��ȳ��ܴ��������ʱ�����ʹ�ô�ƶ
���������ϊ�����������������ռ��еĵ�ŷ�ͼ���ͨ���ܴ����ʹ������ ���ƶȵļ�������֮��ļнǿ��ܺ�с��������ƶȸߡ����⣬���ı���ͼ��
��ƶ�������о��ķ��������ά�������ܸߣ��������ƶ��ڸ�ά�������ȼ�� �֡���ͬʱϊ1������ʱϊ0���෴ʱϊ?1�������ʣ���ŷ�ͼ������ֵ����ά�ȵ�
ӱ�죬��χ���̶������һ���ҳ�ƚ�ģ����
3.6 a/b����
ab������ϊweb��app�������������������a/b��������a/b/n���汾����ͬһʱ��ά�ȣ��ֱ�����ɳɷ���ͬ�����ƣ��ķÿ�ⱥ�飨ŀ����ⱥ������ķ�����щ�汾���ռ���ⱥ����û��������ݺ�ҵ�����ݣ�����������������ð汾����ʽ���á�
3.7 ģ����������
holdout����
holdout ���������ҳ����ֱ�ӵ���֤����������ԭʼ����������������� ��ѵ��������֤�������֡��ȷ�˵������һ�������Ԥ��ģ�ͣ����ǰ���������
70%��30% �ı����ֳ������֣�70% ����������ģ��ѵ����30% ����������ģ�� ��֤����������roc���ߡ����㾫ȷ�ʺ��ٻ��ʵ�ָ��������ģ�����ܡ�
holdout �����ȱ������ԣ�������֤���ϼ���������������ָ����ԭʼ�� ���кܴ��ϵ��ϊ����������ԣ��о����������ˡ�������顱��˼�롣
�������
k-fold������֤�����ƚ�ȫ���������ֳ�k����с��ȵ������ӽ������α��� ��k���ӽ���ÿ�ΰѵ�ǰ�ӽ���ϊ��֤�������������ӽ���ϊѵ����������ģ�͵�
ѵ��������������k������ָ���ƽ��ֵ��ϊ���յ�����ָ�ꡣ��ʵ��ʵ�� �у�k����ȡ10��
������
������holdout���黹�ǽ�����飬���ǻ��ڻ���ѵ�����ͳ��լ��ķ������� ģ�������ġ�ȼ������������ģ�ƚ�сʱ�������������л��ֻ���ѵ������һ��
��с������ܻ�ӱ��ģ��ѵ��ч������û����ά��ѵ����������ģ����֤���� �أ����������աƚϻõؽ��������⡣
�������ǻ��������������ļ��鷽������������ϊn���������ϣ�����n���� �żص�����������õ���сϊn��ѵ������n�β��������у��е������ᱻ�ظ���
�����е�����û�б������������щû�б������������ϊ��֤��������ģ���� ֤�����������������֤���̡�
3.8 ����������
ϊ�˽��г��������ţ�����һ���������������������������ҷ˹�ż��� �㷨���ھ�������㷨֮ǰ����ҫ��ȷ�����������㷨һ������ļ���ҫ�ء�һ
��ŀ�꺯�������㷨��ҫ���/��с����ŀ�ꣻ����������χ��һ��ͨ������ ������ȷ���������㷨������������������������
�������������������ӧ����㷺�ij����������㷨����ͨ������������ χ�ڵ����еĵ���ȷ������ֵ��������ýθ��������χ�լ���с�ij���������
�����кܴ�����ҵ�ȫ������ֵ��ȼ����������������ʮ�����ļ�����դ��ʱ�䣬�ر�����ҫ���ŵij������ƚ϶��ʱ����ˣ���ʵ��ӧ���у�����������һ�����ʹ�ýϲ��������χ�ͽθ�ij�������ѱ��ȫ������ֵ���ܵ�λ�ã�ȼ
�������с������χ�ͳ�������ѱ�ҹ���ȷ������ֵ�����ֲ����������խ��� �����ʱ��ͼ�������������ŀ�꺯��һ���ƿ��ģ����ժܿ��ܻ����ȫ����
��ֵ��
������������������˼�������������ƚ����ƣ�ֻ�dz��ٲ����ͻ���½�֮������� ֵ��������������χ�����ѡȡ�����㡣�������������ǣ���������㼯�㹻
����ôͨ���������ҳ�ܴ���ʵ��ҵ�ȫ������ֵ���������ֵ���������һ ������������ҫ��һщ�����ǻ����������ŀ��ٰ�һ�������ľ��ҳ��û����֤�ġ�
��ҷ˹�ż��㷨����ҷ˹�ż��㷨��ѱ��������ֵ����ʱ�����������������������������ȫ ��ͬ�ķ�����������������������ڲ���һ���µ�ʱ�������ǰһ�������ϣ������ҷ˹�ż��㷨����������֮ǰ����ϣ����ҷ˹�ż��㷨ͨ����ŀ�꺯����
״����ѧϰ���ҵ�ʹŀ�꺯����ȫ������ֵ�����ij�����
3.9 ����ϻ�ƿ���
�������ָģ�ͷ���ѵ��������ϳʹ������������ӳ������ָ���ϣ����� ģ����ѵ�����ϵı��ֺܺã����ڲ��լ����������ϵı��ֽϲƿ���ָ����
ģ����ѵ����Ԥ��ʱ���ֶ����õ��������ͼ����������˹���ϻ�ƿ��ϵ�����

��ֹ����ϣ�
���������֣���ø����ѵ�����ݡ�
����ģ���ӷȡ�
����������ģ�͵ij�������һ��������լ����
����ѧϰ����������ѧϰ�ǰѷ��ģ�ͼ�����һ��
��ֹƿ��ϣ�
������������
����ģ���ӷȡ�
��с����ϵ����
4. ���鷽��
4.1 ks����
kolmogorov-smirnov�����ǻ����ۼʒֲ������ģ����ڼ���һ���ֲ��ƿ����ij�����۷ֲ���ƚ���������ֲ��ƿ����������졣
������k-s��������������һ�����ݵĺ۲⾭��ֲ��ƿ������֪�����۷ֲ���
������k-s�������ڶ��������ľ���ֲ�������λ�ú���״�����ij��춼���у����գ�ϊ�ƚ�������������������õķdz�������֮һ��

4.2 t����
t���飬ҳ��student t���飬��ҫ�û�����������с���������δ֪����̬�ֲ���
t��������t�ֲ����������۲��췢���ĸ��ʣ��ӷ��ƚ�����ƽ�����ij����ƿ�������
t�����ϊ����������˫������顣
4.3 f����
t�����f�����������ϊ��ȷ���������е�ͳ�ƽ�����۵�����ʱ�������ĸ��ʡ�f�����ֽ������ϼ�����飬ҳ�ʒ�����ʼ��顢�������լ��顣����ӣ��ͳ��ѧ��fisher�����ͨ���ƚ��������ݵķ����ȷ�����ǵľ��ܶ��ƿ��������բ��졣
4.4 grubbs����
һ����������у������������ƫ��ƽ��ֵ��զ����ô���������ϊ������ֵ�����ø�����˹���жϣ��ܽ�������ֵ���ӳ�������������
4.5 ��������
�����������ͳ��������ʵ�ʹ۲�ֵ�������ƶ�ֵ֮���ƫ��̶ȣ�ʵ�ʹ۲�ֵ�������ƶ�ֵ֮���ƫ��̶ⱦ;�������ֵ�ĵ�с������ֵխ��խ�����ϣ�����ֵխс��ƫ��խс��խ���ڷ��ϣ�������ֵ��ȫ���ʱ������ֵ��ϊ0����������ֵ��ȫ���ϡ�
���ԭ����h0������x�ķֲ�����f(x)��
������x��ȡֵ��χ�ֳ�k�������ཻ��с����a1-ak��
�������i������ai�������ĸ�������fi����ϊ��ƶ����f1 f2 f3 ... fk = n��
��h0ϊ��ʱ�����ݼ�����������۷ֲ������������x��ֵ�����i��с����ai�ĸ���pi������n*pi���������i��с����ai������ֵ������ƶ����
��h0ϊ��ʱ��n�����������������i��с����ai��ƶ��fi/n�����piӧ�úܽӽ�����������˼�룬ƥ��ѷ������ͳ������

��h0�������������·������ɶ�ϊk-1�ŀ����ֲ���
ks�����뿨������
**��ͬ�㣺**������ʵ��ƶ��������ƶ��ֻ����м���
��ͬ�㣺
����������ҫ����������ݣ���ks������ҫ�����м�����λ�������ͷ������ݡ�
��������ҳ�������ڶ������ݣ��������ƚ����ݷ�����ܻ��ʵ�ʵĺ۲�ƶ������ks������ֱ�ӷ�ԭʼ���ݽ��м��飬�����������ݵ����ñƚ�������
|