K Mean Algorithm

The video below is quite an easy tutorial to understand about K-mean cluster analysis Video 1


The question about K mean algorithm is what is the best value of k.


1. Khoảng cách

Trước hết cần phải hiểu khái niệm khoảng cách. Bạn có thể tham khảo tóm tắt của Bioz Nguyen tại  đây
Trích từ bài viết của tác giả về 2 loại khoảng cách quan trọng nhất với mình hiện tại
Khoảng cách Euclidean (Euclidean Distance): Khoảng cách giữa 2 điểm là chiều dài của đường thẳng nối chúng. Trong mặt phẳng, khoảng cách giữa 2 điểm (x1, y1)  và (x2, y2) được cho bởi định lý Pythagorean như sau:
Trong không gian ba chiều Euclidean, khoảng cách giữa hai điểm (x1, y1, z1) và (x2, y2, z2) là
Một cách tổng quát, khoảng cách giữa 2 điểm x, y trong không gian Euclidean R với n chiều được tính như sau:
Ví dụ:


- Khoảng cách Hamming (Hamming Distance): Là số thay thế nhỏ nhất các thành phần, phần tử thuộc đối tượng, hệ thống, dữ liệu A để có thể trở thành B. Khi đó nó gọi là khoảng cách Hamming giữa A và B. Cũng có thể hiểu khái niệm này như một dạng của phép đo lỗi (error) hay khác biệt (difference) giữa 2 trạng thái, 2 đối tượng khác nhau.

dễ dàng nhận thấy nếu A và B là hai chuỗi nhị phân thì Hamming Distance của chúng là số giá trị 1 trong kết quả của A XOR B.

Ví dụ:

A = "hello bioz"
B = "hallo bios"

d (A, B) = 2

- Khoảng cách Manhattan (Manhattan Distance = Rectilinear Distance = City Block Distance = Taxicab Geometry = Chebyshev Distance): Khoảng cách của hai điểm P1 và P2 trong một mặt phẳng bằng chiều dài của tất cả các đoạn nối p với q dọc theo mặt cắt trục đứng và trục ngang, theo một chiều tới.

Trong hình trên đường đỏ thể hiện khoảng cách Manhattan, đường xanh nước biển và vàng tương đương với khoảng cách Manhattan, đường xanh lá cây là đường thằng hay khoảng cách Euclidean.
Một cách tổng quát, khoảng cách Manhattan của 2 điểm p và q trong không gian vector n chiều với hệ tọa độ Cartesian xác định được tính như sau:
với
2. Toán cơ bản (với khoảng cách Euclid) 

Đây là kiến thức toán cơ bản phía sau thuật toán K mean cluster. video

3. Cách chọn K. 

 a. Visualization
b. Elbow method

 Tóm tắt qua bài giảng của Andrew Ng tại đây

Nhận xét

Đăng nhận xét

Bài đăng phổ biến từ blog này

Consumer Behavior: Chapter 4 - Learning and Memory

1.       The Learning Process a.        Learning is a relatively permanent change in behavior that is caused by experience. 1)       Instead of direct experience, the learner can learn vicariously by observing events that affect others. 2)       We can learn without even really trying—just observing brand names on shelves. This casual, unintentional acquisition of knowledge is called incidental learning . a)       Learning is an ongoing process. Our world of knowledge is constantly being revised as we are exposed to new stimuli and receive ongoing feedback. i.         The concept of learning covers a lot of ground, ranging from a consumer’s simple association between a stimulus such as a product logo and a response to a complex series of cognitive activities. 2.       Behavioral Learn...
Đọc thêm

Consumer Behavior - Chapter 7: Personality, Lifestyles, and Values.

1. Personality    a. Personality refers to a person’s unique psychological makeup and how it      consistently influences the way a person responds to his or her environment.      1)  There has been debate about whether personality changes with situations and         circumstances.         a)  Do people appear to act consistently? Research results are mixed.      2)  Even though inconsistencies have been found in personality research, it still         continues to be included in marketing strategies.      3)  Personality dimensions are usually employed in concert with a person’s         choices of leisure activities, political outlook, aesthetic tastes, and other         individual fac...
Đọc thêm

Consumer Behavior: Chapter 5: Motivation and Affect

1. The Motivation Process    a. Motivation refers to the processes that cause people to behave as they do. Once      a need has been activated, a state of tension exists that drives the consumer to      attempt to reduce or eliminate the need.    b. Needs can be:      1)  Utilitarian —a desire to achieve some functional or practical benefit.      2)  Hedonic —an experiential need, involving emotional responses or fantasies.    c. The desired end state is the consumer’s goal . Marketers try to create products and      services that will provide the desired benefits and permit the consumer to reduce      this tension.    d. With the consideration of unmet needs, a discrepancy exists between the      consumer’s present state and some ideal state. Tension is created. The consumer ...
Đọc thêm