Setup

Library yang digunakan pada artikel ini terbagi menjadi 3 kategori yaitu wrangling, visualisasi, dan clustering.

# wrangling and EDA
library(tidyverse)
library(tidyquant)
library(lubridate)

# Visualization
library(ggthemes)
library(scales)

#clustering
library(factoextra)
library(FactoMineR)
library(dbscan) # DBSCAN
library(cluster) #K-Medoid

Work Flow

Secara garis besar proses clustering ini memiliki 5 tahapan yaitu :
- Data Collaction : Pengumpulan data dari berbagai sumber.
- Feature Engineering : Mengekstrak feature/ informasi dari data yang ada.
- Anomaly Detection : Mencari data yang bersifat anomali dan menghapusnya sehingga tidak mengganggu cluster yang akan dibentuk.
- Clustering : Mengelompokkan data menjadi beberapa kelompok berdasarkan karakteristik data.
- Cluster Profiling : Mencari karakteristik dari setiap cluster yang sudah terbentuk.

Volatilitas (Volatility)

Volatilitas merupakan indikator tingkat perubahan harga saham setiap harinya. Volatilitas suatu saham bisa dilihat dari persentase perubahan harga saham setiap harinya⁷. Suatu saham naik dan turun dengan persentase yang besar maka, saham tersebut bisa dikatakan memiliki volatilitas yang tinggi begitu juga sebaliknya. Nilai yang bisa digunakan untuk mengukur tingkat volatilitas suatu saham yaitu standar deviasi dari persentase perubahan harga. Perhitungan standar deviasi dilakukan pada persentase perubahan harga disetiap tahunnya. Semakin besar nilai standar deviasi maka perubahan harga saham dapat berubah dengan cepat setiap harinya.

stocks %>% 
  na.omit() %>% # remove missing value
  mutate(change = (close- lag(close))/lag(close)) %>% # calculate the price change ratio
  group_by(symbol, year(date)) %>% 
  summarise(sdclose = StdDev(change)) %>% 
  ungroup() %>% 
  head(6)

#> # A tibble: 6 x 3
#>   symbol `year(date)` sdclose[,1]
#>   <chr>         <dbl>       <dbl>
#> 1 AALI           2017    14.0    
#> 2 AALI           2018     0.0214 
#> 3 AALI           2019     0.0183 
#> 4 ABBA           2017     0.00756
#> 5 ABBA           2018     0.0699 
#> 6 ABBA           2019     0.0567

Likuiditas (Liquidity)

Likuiditas merupakan indikator seberapa mudah saham tersebut untuk dijual dan dibeli tanpa mempengaruhi harga aset. Likuiditas suatu saham dapat dilihat dari volume saham itu. Semakin besar volume dari suatu saham yang diperdagangkan setiap harinya maka semakin liquid saham tersebut. Median dari volume saham digunakan sebagai indikator likuiditas suatu saham. Pemilihan median sebagai indikator karena sifatnya yang robust terhadap outlier (tidak seperti mean) sehingga hasil yang didapat tidak terdapat bias.

Jumlah saham setiap perusahaan berbeda beda seperti FREN dengan jumlah share 217 milliar sedangkan LPGI hanya 150 juta oleh sebab itu bila nilai pada volume langsung digunakan akan terjadi bias pada informasi yang didapat. Untuk menghindari terjadinya bias volume suatu saham akan dibagi terlebih dahulu dengan jumlah lembar saham (total share) setiap emiten. Total share didapat dari data profile sehingga perlu dilakukan penggabungan 2 data frame (join) terlebih dahulu.

liq_stocks <- stocks %>% 
  na.omit() %>% 
  left_join(profile, by = c("symbol" = "Code")) %>% 
  mutate(volume = volume / Shares) %>% 
  group_by(symbol, year(date)) %>% 
  summarise(med_vol = median(volume)) %>% 
  ungroup() %>% 
  arrange(desc(med_vol))
head(liq_stocks)

#> # A tibble: 6 x 3
#>   symbol `year(date)` med_vol
#>   <chr>         <dbl>   <dbl>
#> 1 POOL           2019 0.0323 
#> 2 TRAM           2019 0.0207 
#> 3 MAMI           2019 0.0173 
#> 4 POOL           2018 0.0145 
#> 5 RIMO           2018 0.0123 
#> 6 LEAD           2018 0.00942

Setelah dilakukan penyesuaian pada volume, range dari nilai volume sekarang dari 1 hingga 0. saham dengan tingkat likuiditas terbesar dan terendah berdasarkan median volume dapat dilihat pada plot histogram dibawah.Plot dengan warna merah merupakan saham paling likuid, sedangkan plot yang berwarna biru merupakan saham tidak liquid.

Size

Size merupakan ukuran seberapa besar sebuah perusahaan di pasar saham. Nilai size bisa diwakili oleh market capitalization (market cap), market cap merupakan perkalian antar total share dengan harga saham tersebut. Semakin besar market cap maka semakin sulit untuk harga saham dipermainkan oleh segelintir orang. Harga yang digunakan untuk menghitung market cap adalah harga penutupan di akhir tahun 2019.

Market capitalization terbesar di Indonesia adalah BBCA dengan nilai lebih dari 800 T pertanggal 30 Desember 2019. Market cap besar didominasi dari sektor finance khususnya perbankan (BBCA, BBRI, BMRI,BBNI).

Create Data frame

Setelah mengetahui feature apa saja yang akan digunakan dalam proses clustering, tahap selanjutnya adalah menggabungkan semua feature tersebut kedalam satu dataframe.

stocks_agg <- stocks %>% 
  na.omit() %>% 
  mutate(change = (close- lag(close))/lag(close)) %>% 
  group_by(symbol, year(date)) %>% 
  summarise(sdclose = StdDev(change), # volatility
            medvol = round(median(volume)) # liquidity
            ) %>% 
  ungroup() %>% 
  left_join(select(profile, Code, Shares) , by = c("symbol"="Code")) %>% 
  mutate(medvol = medvol/Shares*100) %>% 
  select(-Shares) %>% 
  rename(year = 2)
head(stocks_agg)

#> # A tibble: 6 x 4
#>   symbol  year sdclose[,1]    medvol
#>   <chr>  <dbl>       <dbl>     <dbl>
#> 1 AALI    2017    14.0     0.0430   
#> 2 AALI    2018     0.0214  0.0445   
#> 3 AALI    2019     0.0183  0.0308   
#> 4 ABBA    2017     0.00756 0.0000817
#> 5 ABBA    2018     0.0699  0.0225   
#> 6 ABBA    2019     0.0567  0.601

Hasil aggregasi data diatas mendapatkan 4 variabel yaitu symbol, year, sdclose, medvol. sdclose merupakan standar deviasi dari close price, dan medvol merupakan median dari volume saham yang sudah dibagi dengan total share dari masing masing emiten. Data diatas masih belum dapat digunakan dalam proses clustering dikarenakan setiap emiten blm diwakili oleh satu baris sehingga perlu dilakukan transformasi data menjadi wide format dataframe serta menambahakan data market cap.

data_final <-  stocks_agg %>% 
  rename(year = 2) %>% 
  pivot_wider(names_from = year, values_from = c(3:4)) %>% 
  left_join(market_cap) %>% 
  select(symbol, market_cap, everything()) %>% 
  replace(is.na(.),0) %>% 
  column_to_rownames(var = "symbol")
head(data_final) 

#>          market_cap sdclose_2017 sdclose_2018 sdclose_2019   medvol_2017
#> AALI 28052332453475 13.971410210   0.02135307   0.01829919 0.04303813692
#> ABBA   292043250000  0.007557864   0.06987505   0.05673176 0.00008166599
#> ABDA  4330126593000  2.514334020   0.01968832   0.03312356 0.00000000000
#> ABMM  4212342450000  1.384784132   0.04841329   0.04950203 0.00000000000
#> ACES 25639250000000  0.036338664   0.02335375   0.02038276 0.04927463557
#> ACST   679000000000  0.377768825   0.01953749   0.02650320 0.01928571429
#>      medvol_2018    medvol_2019
#> AALI  0.04450071 0.030833563535
#> ABBA  0.02254344 0.600731364276
#> ABDA  0.00000000 0.000000000000
#> ABMM  0.00000000 0.000001816092
#> ACES  0.03953353 0.069497667638
#> ACST  0.10961429 0.030935714286

Data untuk proses clustering sudah siap, data_final terdiri dari 510 baris yang setiap barisnya mewakili 1 emiten. Variabel yang digunakan dalam proses clustering terdapat 7 variabel yaitu market_cap, standar deviasi, dan median dari tahun 2017 hingga 2019.

K-Means

K-Means¹⁰ merupakan algoritma clustering yang masuk kedalam kategori partitioning clustering yang berarti jumlah cluster ditentukan oleh user. Algoritma K-Means menghasilkan pusat cluster yang disebut centroid. Centroid dari setiap cluster bukanlah sebuah data melainkan sebuah titik yang merepresentasikan rata-rata (mean) nilai dari setiap variabel di setiap cluster. Penentuan nilai K yang optimum dapat menggunakan teknik elbow method. Elbow method mengoptimalkan jarak antar data ke centroid atau sering disebut within sum of square (wss). Nilai K yang optimum adalah ketika jumlah cluster ditambah namun penurunan wss tidak lagi drastis.

kmeansTunning <- function(data, maxK) {
  withinall <- NULL
  total_k <- NULL
  for (i in 2:maxK) {
    set.seed(122)
    temp <- kmeans(data,i)$tot.withinss
    withinall <- append(withinall, temp)
    total_k <- append(total_k,i)
  }
  plot(x = total_k, y = withinall, type = "o", xlab = "Number of Cluster", ylab = "Total wss")
  abline(h = 1080, col  = "firebrick3", lty = 2)
}
kmeansTunning(data_final_scale, maxK = 10)

Berdasarkan elbow plot diatas dapat dilihat ketika jumlah cluster ditambah dari 7 ke 8 penurunan nilai total withinss sudah tidak pesat lagi, sehingga jumlah cluster yang diambil adalah 7.

set.seed(122)
clust <- kmeans(data_final_scale,7)
fviz_cluster(clust, data_final_scale, ggtheme = theme_minimal()) 

Dari hasil visualisasi diatas dapat dilihat luas area dan jumlah anggota cluster berbeda. Hasil cluster dapat dilihat pada data dibawah, pada cluster 4 merupakan cluster dengan anggota terkecil yaitu 2 data, sedangkan cluster 2 merupakan cluster terpadat dengan jumlah anggota sebesar 269 data dengan nilai total wss sebesar 272.

kmeans_total <- clust$cluster %>% 
  table() %>% 
  as.numeric()

data.frame(cluster = c(1:7), 
           member = kmeans_total, 
           wss = clust$withinss) %>% 
  arrange(wss)

#>   cluster member        wss
#> 1       4      2   1.705163
#> 2       6     13  66.114389
#> 3       7      7  79.602120
#> 4       5    134 147.661506
#> 5       3     12 227.541188
#> 6       2    269 272.378141
#> 7       1     63 284.296567

Salah satu nilai yang bisa digunakan untuk mengetahui seberapa baik cluster yang dihasilkan oleh algoritma K-Means adalah perbandingan antara nilai between_SS dengan total_SS. hasil pembagian antara between_SS dengan total_SS mengindikasikan seberapa berkumpul data di setiap centroidnya. Hasil yang didapat dari perbandingan kedua nilai tersebut adalah 69.1 % yang mana apabila semakin mendekati 100% semakin baik.

clust$betweenss / clust$totss *100

#> [1] 69.10109

K-Medoid

Sama seperti K-Means, K-Medoid¹¹ merupakan algoritma clustering yang masuk kedalam kategori partitioning clustering. Berbeda dengan K-Means, pusat cluster dari K-Medoid adalah salah satu data yang ada didalam cluster sehingga pusat cluster disebut medoid. Umumnya untuk menentukan nilai K yang optimum pada K-medoid adalah menggunakan silhouette yang mana teknik ini mencari nilai dissimilarities terendah untuk setiap cluster, namun pada artikel ini akan digunakan WSS agar hasil clustering dapat dibandingkan dengan K-means cluster¹². untuk mencari nilai WSS yang optimum maka akan digunakan teknik elbow plot.

# Elbow method
fviz_nbclust(data_final_scale, pam, method = "wss") +
    geom_vline(xintercept = 8, linetype = 2)+
  geom_hline(yintercept = 1100)+
  labs(subtitle = "Elbow method")

berdasarkan elbow plot didapat jumlah cluster yang optimum adalah 8 dengan total wss 1100. Fungsi yang digunakan untuk membuat K-medoid clustering adalah pam() dari packages cluster. data yang digunakan adalah data yang sama ketika proses pembuatan cluster dengan k-means, dan jumlah cluster yang digunakan adalah 8.

# K-medoid clustering
kmedoid <- pam(x = data_final_scale, k = 8)

# Cluster info
kmedoid$clusinfo %>% 
  as.data.frame() %>% 
  mutate(cluster = 1:8,
         avg_sil = kmedoid$clus.avg.widths, 
         medoid = rownames(kmedoid$medoids)) %>% 
  select(cluster, everything())

#>   cluster size max_diss   av_diss  diameter separation medoid
#> 1       1   15 5.428291 1.9387329  7.729919 0.81101729   SILO
#> 2       2   48 9.127867 2.9570740 12.677216 0.61688893   WIKA
#> 3       3  137 4.996278 0.6228818  5.735555 0.07694591   KKGI
#> 4       4   68 3.035536 1.2728382  4.395163 0.29571561   SCMA
#> 5       5  166 2.129887 0.6498969  2.765000 0.09038836   LTLS
#> 6       6   57 4.952556 0.6942794  5.593736 0.07694591   ETWA
#> 7       7    7 8.340566 2.5120613 10.406839 1.31886987   BMRI
#> 8       8    2 1.846707 0.9233535  1.846707 9.28244066   MAPI

Hasil clustering menggunakan K-Medoid menghasilkan beberapa informasi untuk setiap clusternya. Terdapat 7 variabel yang menunjukkan informasi seperti berikut :

• cluster : Id cluster.
  
• size : Banyaknya data dalam cluster.
  
• max_diss : Jarak terbesar antar data dalam cluster ke medoid-nya.
  
• av_diss : Rata rata jarak antar data ke medoid.
  
• diameter : Jarak terbesar antar 2 data dalam 1 cluster.
  
• separation : Jarak terkecil antar data dalam cluster ke data pada cluster lain.
  
• medoid : Data yang menjadi pusat cluster.

Dari data diatas bisa disimpulkan bahwa cluster 8 merupakan cluster dengan nilai separation terbesar yang menunjukkan cluster ini jauh dari cluster yang lain. Cluster lainnya yaitu cluster 2 memiliki diameter terbesar yang menjadikan cluster ini sebagai cluster terluas, sedangkan cluster 5 dengan jumlah anggota 166 dan diameter 2.765 membuat cluster ini menjadi cluster terpadat.Karakteristik tersebut dapat dilihat dalam bentuk visualisasi seperti dibawah.

fviz_cluster(kmedoid, data_final_scale, ggtheme = theme_minimal())

Comparing K-Means and K-Medoid

Hasil clustering antara K-Medoid dan K-Means bila dilihat secara jumlah cluster dan wss tidak tidak terlalu jauh berbeda. Algoritma K-Means menghasilkan cluster sebanyak 7 dengan total wss sebesar 1080, sedangkan algoritma K-Medoid menghasilkan 8 cluster dengan total wss sebesar 1100. Bila hasil hasil kedua clustering tersebut dibandingkan secara langsung maka menghasilkan visualisi seperti dibawah.

Hasil visualisasi diatas menunjukkan bahwa cluster 7 pada K-Means (sumbu x) memiliki anggota yang sama dengan cluster 7 pada K-medoid (sumbu y). Sedangkan cluster 2 pada K-Means terpecah ke dalam cluster 1, 3, 4, dan 5 pada K-Medoid hal ini disebabkan karena jarak antar cluster yang sangat berdekatan seperti plot dibawah.

ggpubr::ggarrange(
  fviz_cluster(clust, data_final_scale, main = "K-Means Clustering", ggtheme = theme_minimal()),
  fviz_cluster(kmedoid, data_final_scale, main = "K-Medoid Clustering",  ggtheme = theme_minimal()), 
  ncol = 1  
  )

Berdasarkan nilai wss dan jumlah K, K-Means lebih efektif dibandingkan K-Medoid oleh sebab itu cluster pada hasil K-means yang akan digunakan pada proses profiling cluster.

Characteristics of Cluster

Setiap cluster yang dihasilkan pada proses clustering memiliki karakteristik yang berbeda beda. Karakter atau ciri dari setiap cluster ini didapat dari kondisi data yang ada dalam cluster tersebut. Untuk mengetahui ciri dari setiap cluster dapat dilakukan dengan analisis statistik deskriptif di setiap clusternya.

data_wide %>% 
  ggplot(aes(x = as.factor(cluster), y = sdclose_2019)) +
  geom_boxplot() +
  geom_boxplot(data = filter(data_wide, cluster==5), fill = "firebrick3") +
  theme_pander() +
  geom_hline(aes(yintercept = mean(sdclose_2019)), lty = 2, col = "blue") +
  labs(x = "Cluster", 
       y = NULL,
       title = "Standard Deviation of Closing Price 2019")