A Transformer model for inserting Vietnamese accent marks

Huggingface’s transformer library is enabling engineers and developers to access the latest latest developments in AI research. Kudos to them.

Below, I summarize how I made use of their library to re-solve an NLP problem related to the Vietnamese language.

The problem

After learning about Hidden Markov models about 10+ years ago, I decided to apply it to building a small, but practical, toy that can auto insert accent marks for Vietnamese language.

In a nutshell, Vietnamese has some letters that have additional marks put on them. For ex, in addition to the letter ‘a’, the Vi alphabet also contains these “marked versions”: ă, â.

And for each of these 3  versions (a, ă, â), we can then put the 5 tones on them. An example for ‘ă’ will be:  ắ (acute),  ằ (grave), ẳ (hook), ẵ (tilde), ặ (dot).

Continue reading A Transformer model for inserting Vietnamese accent marks

A few notes on Items Response Theory (IRT) and Computerized adaptive testing

Recently, I was thinking about how to improve the accuracy of assessment tests for ESL learners and so I googled and found Computerized Adaptive Testing (CAT).

During the process, I accidentally discovered an interesting theory behind it. It’s called Items Response Theory or IRT for short.

So I’ve spent some time reading up about it and in the process, picked up a few very useful bits about statistical hypothesis testing, which I’m very glad to have learned.

Below, I share the most important ideas about IRT that I’ve learned.

Continue reading A few notes on Items Response Theory (IRT) and Computerized adaptive testing

2 interesting points from Andrew Ng’s interview with Geoffrey Hinton

In this interview in a Coursera course by Andrew Ng with Geoffrey Hinton, who according to Ng is one of the “Godfathers of Deep learning”, I found 2 points that were quite interesting and thought-provoking.

On research direction

When asked about his advice for grad students doing research, Hinton said, at about 30 mins in:

Continue reading 2 interesting points from Andrew Ng’s interview with Geoffrey Hinton

Những tiến triển của Trí tuệ nhân tạo (AI) đến hết 2017

Trí tuệ nhân tạo (Artificial Intelligence – AI) đang trở nên rất hot trong những năm gần đây nhờ vào những tiến triển mới thông qua phương pháp Deep Learning (“Học sâu”).

Trí tuệ nhân tạo (AI)
Trí tuệ nhân tạo (AI). Nguồn: Google Image

Trong bài viết này, tôi tóm tắt lại những điểm chính trong report của AIIndex.org về những tiến triển mới nhất của AI tính đến tháng 11/2017.

Có 3 mục chính mà chúng ta sẽ điểm qua, bao gồm:

  1. Khối lượng các hoạt động
  2. Tiến triển về kĩ thuật
  3. Tiến về một khả năng tương đương con người?

Continue reading Những tiến triển của Trí tuệ nhân tạo (AI) đến hết 2017

Internet của mọi vật (IoT) sẽ thay đổi hoàn toàn cuộc sống của chúng ta

Internet of Things là gì?

IoT (Internet of Things – Internet của vạn vật) là từ dùng để chỉ đến việc (hầu hết) mọi vật trong thế giới của chúng ta sẽ kết nối vào Internet.

Khi hầu hết mọi vật, từ dụng cụ nhà bếp, phòng tắm, các dụng cụ giải trí, đến các thiết bị trên đường phố, các nhà máy, nông trại, … đều kết nối vào Internet, và do đó sẽ kết nối với nhau, chúng ta sẽ sống trong một thế giới hoàn toàn khác. Một thế giới tốt hơn, đúng. Nhưng đó cũng là một thế giới sẽ hoàn toàn khác với hiện nay.

Đó là lí do vì sao tôi nghĩ bất kì ai cũng nên biết về IoT, và đó là mục tiêu của bài viết này. Dù muốn hay không, IoT sẽ làm cho cuộc sống của chúng ta trở nên thuận tiện hơn; nhưng đồng thời, nó cũng sẽ đòi hỏi nhiều thay đổi đáng kể về cách nghĩ và lối sống.

Continue reading Internet của mọi vật (IoT) sẽ thay đổi hoàn toàn cuộc sống của chúng ta