Showing posts with label n-body. Show all posts
Showing posts with label n-body. Show all posts

Tuesday, January 26, 2016

Khai phá dữ liệu WEB Đại học công nghệ

KHAI PHÁ DỮ LIỆU WEB

Khai phá dữ liệu web

           Trong cuốn sách nổi tiếng "Data Mining - Concepts and Techniques", hai tác giả Jiawei Han và Micheline Kamber nhận định rằng, tình trạng "giàu về dữ liệu mà nghèo về thông tin" là một động lực phát triển lĩnh vực khai phá dữ liệu và phát hiện tri thức trong cơ sở dữ liệu (CSDL). Hoạt động nghiên cứu và triển khai xây dựng các hệ thống tự động nhận ra các mẫu có giá trị, mới, hữu ích tiềm năng và hiểu được trong khối dữ liệu đồ sộ, nhằm bổ sung tài nguyên tri thức cho con người là hết sức cần thiết và có ý nghĩa trong quá trình hình thành và phát triển kinh tế tri thức. 
               Ngày nay, World Wide Web đã trở thành một kho tài nguyên dữ liệu khổng lồ về mọi lĩnh vực; kho tài nguyên dữ liệu này đang không ngừng tăng trưởng với tốc độ cao. Kho tài nguyên dữ liệu Web tiềm ẩn nhiều mẫu thông tin quý giá đối với hoạt động của cộng đồng nói chung và từng cá thể nói riêng. 
               Các hệ thống khai phá dữ liệu Web đã trở thành các công cụ làm cho tài nguyên Web "kho trời chung vô tận của riêng mình" (Cao Bá Quát) thực sự phát huy hiệu quả tới cộng đồng và tới mỗi cá thể trong cộng đồng. Phù hợp với sự phát triển của Web, hoạt động nghiên cứu và triển khai về khai phá dữ liệu Web không ngừng được tăng trưởng. Hiệp hội các nhà khoa học về Phát hiện tri thức và Khai phá dữ liệu (The Association for Computing Machinery's Special Interest Group on Knowledge Discovery and Data Mining, viết tắt là SIGKDD) đã tập hợp được nhiều nhà khoa học, trong đó có nhiều nhà khoa học máy tính nổi tiếng thế giới. Từ năm 1995 tới nay, hoạt động điển hình nhất của SIGKDD là tổ chức Hội nghị Khoa học quốc tế thường niên ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 
             Khai phá dữ liệu Web đã trở thành một trong những nội dung nhận được nhiều quan tâm nhất tại ACM SIGKDD Conference on Knowledge Discovery and Data Mining và các hội nghị khoa học quốc tế lớn khác. Từ năm 2006, "Khai phá dữ liệu Web" đã là một môn học trong Chương trình đào tạo ngành Công nghệ thông tin (CNTT) và ngành Hệ thống thông tin (HTTT) tại Khoa Công nghệ Thông tin, Trường Đại học Công nghệ (ĐHCN), Đại học Quốc gia HàNội (ĐHQGHN). 
            Giáo trình Khai phá dữ liệu Web này được tập hợp và hoàn thiện từ nội dung các bài giảng trong thời gian vừa qua, nhằm cung cấp một tài liệu hoàn chỉnh phục vụ hoạt động giảng dạy và học tập môn học này tại Khoa CNTT, Trường 6 ĐHCN cả ở bậc đại học và sau đại học. Các nội dung trong giáo trình không chỉ đáp ứng yêu cầu đào tạo về lĩnh vực khoa học và công nghệ liên quan, mà còn cung cấp một số kiến thức và kỹ năng mở rộng và chuyên sâu phục vụ nhu cầu nghiên cứu và phát triển lĩnh vực khai phá dữ liệu Web không chỉ tại Trường ĐHCN mà còn ở các cơ sở đào tạo và nghiên cứu khác trong nước. Giáo trình gồm 10 chương, nội dung sơ bộ như sau: 

Chương 1 - Một số nội dung cơ bản về khai phá dữ liệu cung cấp các kiến thức cơ bản nhất về lĩnh vực khai phá dữ liệu và phát hiện tri thức trong các CSDL, nhằm giúp độc giả nắm bắt được bản chất của các khái niệm cơ bản trong khai phá dữ liệu, phân biệt các khái niệm này với một số khái niệm liên quan và một số bài toán cơ bản nhất và xu hướng phát triển của khai phá dữ liệu, phát hiện tri thức trong các CSDL. 

Chương 2 - Tổng quan về khai phá Web cung cấp các kiến thức cơ bản nhất về khai phá Text và khai phá Web, nhằm giúp độc giả nắm bắt được các nội dung cơ bản của khai phá Text và khai phá Web. Chương này cũng trình bày cơ bản về khai phá cấu trúc Web và khai phá sử dụng Web. 

Chương 3 - Một số kiến thức toán học cho khai phá dữ liệu Web nhằm mục tiêu cung cấp một số kiến thức nền tảng về toán học cho khai phá dữ liệu Web. Lý thuyết đồ thị và lý thuyết xác suất thâm nhập sâu rộng vào khai phá dữ liệu Web theo các góc độ mô hình, giải pháp và kỹ thuật có nguồn gốc từ bản chất tự nhiên và xã hội của Web. 

Chương 4. Một số vấn đề về xử lý ngôn ngữ tiếng Việt cho khai phá văn bản cung cấp một số kiến thức nền tảng về xử lý ngôn ngữ tự nhiên nói chung và xử lý tiếng Việt nói riêng, cho phép nâng cao hiệu quả của các giải pháp khai phá Web tiếng Việt. 

Chương 5 - Các phương pháp biểu diễn văn bản trình bày bài toán các khuôn dạng biểu diễn dữ liệu cho các thuật toán khai phá dữ liệu. 

Chương 6 - Hệ thống tìm kiếm, 

Chương 7 - Phân cụm văn bản, 

Chương 8- Phân lớp Web, 

Chương 9 - Trích chọn thông tin trên Web trình bày về bốn bài toán chủ yếu của khai phá dữ liệu Web. Các khái niệm liên quan, các mô hình biểu diễn, các thuật toán, các kỹ thuật và các phương pháp đánh giá hiệu quả được giới thiệu và phân tích. 

Chương 10 - Web ngữ nghĩa trình bày về Web ngữ nghĩa, thế hệ mới của Web gồm khái niệm, kiến trúc, các ngôn ngữ và quá trình tiệm cận tới Web ngữ nghĩa. Trong quá trình biên soạn giáo trình này, chúng tôi được khai thác nguồn tài nguyên phong phú, bao gồm nhiều bài báo khoa học, các tiện ích và sản phẩm phần mềm thuộc lĩnh vực khai phá Web. 


KHAI PHÁ DỮ LIỆU WEB : Tải về
( Hướng dẫn tải về: Tích vào tôi không phải là người máy--> đợi 3s kích trực tiếp getlink hoặc phải chuột getlink mở cửa sổ mới) 

Lập trình song song OPENMP

PHÁT TRIỂN ỨNG DỤNG SONG SONG VỚI OPENMP                


lập trình Open MP

    GIỚI THIỆU   
           Ngày nay sự phát triển của công nghệ được thách thức bởi lớp bài toán lớn cần giải quyết trong nhiều lĩnh vực của đời sống xã hội như dự báo thời tiết, khai phá dữ liệu, xử lý ảnh, mô phỏng tai nạn xe hơi, tự động hóa... Lớp bài toán này vừa đòi hỏi đáp ứng thời gian thực vừa yêu cầu xử lý trên khối dữ liệu lớn. Để giải quyết bài toán này đòi hỏi các bộ xử lý có hiệu năng cao.
           Xử lý song song ra đời với mục đích làm tăng khả năng tính toán của máy tính bằng cách kết hợp nhiều bộ xử lý tham gia đồng thời vào quá trình xử lý thay với việc sử dụng các máy tính chuyên biệt đắt tiền.
        Với sự phát triển cua kiến trúc máy tính và mạng máy tính cho thấy rằng trong tương lai cho thấy xử lý song song không những được thực hiện trên những siêu máy tính mà có thể được thực hiện trên các trạm làm việc, máy tính cá nhân, mạng máy tính. Nhưng hầu hết các thuật toán ngày nay đều là những thuật toán tuần tự. Cho nên cần xây dựng những thuật toán, cấu trúc dữ liệu cho phép xử lý một cách song song. Xử lý song song giúp giải quyết hiệu quả rất nhiều bài toán lớn đặc biệt là bài toán mô phỏng N-body. 
         Đó là một bài toán mô phỏng chuyển động của các body trong hệ mô phỏng N-body do lực tương tác giữa giữa các body.Việc song song hóa bài toán trên là rất hợp lý vì một hệ N-body có rất nhiều các body nên việc tính lực tương tác giữa các body tốn rất nhiều thời gian. Trong khuôn khổ của khóa luận. Áp dụng xử lý song song vào việc giảm thời gian tính lực tương tác giữa các body trong hệ mô phỏng N-body. Luận văn gồm ba chương.

Chương 1: Là chương giới thiệu tổng quan về lập tính toán song song

          Chương này đề cập đến các vấn đề như các kiến trúc của máy tính song song, các mô hình lập trình song song, và các vấn đề liên quan đến hiệu năng của lập trình song song như định luật amdahl’s, bế tắc và cân bằng tải.

Chương 2: Là chương giới thiệu về OpenMP. 

          Chương này tập trung nghiên cứu chi tiết các thành phần củac OpenMP. Bao gồm các chỉ thị biên dịch, các hàm thư viện và các biến môi trường.

Chương 3: Là chương mô tả và cài đặt bài toán N-body. 

           Chương này mô tả sơ qua bài toán N-body. Thuật toán tính lực tương tác lên các body trong hệ, và ba cách song song hóa giai đoạn tính lực tương tác giữa các body.


PHÁT TRIỂN ỨNG DỤNG SONG SONG VỚI OPENMP:    Tải về

( Hướng dẫn tải về: Tích vào tôi không phải là người máy--> đợi 3s kích trực tiếp getlink hoặc phải chuột getlink mở cửa sổ mới)


Tính toán hiệu năng cao bằng GPU

TÍNH TOÁN HIỆU NĂNG CAO VỚI BỘ XỬ LÝ ĐỒ HỌA GPU VÀ ỨNG DỤNGGIỚI THIỆU

Thuật toán n-body



            Các bộ xử lý đồ họa (GPU - Graphic Proccessing Unit) đã trở thành một phần không thể tách rời của hệ thống máy tính ngày nay. Trong sáu năm vừa qua đã đánh dấu sự gia tăng ấn tượng trong hiệu suất và khả năng của GPU. GPU hiện đại khôngchỉ là một công cụ xử lý đồ họa mạnh mà còn là một bộ xử lý hỗ trợ lập trình song song ở mức cao, giúp xử lý các bài toán số học lập trình tính năng xử lý số học phứctạp và băng thông bộ nhớ tăng hơn đáng kể so với CPU cùng loại. Sự tăng tốc nhanh chóng của GPU trong cả khả năng hỗ trợ lập trình và năng lực tính toán của nó đã tạo ra một xu hướng nghiên cứu mới. Một cộng đồng đã nghiên cứu và đã ánh xạ thành công một lượng lớn các vấn đề phức tạp đòi hỏi tính toán lớn vào GPU. Điều này trong nỗ lực chung nhằm mục đích ứng dụng GPU vào giải quyết các bài toán hiệu năng cao của tính toán hiện đại. 
          Tính toán mục đích thông dụng trên GPU (GPGPU) là một thay thế hấp dẫn cho CPU tại trong hệ thống máy tính hiện đại. Trong một tương lai không xa, chúng ta có thể sẽ thấy GPU sẽ đảm nhận thay cho CPU những công việc như xử lý hình ảnh và đồ họa, các tính toán phức tạp thay vì chỉ dừng lại ở những ứng dụng trò chơi 3D.

            Với những ý nghĩa thực tiến đó, luận văn đi vào nghiên cứu tính toán thông dụng trên GPU và thử nghiệm trực tiếp trên bài toán tính toán hiệu năng cao tiêu biểu là n-body. Luận văn gồm 3 chương chính:

Chương 1: Tổng quan về tính toán song song và GPU

         Chương này giới thiệu những kiến thức tổng quan về tính toán song song, từ đó tìm hiểu những kiến thức cơ bản về bộ xử lý đồ họa GPU và cách thức ứng dụng tính toán trên đó.
Thuật toán song song GPU

Chương 2: Hệ thống chương trình dịch và ngôn ngữ lập trình GPU

        Chương này cung cấp các kiến thức về môi trường lập trình, ngôn ngữ lập trình, cách thiết lập chương trình và các chỉ dẫn hiệu năng khi cài đặt ứng dụng tính toán trên GPU.

Chương 3: Ứng dụng GPU vào bài toán n-body và thử nghiệm chương trình.


         Trên cơ cở các kiến thức được trình bày ở các chương trên, tác giả luận văn đã tiếnhành cài đặt và thử nghiệm mô phỏng n-body trên CPU và GPU. Từ đó có những so sánh, nhận xét về năng lực tính toán vượt trội của GPU so với CPU truyền thống. Đồng thời cũng mở ra các hướng cải tiến hiệu năng mới cho bài toán n-body chạy trên GPU. 

TÍNH TOÁN HIỆU NĂNG CAO VỚI BỘ XỬ LÝ ĐỒ HỌA GPU VÀ ỨNG DỤNG: Tải về

( Hướng dẫn tải về: Tích vào tôi không phải là người máy--> đợi 3s kích trực tiếp getlink hoặc phải chuột getlink mở cửa sổ mới)


Pages - Menu