Các bài trả lời LuisYuri

Thảo luận trong 'Cafe Tinh tế' bắt đầu bởi Duy Luân, 2/12/18. Trả lời: 150, Xem: 99429.

  1. LuisYuri

    Tham gia:
    15/2/13
    Được thích:
    608
    Best Answers:
    0
    LuisYuri
    TÍCH CỰC
    tạo bot bằng framework gì v anh Duy Luân
    hiện nay phổ biến là scrapy và Selenium nhưng Facebook và một số trang web khác có hệ thống detection rất mạnh...các tool crawl data thường không sống lâu được...chưa kể là FB hình như mã hóa hết nội dung trên FB rồi có crawl về cũng ko đọc được

    Rất mong anh chia sẻ thêm
     
    manchiruaAmbitiousMan thích nội dung này.
    1. -Mr.S-

      Tham gia:
      24/3/10
      Được thích:
      5,346
      Best Answers:
      0
      -Mr.S-
      VIP
      -Mr.S-
      @LuisYuri hóng cmt giải thích. :D :D
       
    2. Duy Luân

      Duy Luân Không có gì!

      Tham gia:
      16/2/08
      Được thích:
      355,808
      Best Answers:
      10
      Duy Luân
      VIP
      Duy Luân
      @LuisYuri Selenium nha.

      Khi nào cần mình mới crawl, nên không lo bị chặn.
       
      Ba Con HeoLuisYuri thích nội dung này.
    3. htr-dev

      htr-dev Dự bị

      Tham gia:
      11/9/18
      Được thích:
      2
      Best Answers:
      0
      htr-dev
      Trứng
      htr-dev
      @LuisYuri Có thể dùng selenium, hoạt động theo kiểu nó đăng nhập bằng account facebook để được phép truy cập vào nội dung. Để không bị block thì ta có thể theo cách chính thống ^^ Hoặc dùng cách xoay vòng User-Agent, proxy hoặc giảm tốc crawl, ví dụ như facebook sẽ detect nếu thao tác click chuột vào các element quá nhanh :D
       
      hiepthong thích nội dung này.
    4. hungbya

      Tham gia:
      21/4/12
      Được thích:
      929
      Best Answers:
      0
      hungbya
      TÍCH CỰC
      hungbya
      @LuisYuri Mình dùng NodeJS để crawl. Dùng module request để gửi http request, Parse HTML/XML thì dùng Cheerio, còn JSON thì cứ JSON.parse thẳng tiến. Đã từng thử dùng Python để code crawler nhưng sau khi chuyển qua dùng NodeJS thì thấy tuyệt hơn hẳn.
       
      LuisYuri thích nội dung này.
    5. Trang Shirley

      Trang Shirley Dự bị

      Tham gia:
      19/1/19
      Được thích:
      0
      Best Answers:
      0
      Trang Shirley
      Trứng
      Trang Shirley
      @LuisYuri Cho em hỏi là hiện em đang quản lí một page nhỏ. Cần trích xuất dữ liệu như trên, cụ thể là đếm tổng số post chứa một hastag cho trước. Tổng cộng số kết quả không quá 3000 kết quả. Chỉ cần một con số thôi ạ. Không biết có đơn vị nào hay có freelancer nào nhận làm không ạ? Mọi người cho em xin contact với ạ. Chúng em là một đơn vị học sinh thôi ạ nên rất mong mn có thể cho em xin một contact giá rẻ. Em cảm ơn mọi người rất nhiều!
       
    6. Trang Shirley

      Trang Shirley Dự bị

      Tham gia:
      19/1/19
      Được thích:
      0
      Best Answers:
      0
      Trang Shirley
      Trứng
      Trang Shirley
      @hungbya Cho em hỏi là hiện em đang quản lí một page nhỏ. Cần trích xuất dữ liệu như trên, cụ thể là đếm tổng số post chứa một hastag cho trước. Tổng cộng số kết quả không quá 3000 kết quả. Chỉ cần một con số thôi ạ. Không biết có đơn vị nào hay có freelancer nào nhận làm không ạ? Mọi người cho em xin contact với ạ. Chúng em là một đơn vị học sinh thôi ạ nên rất mong mn có thể cho em xin một contact giá rẻ. Em cảm ơn mọi người rất nhiều!
       
    7. Trang Shirley

      Trang Shirley Dự bị

      Tham gia:
      19/1/19
      Được thích:
      0
      Best Answers:
      0
      Trang Shirley
      Trứng
      Trang Shirley
      @Duy Luân Cho em hỏi là hiện em đang quản lí một page nhỏ. Cần trích xuất dữ liệu như trên, cụ thể là đếm tổng số post chứa một hastag cho trước. Tổng cộng số kết quả không quá 3000 kết quả. Chỉ cần một con số thôi ạ. Không biết có đơn vị nào hay có freelancer nào nhận làm không ạ? Mọi người cho em xin contact với ạ. Chúng em là một đơn vị học sinh thôi ạ nên rất mong mn có thể cho em xin một contact giá rẻ. Em cảm ơn mọi người rất nhiều!
       
    8. Duy Luân

      Duy Luân Không có gì!

      Tham gia:
      16/2/08
      Được thích:
      355,808
      Best Answers:
      10
      Duy Luân
      VIP
      Duy Luân
      @Trang Shirley Mình thì không rành freelance :D mà chắc bạn tự viết được đó

      Uả mà group hay page nó hay có mấy công cụ thông kê mà nhỉ? :-?
       
Đang tải...